Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

  • When to buy Residential IPs?

    As IPs residenciais são endereços de IP privados, o que significa que suas solicitações são roteadas por um usuário real ao acessar a web. A compra de IPs residenciais garante que você nunca seja bloqueado ou enganado.

  • When to buy Data Center IPs?

    Data center IPs são tamb~em conhecidas por IPs estaticas

    Uma IP estática significa que você pode continuar usando esta IP específica pelo tempo que precisar (uma única sessão longa). Estas são mais econômicos que os IPs residenciais.

  • When to buy Mobile IPs?

    IPs móveis são um segmento de IPs residenciais que estão conectados à Internet via conexão celular (3G / 4G), em vez de Wi-Fi ou por cabo. IPs móveis são comumente usados ​​para verificar se os seus anúncios estão sendo exibidos corretamente em dispositivos móveis com diferentes fornecedores.

Exclusivity types

  • When to buy Shared IPs

    IPs compartilhadas são a maneira mais fácil de começar a usar a rede Luminati. Eles se referem ao pool global de IPs em vários países que são compartilhados entre muitos usuários para acessar vários sites. Você pode usar esta opção como o primeiro ponto de entrada e escalar para um mais exclusivo quando for bloqueado ou enganado.

  • When to buy Exclusive IPs, with exclusive domains

    Os domínios exclusivos prometem que você será o único usando esses IPs para os sites de destino escolhidos.

  • When to buy Dedicated IPs, with unlimited domains

    Domínios Ilimitados refere-se a IPs que são totalmente dedicados a você. Ninguém pode usar essas IPs enquanto você as estiver usando. A compra de IPs dedicados garante que seus resultados não sejam afetados por outro usuário de serviços de proxy.

How to allocate IPs?

Alocação de IPsé feita por mim zonas Seções da sua conta
Para começar voce precisa criar uma nova zona e dentro de outras configurações, escolha a quantidade de IPs que deseja e salve
Você também pode atualizar o número de IPs alocados editando o número de IPs na sua zona.

Ao inativar uma zona, todos os IPs alocados a ela são liberados, então quando você ativar a zona novamente, você terá novos IPs alocados a ela.

How to download a list of my IPs?

Para fazer o download da lista de todas as gIPs ou IPs datacenter Alocadas para uma das suas Zonas, duas ações são possíveis

  1. Download da lista de IPs por meio da Luminati CP seção zonas Entrando em Zonas especificas e clicando em Download da lista gIPs(para gIPs) ou Download da lista de IPs para datacenter, abaixo de configurações
  2. Faça o download da sua lista de gIPs por meio da API usando o seguinte comando:
    • Para gIPs:
      curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
    • Para datacenter IPs:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs


Como nós calculamos esta tabela?

A sua empresa precisa coletar informações da Web enviando 1.000 solicitações HTTP por hora para um site específico. Você escreve o código do scraper e o executa através de um servidor. O site de destino permite 50 solicitações por minuto do mesmo IP antes de bloquear o seu scraper. Agora, você precisa comprar mais proxies.

Entendendo que voce vai selecionar IPs de datacenter:
Você não quer compartilhar IPs, então você compra 200 IPs de datacenter dedicadas. Você codifica a integração do scraper com os novos proxies do datacenter por 2 horas e, em seguida, executa o novo programa. Desta vez, leva 3 dias para o seu site de destino detectar o seu scraper. Depois que os proxies forem detectados, você terá que comprar novos proxies e repetir esse processo novamente, verificando a cada dia para garantir que os proxies não tenham sido detectados. Custo por mês (todos os números são de clientes reais):

  • 200 IPs dedicadas:500$
  • Banda Larga: (1000 requisições x 20Kb por requisição x 24 horas x 30 dias = 14.5Gb): 3$ por mes
  • Desenvolvedor (2 horas de integração x 10 + 1 hour a cada 3 dias para gerenciar as proxies): ~3dias de tranalho por mes ou ~900$

O seu custo total por mês será de pelo menos US $ 1.400 apenas para estas tarefas, e o salário de US $ 30 por hora para um desenvolvedor é muito conservador. Além disso, isso não leva em conta a falta de confiabilidade das informações se o site de destino enviar informações erradas antes de bloqueá-lo ou se o fluxo de informações for cortado a cada poucos dias, o que pode prejudicar a sua marca ou o seu fluxo de receita.

Entendendo que voce vai selecionar IPs residenciais:
Você compra um pacote básico de 40 GB com acesso a IPs residenciais ilimitados. Demora 2 horas para integrar o seu scraper. Devido a uma média de 3 milhões de IPs residenciais disponíveis por dia, o seu website de destino não detecta o seu scraper, permitindo que você se concentre em outros projetos.

A banda larga e os IPs ilimitados custam apenas US $ 500 por mês. Suas informações são sempre confiáveis porque suas requisições são sempre bem-sucedidas e o acesso nunca é bloqueado no meio do mês. Quando a sua empresa cresce como resultado dessa raspagem e seus projetos excedem 600MB por mês, a diferença nos custos pode ser muito maior do que apenas $ 1000.

O Luminati também permite que você suspenda a sua conta quando não estiver em uso, para que o seu custo mensal seja inferior a US $ 500 por mês. Comece usando o voucher de US $ 5 para o tráfego gratuito do data center e comece testando os benefícios da Luminati e, em seguida, peça acesso à nossa rede residencial para uma melhor coleta de dados, barata e confiável.

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

Porque eu devo me importar?
Quando um site de destino detecta o crawler a partir de um IP de proxy (datacenter), ele normalmente

  • Bloqueia a IP, ou
  • Apresenta ao IP com informações alteradas, ou
  • Diminui a taxa de resposta

Como que o site alvo reconhece a minha atividade de raspagem?
Sites de destino registram os IPs de quem os visita e analisa a atividade dessas IPs. Supondo que você esteja usando um proxy de datacenter tradicional, o site de destino pode:

  1. Identifique que a atividade de um único IP (a taxa de requisições) é muito maior do que a que um ser humano poderia realizar em um determinado período de tempo
  2. Identifique se o endereço IP foi originado de uma lista de servidores proxy, à qual esses sites de destino têm acesso
  3. Identifique se os IPs possuem o mesmo intervalo de blocos de sub-rede
Como prevenir de ser bloqueado?
  1. Para evitar ser detectado pela quantidade de requisições por IP, você pode reduzir o número de requisições por segundo. No entanto, isso irá reduzir sua velocidade de rastreamento
  2. Para evitar que o site alvo identifique o seu IP como proveniente de um servidor proxy, você deve rotacionar suas requisições através de IPs residenciais. Você deve poder alternar através de IPs suficientes para que o site de destino não possa detectar sua atividade
  3. Ao usar IPs residenciais não há nenhuma faixa de bloco de sub-rede
Ao usar uma solução de proxy tradicional, é apenas uma questão de tempo até que o website de destino identifique as suas atividades de rastreamento e possa bloquear ou fornecer informações incorretas.

How to get an IP in a specific city

Porque eu devo me importar?
Exemplo: se você é responsável por testar o serviço em nível de cidade do site Yelp, é necessário verificar o site em 10.000 cidades diferentes em todo o mundo.

Como conseguir uma IP em uma cidade especifica?
Se você usar apenas uma solução de proxy de datacenter tradicional para suas tarefas de coleta de informações, estará limitado a onde esses datacenters estão localizados. Grandes redes residenciais podem obter IPs em qualquer cidade específica do mundo.

How to accelerate your web scraping

Porque eu devo me importar?
Se o número de solicitações que você rotacionar através de um único IP for maior do que o permitido pelos websites de destino, o site que você segmentar identificará o seu IP e o bloqueará ou enganará com informações falsas. Isso significa que a coleta de informações sera muito mais lenta do que você está acostumado.

Como eu melhoro a velocidade da coleta de dados?
Supondo que você esteja executando 10 milhões de requisições, 1 requisição por segundo por IP com 1000 IPs de data center, pode levar cerca de 3 horas. Com 10.000.000 IPs residenciais, poderia levar 1 segundo.

Orientações para alternar várias sessões paralelas por meio da rede residencial da Luminati:

  1. Abra o Gerenciador de Proxies Luminati
  2. Va para a tab proxies
  3. Clique na porta da sua Zona Residencial
  4. Edite nas configurações da sua porta 'preset' para 'round-robin (ip) pool'
  5. Roteie seus pedidos a 127.0.0.1:{portnum} onde o {portnum} é a porta da zona residencial

How to rotate your IP address

Porque eu devo me importar?
Quando muitos pedidos são enviados para um site a partir do mesmo IP, o site pode marcar o IP usado como rastreador e enviar informações enganosas ou bloqueá-lo. Ao alterar ou rotacionar periodicamente o seu endereço IP, isso ajuda a impedir que um site de destino identifique o seu IP como um rastreado. Rotacionar os seus IPs pode reduzir a sua taxa de falhas para menos de 1%.

Como rotacionar endereços de IP
Com o gerenciador de proxies, a Luminati te permite controlar:

  • Número de requisições permitidas antes de alterar o IP
  • Quantidade de tempo entre alterações do IP
  • Quantidade de IPs a serem rotacionadas dentro da pool

Orientações para rotacionar o seu endereço de IP com a Luminati
  1. Abra o Gerenciador de Proxies Luminati
  2. Va para a tab proxies
  3. Clique no proxy que voce deseja editar e depois no botão de editar
  4. Navegue nas opções de rotação em 'Preset' ou IP Policy
  5. Roteie seus pedidos a 127.0.0.1:{portnum} onde o {portnum} é a porta da zona residencial

How to use SOCKS5 with Luminati

Porque eu devo me importar?
Um servidor SOCKS é um servidor proxy que funciona para qualquer tipo de protocolo de rede em qualquer porta e estabelece uma conexão com um servidor em nome de um usuário, em seguida, roteia o tráfego entre o usuário e o servidor.

Porque usar SOCKS5 com Luminati?
Quando você usa o SOCKS5 com o Luminati, o gerenciador de proxy converte todas as solicitações para a porta 80 ou porta 443 para solicitações http e https, para que você não precise se preocupar com qual formato é aceito pelo site de destino. Com qualquer outra porta, o tráfego é enviado como está entre o usuário e o host.


Orientações de uso SOCKS5

  • Abra o Gerenciador de Proxies Luminati
  • Clique em porta e depois Editar proxy
  • Em 'General' adicione o numero da porta SOCKS5
  • Vá em "Performance" - Definir Resolve reverso: DNS
  • Adicione um arquivo de resolução
    • Adicione '--resolve PATH' para o codigo do program
    • Siga o hostformato do arquivo
    • Lista de dominiios que voce vai usar e os seus IPs
    • Adicione os domínios e IPs do editor de arquivos de resolução na página 'tools' do gerenciador de proxy

How do I avoid subnet block range?

O que seria um intervalo de bloco de subredes?
Seções menores de uma rede são chamadas de sub-redes, que são úteis para agrupar hosts e gerenciá-los de uma só vez. As sub-redes são baseadas no endereço IP, facilitando para sites ou usuários mal-intencionados atingir ou bloquear uma sub-rede inteira. Por exemplo, o bloqueio 223 bloquearia todos os endereços de IP que começam com 223, enquanto o bloqueio 223.1 só bloquearia os endereços de IP que começam com 223.1, e assim por diante - este é o intervalo de blocos de sub-redes.

Porque eu devo me importar?
Como os IPs de um banco de dados geralmente estão todos na mesma sub-rede, eles são facilmente bloqueados por sites, especialmente se forem conhecidos como proxies.

Evitando o bloqueio de intervalos de sub-redes:
Os proxies residenciais não podem ser bloqueados dessa forma, porque eles não têm intervalos de sub-rede. A utilização dos IPs residenciais da Luminati garante que você não será afetado se um website usar o método do intervalo de blocos da sub-rede.


How to switch from API to Proxy Manager

Porque eu devo me importar?
O uso do Luminati Proxy Manager oferece recursos avançados que não estão prontamente disponíveis na API. Ao invez de ter que codificar manualmente mecanismos para tarefas como manter um IP pelo maior tempo possível ou girar o seu IP após cada solicitação, basta clicar em um botão no gerenciador de proxy.

Diretrizes para mudar de API para o Gerenciador de Proxy:

  1. Instale o Gerenciador de Proxies Luminati aqui
  2. Altere o código para enviar solicitações HTTP diretamente para a porta especificada (por exemplo, 127.0.0.1:24000) em vez de para zproxy.lum-superproxy.io:22225
  3. Configure as configurações para os seus proxies e zonas por meio do painel do LPM. Você não precisa enviar o parâmetro do usuário (lum-customer-customer_name-zone-zone_name ...) juntamente com suas solicitações, pois todos os dados necessários são agrupados na configuração do proxy manual.

How to configure Luminati raw API with iPhone

Orientações de como configurar o API Luminati com iPhone
  1. Abra as configurações do seu dispositivo e va para Wi-Fi
  2. Selecione o nome da Network Wi-Fi que você esta conectado
  3. Va até o final e você encontrará uma seção para 'HTTP Proxy'. Isso é definido como 'Desativado' por padrão. Defina como 'Manual':
    • No slot do servidor , entre:zproxy.lum-superproxy.io
    • No slot da porta , entre: 22225
    • Selecione Authentication: DISABLE
  4. Abra o browser
  5. Adicione o URL desejado
  6. No pop up , clique em configurações
  7. Adicione o nome de usuario (exemplo: lum-customer-lum_qa-country-us-zone -city)
  8. Senha de Zona e Pressione Ok

How do I know if I’m getting cloaked? (misleading information)

Porque eu devo me importar?
Ser enganado significa que voce esta recebendo dados de informação não corretos do site que você esta raspando
Exemplo: Se você necessita coletar informações com o objetivo de comparação de dados e assim alimentar os seus algoritmos de precificação automáticos, por exemplo, o site de destino poderá retornar preços artificiais mais baixos às suas solicitações, distorcendo os seus preços e lucros reais.

Como saber quando você esta sendo enganado
Ao usar redes de proxy tradicionais (IPs baseados em data center), seus sites de destino podem identificar sua atividade com bastante facilidade e podem encobrir seus pedidos. Portanto, a única maneira de garantir que você não está sendo encoberto é rotacionar as suas solicitações por meio de IPs residenciais.

Orientações para rotação de requisições por meio de milhões de IPs residenciais:

  1. Abra o Gerenciador de Proxies Luminati
  2. Va para a tab proxies
  3. Clique na porta da sua Zona Residencial
  4. Edite nas configurações da sua porta 'preset' para 'round-robin (ip) pool'
  5. Roteie seus pedidos a 127.0.0.1:{portnum} onde o {portnum} é a porta da zona residencial

Introducing: Luminati Chrome Extension

Porque eu devo usar?
Use a extensão do Google Chrome para autotestar o seu website, verificar seus anúncios ou simplesmente navegar em um site como se fosse de outro país. É um poderoso complemento para o Luminati Proxy Manager e uma ferramenta fácil de usar para usuários menos técnicos. Você também pode fazer com que as pessoas que não têm acesso ao painel de controle usem a extensão sem a necessidade de credenciais da conta.

Quais recursos estão disponíveis na extensão?
A Luminati Chrome Extension suporta datacenter e navegação com IP residencial, permitindo que você pesquise em qualquer país. Você pode ajustar o agente de usuário, personalizar a configuração do DNS para maximizar a discrição ou a velocidade e definir a rotação aleatória do IP.

Orientações para baixar Luminati Chrome Extension:

  • Download da Extensão para Chromeaqui
  • A extensão vai aparecer proxima a barra de buscas
  • Clique no botão azul na extensão
  • Configure os parâmetros da extensão na página de configuração dedicada

FAQ