Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

  • When to buy Residential IPs?

    Las IPs residenciales son IPs privadas, por lo que tus requests son enviadas a través de usuarios reales. Usar IPs residenciales te asegura que nunca vas a ser bloqueado o que te envien información errónea

  • When to buy Data Center IPs?

    IPs de Data Centers son tambien conocidas como IPs estáticas

    Una IP estática significa que puedes usar una IP específica por cuanto tiempo la necesites (por una única y larga sesión). Son más económicas que las IPs residenciales.

  • When to buy Mobile IPs?

    Mobile IPs are a segment of residential IPs that are connected to the Internet via cellular (3G / 4G) connection, rather than WiFi or cable. Mobile IPs are commonly used to verify that your ads are being displayed correctly on mobile devices with different providers.

Exclusivity types

  • When to buy Shared IPs

    Shared IPs are the easiest way to start using Luminati network. They refer to global pool of IPs in various countries that are shared amongst many users to access numerous sites. you can use this option as the first entry point and scale to more exclusive one when getting blocked or misled.

  • When to buy Exclusive IPs, with exclusive domains

    Dominios exclusivos significa que tú vas a ser el único usuario usando estos IPs para estos websites que has elegido.

  • When to buy Dedicated IPs, with unlimited domains

    Dominios ilimitados se refiere a IPs que son completamente dedicados para tí. Nadie puede usar estas IPs mientras te sean asignadas a tí. Comprar estas IPs te asegura que tus resultados no serán afectados por otro usuario de servicios de proxies.

How to allocate IPs?

Alocación de IPsse hace a travez de zonas de tu cuenta.
Para empear tú tienes que crear una nueva zone y entre otras settings, elige el nmero de IPs que deseas y guarda los cambios.
You can also update number of allocated IPs by editing the number of IPs in your zone.

When turning a zone off all IPs allocated to it are released, so when you turn the zone back on you will have new IPs allocated to it

How to download a list of my IPs?

Para descargar la lista de todos las GIPS o IPs de Data Center alocadas a una de tus zonas hay 2 acciones posibles:

  1. Descarga tu lista de IPs desde el Panel de Control de Luminati sección zonas by entering the specific zone and clicking on 'Download gIPs list' (for gIPs) or 'Download IPs list' (for datacenter) under settings
  2. Descarga tu lista de gIPs usando el siguiente comando:
    • Para gIPs:
      curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
    • Para Data Center IPs:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs


Cómo calcular esta tabla?

Tu companía necesitar colectar información de la web enviando 1000 http requests por hora a un sitio web específico. Tú escribes el código de tu scraper y lo corres a través sde un servidor. El sitio website te permite hacer 50 requests por minuto desde la misma IP antes de bloquear tu scraper. Ahora tu debes comprar más proxies.

Asumiendo que tu eliges usar data center IPs
You don’t want to share IPs, so you buy 200 dedicated data-center IPs. You code the integration of the scraper with the new data-center proxies for 2 hours and then run the new program. This time, it takes 3 days for your target website to detect your scraper. Once your proxies are detected, you’ll have to purchase new proxies and repeat this process again, checking each day to make sure the proxies haven’t been detected. Cost per month (all numbers are from real customers):

  • 200 IPs dedicados: $500
  • Bandwidth: (1000 requests x 20KB por request x 24 horas x 30 días = 14.5GB : $3 por mes
  • Desarrollador (2 horas de integración x 10 + 1 hora cada 3 días para manejar las proxies): ~3 días de trabajo mensuales o ~$900

Tu costo por mes sera al menos $1400 solo para estas cosas solamente, y el sueldo de $30 por hora por un developer es muy consevador. Además, esto no considera que el target website puede enviarte información errónea antes de bloquearte o si tu flujo de información es cortado cada tantos días, lo que puede ser un gran perjuicio para tu brand o para tus ingresos.

Asumiendo que tu eliges los IPs residenciales de Luminati:
Tu compras el paquete básico de 40GB con acceso a un pozo de IPs ilimitados. Luego de 2 horas de trabajo, tu integras Luminati a tu scraper. Dada la disponibilidad promedio de 3 millones de IPs residenciales diarias, tu target website no puede detectar tu scraper, permitiendote poner tu foco en otros proyectos.

El ancho de banda y las IPs ilimitadas cuentas solo $500 al mes. Tu información siempre sera confiable ya que tus request son siempre exitosas y tu acceso no es nunca cortado en el medio del mes. Cuando te negocio crece como resultado de este scraping y tus proyectos exceden los 600MB mensuales, la diferencia en costos puede ser mucho mas grande que solo ~$1000.

Luminati también te permite suspender tu cuenta cuando no las estas usando. entonces tu costo mensual puede ser aún menor a $500. Puedes empezar usando el vaucher de $5 para probar el tráfico de data center y probar los beneficios de Luminati y luego pedir acceso a la network residencial. para lograr una colección de datos confiable y económica.

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

Por qué debería preocuparme?
Cuándo un sitio website detecta un crawler usando proxies (data center) IP, este comunmente

  • lo bloquea, o
  • le muestra a este IP información errónea, o
  • le baja el ratio de respuesta.

Cómo el sitio website detecta la actividad de mi crawler?
Los sitios website cargan los IPs de todas las visitas que reciben y analizan las actividades que estas IPs hacen. Asumiendo que estás usando las tradicionales IPs de data center, el sitio puede:

  1. Identificar que esta actividad desde una sola IP (el porcantaje de requests) es mucho mayor a la que un humano puede realizar en un tiempo determinado.
  2. Identificar que la dirección de IP es originada desde una lista de servidor de proxies, a los que este sitio website tiene acceso
  3. Identificar que las IPs tienen el mismo rango de subnet bloqueado.
Cómo prevenir de ser detectado?
  1. To prevent being detected by the amount of requests per IP, you can reduce the number of requests per second. However, this will reduce your crawling speed
  2. To prevent the target from identifying your IP as coming from a proxy server, you must rotate your requests through residential IPs. You should be able to circulate through enough IPs that the target website can not detect your activity
  3. Al usar IPs residenciales no se puede bloquear el rando del subnet
Usando las tradicionales soluciones de proxy, es sólo una cuestion de tiempo hasta que el sitio website identifique tus actividades de crawling, y te pueda bloquear o enviar información engañosa.

How to get an IP in a specific city

Por qué debería preocuparme?
Ejemplo: si tú eres el responsable de testear a nivel ciudad el servicio de Yelp - deberías chequear el sitio desde 10,000 ciudades en todo el mundo.

Cómo recibir una IP en una ciudad específica?
Si tú usas las tradicionales soluciones de data center para tus tareas de colección de datos, estarás limitado a donde estas data centers estén situadas. Nuestra extensa network residencial te da acceso a IPs en cualquier ciudad del mundo que necesites.

How to accelerate your web scraping

Por qué debería preocuparme?
Si el número de requests que rotas a traves de una sola IP es mayor a las que permite el website, el sitio target puede identificar tu IP y bloquearla o engañarla, enviandole información falsa. Esto significa que tu colección de información puede ser mucho masa lenta de lo habitual.

Cómo mojorar la velocidad de recolección de datos?
Asumiendo que tú estas corriendo 10 millones de requests, 1 requests por segundo por IP con 1000 data center IPs, tu rutina puede tomar unas 3 horas. Con 10 millones de IPs residenciales, tu rutina potencialmente puede tomar 1 segundo.

Guía para rotar múltiples sesiones paralelas a traves de la network residencial de Luminati:

  1. Abre el Luminati Proxy Manager
  2. Ve a la pesataña 'Proxies'
  3. Check the port of your residential zone
  4. Edita en settings del puerto, usa el preset de 'round-robin (ip) pool'
  5. Envíe sus peticiones a 127.0.0.1:{portnum} donde el {portnum} is the port of the residential zone

How to rotate your IP address

Por qué debería preocuparme?
Cuando tu mandas varias request a un website desde un mismo IP. el website puede marcar esta IP como usada desde un crawler y mandarle mala información o bloquearla. El cambio periodico o la rotación de tus direcciónes de IPs ayuda a prevenir que tu target website identifique tu IP como la de un crawler. La rotación de IPs puede bajar la taza de error a menos de 1 porcentaje.

Cómo rotar tus direcciónes de IP?
Con nuestro sencillo Proxy Manager, Luminati te permite controlar:

  • El número de requests permitido antes de cambiar de IP
  • El tiempo en que las IPs cambian.
  • La cantidad de IPs que rotan en tu pozo.

Guía para rotar tus IPs con Luminati:
  1. Abre el Luminati Proxy Manager
  2. Ve a la pesataña 'Proxies'
  3. Dale click al proxy que quieras editar y luego al botón de editar.
  4. Busca las opciones de rotación en 'Preset' o 'IP Policy'
  5. Envíe sus peticiones a 127.0.0.1:{portnum} donde el {portnum} is the port of the residential zone

How to use SOCKS5 with Luminati

Por qué debería preocuparme?
El servidor SOCKS es un proxy server que funciona para cualquier tipo de network protocol en cualquier puerto y establece una conexión a un server para un usuario, luego envií el tráfico entre el usuario y el servidor.

Por qué usar SOCKS5 con Luminati?
Cuando usas SOCKS5 con Luminati, el proxy manager convierte cualquier request a port 80 o 443 a http y https requests, por lo que no debes preocuparte sobre qué formato es aceptado en tu target website. Con cualquier otro puerto, el tráfico es enviado tal como está entre el usuario y el host.


Guía para usar SOCKS5:

  • Abre el Luminati Proxy Manager
  • Dale click al proxy que quieras editar y luego al botón de editar.
  • Bajo 'General' agrega SOCKS port number
  • Ir a "Performance" - marca el Reverse Resolve: DNS
  • Agrega un resolve file
    • Agrega '--resolve PATH' a tu program code
    • Sigue el Hostfile format
    • Lista los dominios que vas a usar y sus IPs
    • Agrega los dominios e IPs del resolve file editor en el la parte de Tools del proxy manager.

How do I avoid subnet block range?

Que es un Subnet Block Range?
Pequeñas secciónes de nuestra network son llamadas subnets, las que son de utilidad para agrupar hosts juntos y manejarlos a todos juntos. Subnets son basados en direcciónes de IPs, lo que hace fácil para las websites o usuarios 'malignos' apuntar o bloquear u Subnet entero. Por ejemplo, bloqueando 223 podría bloquear todos lPs que empiecen con 223, cuando 223.1 podría solo bloquear direcciónes de IP que empiezan con 223.1 y asi sucesivamente - esto es un subnet block range.

Por qué debería preocuparme?
Dado que las IPs de database son frecuentemente de la misma subnet, estas son facilmente bloqueadas por los websites, especialmente si son conocidas como proxies.

Avitando Subnet Block Range:
Proxies residenciales no pueden ser bloqueadas de esta manera, ya que estas no tienes rangos de subnets. Usar las IPs residenciales de Luminati te asegura que no vas a ser afectado si un website usa el metodo de subnet block.


How to switch from API to Proxy Manager

Por qué debería preocuparme?
Usar el Luminati Proxy Manager ofrece avanzadas utilidades que no estan todavia disponibles en API. En vez de desarrollar mecanismos manualmente para tareas como mantener un mismo IP durante el tiempo mas largo posible o rotar de IP despues de cada request, puedes simplemente darte click a un botón en el Proxy Manager .

Instrucciones para pasar de API a Luminati Proxy Manager

  1. Instala el Luminati Proxy Manageraquí
  2. Cambia el codigo de mandar HTTP requests directo al puerto especifico (por ejemplo 127.0.0.1:24000) en vez de hacerlo a zproxy.lum-superproxy.io:22225
  3. Configura las settings para tus Custom proxies y las zonas a traves del Dashboard del LPM. No es necesario mandar el user parameter (lum-customer-customer_name-zone-zone_name…) en las requests, ya que todos los datos necesarios son tomados de la configuracion del LPM.

How to configure Luminati raw API with iPhone

Guía para configurar Luminati raw API en un iPhone
  1. Abre las configuraciones de tu dispositivo y ve a WiFi
  2. Escribe el nombre de la red wifi a la que estás conectado
  3. Baja hasta el fondo y vas a encontrar una sección para 'HTTP Proxy'. Este esta apagado por default. Cambialo a 'Manual'
    • En 'server' escribe:zproxy.lum-superproxy.io
    • En 'puerto' escribe: 22225
    • Elige Authentication: DISABLE
  4. Abre el Browser
  5. Agrega el target URL
  6. En el pop up, tap settings
  7. Agrega tu nombre de usuario (Ejemplo: lum-customer-lum_qa-country-us-zone -city)
  8. El Password y dale OK

How do I know if I’m getting cloaked? (misleading information)

Por qué debería preocuparme?
Ser eganado (cloacked) significa que estas obteniendo información errónea por parte del sitio que estás rastreando.
Por ejemplo: si tu estás colectando información de tu competidor para cargar automaticamente tus algoritmos de precios, el target website puede devolver a tus requests información artificial con precios mas bajos, para influir en tus precios y dañar tu profit.

Cómo saber si estoy siendo engañado?
Cuando usas los tradicionales proxies (basados en data center IPs), tu target website puede identificar tu actividad facilmente e intentara engañarte. Por ello, la única manera que tienes de asegurarte que no te esten engañando es rotar tus requests a IPs residenciales

Guía para rotar requests a traves de millones de IPs residenciales

  1. Abre el Luminati Proxy Manager
  2. Ve a la pesataña 'Proxies'
  3. Check the port of your residential zone
  4. Edita en settings del puerto, usa el preset de 'round-robin (ip) pool'
  5. Envíe sus peticiones a 127.0.0.1:{portnum} donde el {portnum} is the port of the residential zone

Introducing: Luminati Chrome Extension

Por qué debería usarlo?
Usar la Chrome Extension para auto verificar tu website, verificar tus ads, o simplemente navegar en algun sitio como si estuvieras en otro país. Es un gran complemente al Luminati Proxy Manager, y muy sencillo de usar para personas menos tecnicas. Si tienes personas en tu equipo que to tienen acceso al Dashboard, pueden usar la extension sin saber los datos de la cuenta y su password.

Que características estan disponibles en la extensión?
La Extenxión de Chrome de Luminati da soporte a IPs residenciales y de data center, lo que te permite buscar desde cualquier país. Puedes ajustar el User Agent, elegir la configuracion del DNS para una máxima discresión, velocidad, y elegir una rotación randomal de IPs.

Guía para Descargar la Extensión de Luminati

  • Descarga la Extensión Chrome de Luminatiaquí
  • La extensión aparecera junto a tu barra de búsqueda
  • Cliquea en el botón azul de la extensión
  • Configura los parámetros de la extension en la pagina dedicada al setup

FAQ