Luminati learning hub

Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

• When to buy Residential IPs?

  Резидентские IP являются частными IP-адресами, что означает, что Ваши запросы направляются через реального пользователя. Покупка резидентских IP гарантирует, что Вы никогда не будете заблокированы или введены в заблуждение.

• When to buy Data Center IPs?

  Дата Центр IP также известен как статичный IP-адрес.

  Статический IP означает, что Вы можете использовать определенный IP, так долго, как этого требует Ваш рабочий процесс. Более того, они доступнее по цене, чем Резидентские IP.

• When to buy Mobile IPs?

  Мобильные IP-адреса представляют собой сегмент резидентских IP, которые подключены к Интернету через сотовую связь (3G / 4G), а не по WiFi или кабелю. Мобильные IP-адреса обычно используются для проверки отображения рекламных объявлений на мобильных устройствах.

Exclusivity types

• When to buy Shared IPs

  Общие IP-адреса - это самый простой способ начать использовать сеть Luminati. Они принадлежать к глобальному пулу IP-адресов в различных странах, которые совместно используются пользователями для доступа к сайтам. Вы можете использовать этот продукт в качестве начального и с последующим ростом и использованием эксклюзивных прокси.

• When to buy Exclusive IPs, with exclusive domains

  Эксклюзивный домен значит, что только Вы будете использовать IP-адреса для данного сайта.

• When to buy Dedicated IPs, with unlimited domains

  Неограниченные домены - это полностью выделенные Вам IP-адреса. Никто не может использовать эти IP-адреса, пока их используете Вы. Покупка выделенных IP-адресов гарантирует, что на Ваши результаты не повлияет другой пользователь прокси.

How to allocate IPs?

Распределение IP-адресовосуществляется через зон раздел вашего аккаунта.
Для начала вам нужно создать новую zone и среди параметров, выберите нужное количество IP-адресов и нажмите сохранить.
You can also update number of allocated IPs by editing the number of IPs in your zone.

When turning a zone off all IPs allocated to it are released, so when you turn the zone back on you will have new IPs allocated to it

How to download a list of my IPs?

Для того, чтобы загрузить список всех gIPs или Дата Центр IP Для одной из ваших зон есть 2 возможных действия:

1. Скачать список IP через Luminati CP раздел зоны by entering the specific zone and clicking on 'Download gIPs list' (for gIPs) or 'Download IPs list' (for datacenter) under settings
2. Скачать список gIP через API с помощью следующей команды:
• Для gIPs:
  curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
• Для Дата Центр IP:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs

Как мы рассчитали эту таблицу?

Ваша компания собирает информацию из Интернета, посылая 1000 HTTP запросов в час на определенный веб-сайт. Вы пишете код программы и запускаете его через сервер. Веб-сайт разрешает сделать не более 50 запросов в минуту с одного IP, прежде чем блокирует Ваше программу. Теперь, вы должны купить больше прокси.

Предположим, что Вы выбираете Дата Центр прокси:
Вы не хотите делиться IP-адресами, поэтому вы покупаете 200 выделенных Дата Центр IP. Интеграция занимает около 2 часов, а затем запускаете новую программу. На этот раз сайту понадобится 3 дня, чтобы обнаружить Вашу программу. После того, как Ваши прокси обнаружены, Вам придется купить новые прокси и повторить этот процесс снова, проверяя каждый день, что прокси не были обнаружены. Стоимость в месяц (все цифры от реальных клиентов):

• 200 выделенных IP-адресов: $500
• BW: (1000 запрос X 20KB на запрос X 24 часа Х 30 дней = 14.5GB): $ 3 в месяц
• Разработчик (2 часа интеграции X 10 + 1 час каждые 3 дня для управления прокси): ~ 3 дня работы в месяц или ~ $900

Ваша общая стоимость в месяц составит не менее $1400 только для этих вещей, даже при консервативной зарплате разработчика - $30/час. И это без учета проверок достоверности информации, в случае, если веб-сайт перед блокировкой отправляет поддельные данные для дезинформации. Таким образом, сокращая качество и количество получаемых данных, Вы можете нанести непоправимый ущерб Вашему бренду и получаемым доходам.

Предположим, что Вы выбрали прокси Luminati:
Вы покупаете базовый пакет в 40GB с неограниченным доступом к резидентским IP. Интеграция занимает 2 часа. Из-за того, что в среднем ежедневно доступно 3 миллиона резидентских IP-адресов, веб-сайт не сможет обнаружить Вашу программу что позволит Вам сосредоточиться на других проектах.

Расходуемый трафик и неограниченные IP-адреса стоят всего $500 в месяц. Получаемая Вами информация всегда достоверна, потому что Ваши запросы всегда успешны, и доступ никогда не прерывается. Если Ваш бизнес растет в результате успешной работы и Ваши проекты превышают 600 МБ каждый месяц, разница в затратах может быть намного выше, чем ~ $1000 .

Luminati также позволяет приостановить работу Вашего аккаунта, когда он не активный,позволяя снизить стоимость использования (ниже $500/месяц). Начните с активации бонуса на $5 для работы с ДатаЦентр трафиком, для проверки Luminati, а затем запросите доступ к нашей резидентской сети для дешевого и надежного сбора данных.

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

Почему я должен волноваться?
Когда веб-сайт обнаруживает сканеры с прокси IP (Дата Центр), он обычно

• Блокирует IP или
• Presents the IP with purposely misleading information, or
• Уменьшить скорость получения ответа

Как сайт определяет мою активность?
Веб-сайты регистрируют IP-адреса тех, кто их посещает, и анализируют их активность. Предполагая, что Вы используете традиционные серверные прокси, веб-сайт может:

1. Определить, что активность с IP-адреса (частота запросов) намного больше, чем активность человек, который он выполняет за определенный период времени.
2. Определите, что IP-адрес произошел из списка прокси, к которым эти веб-сайты имеют доступ
3. Определите, что IP-адреса имеют одинаковый диапазон блоков подсети

Как предотвратить обнаружение?

1. Чтобы предотвратить обнаружение по количеству запросов на IP, вы можете уменьшить количество запросов в секунду. Однако это снизит скорость сканирования
2. Для предотвращения идентификации Вашего IP как прокси, Вам следует переключить Ваши запросы на резидентские прокси . Вы должны быть в состоянии циркулировать через достаточно IP-адресов, что целевой сайт не может обнаружить вашу активность
3. При использовании резидентских IP-адресов диапазон блоков подсети отсутствует

Используя традиционное прокси-решение, веб-сайт определит действия по скрепингу и сможет заблокировать или предоставить вам неверную информацию.

How to get an IP in a specific city

Почему я должен волноваться?
Пример: если вы отвечаете за тестирование сервиса Yelp с различных городов - Вам нужно проверить сайт из 10000 разных городов по всему миру.

Как получить IP-адрес в заданном городе?
Если для задач сбора информации Вы используете только традиционное прокси-решение, как Дата Центр, Вы ограничены тем, где расположены где расположены сервера. Крупные резидентские сети могут получить IP-адреса в любом городе мира.

How to accelerate your web scraping

Почему я должен волноваться?
Если количество запросов, которые вы чередуете по одному IP-адресу, больше, чем разрешено веб-сайтами, поэтому веб-сайт идентифицирует ваш IP-адрес и блокирует или вводит в заблуждение ложной информацией. Это означает, что сбор информации может быть намного медленнее, чем вы планировали.

Как улучшить скорость сбора данных?
Предположим, что Вы выполняете 10 миллионов запросов, 1 запрос в секунду на IP с 1000 Дата Центр IP. Данная операция может занять около 3 часов. С 10 000 000 резидентских IP это займет всего 1 секунду.

Рекомендации по чередованию нескольких параллельных сессий через резидентскую сеть Luminati:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Check the port of your residential zone
4. Измените в настройках порта «preset» на «round-robin (ip) pool»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} is the port of the residential zone

How to rotate your IP address

Почему я должен волноваться?
Когда на веб-сайт отправляется много запросов с одного и того же IP-адреса, веб-сайт может пометить этот IP и отправить ложную информацию или заблокировать его. Периодическое изменение или ротация Вашего IP-адреса помогает предотвратить его определение. Вращение Ваших IP-адресов может привести к снижению частоты отказов до уровня ниже 1%.

Как датировать мой IP-адрес?
С помощью простого в использовании Proxy Manager Luminati позволяет вам контролировать:

• Количество запросов, разрешенных до изменения IP
• Время между ротацией IP
• Количество IP-адресов в пуле ротации

Рекомендации по вращать IP-адрес с Luminati:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Нажмите на прокси, который Вы хотите редактировать, затем на кнопку редактирования
4. Просмотрите параметры ротации в разделе «Preset» или «Управление IP»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} is the port of the residential zone

How to use SOCKS5 with Luminati

Почему я должен волноваться?
Сервер SOCKS является прокси-сервером, который работает для любого типа сетевого протокола по любому порту и устанавливает соединение с сервером от имени пользователя, затем направляет трафик между пользователем и сервером.

Зачем использовать SOCKS5 с Luminati?
Когда Вы используете SOCKS5 с Luminati, прокси-менеджер преобразует любые запросы на порт 80 или порт 443 в запросы http и https, поэтому вам не нужно беспокоиться о том, какой формат будет принят сайтом. С любым другим портом трафик передается как есть между пользователем и хостом.


Руководство по использованию SOCKS5:

• Открыть Luminati Proxy Manager
• Нажмите на порт, затем «Изменить прокси»
• В разделе «Общие» добавьте номер порта SOCKS.
• Перейти в «Performance» - Установить обратное разрешение: DNS
• Добавить файл разрешения
  • Добавьте «--resolve PATH» в код программы
  • Следуйте данным хостаформат файла
  • Перечислите домены, которые вы собираетесь использовать, и их IP-адреса.
  • Добавьте домены и IP-адреса из редактор файлов разрешения на странице «Инструменты» в Proxy Manager

How do I avoid subnet block range?

Что такое диапазон блоков подсети?
Меньшие разделы сети называются подсетями, которые полезны для группировки хостов и одновременного управления ими. Подсети основаны на IP-адресе, что позволяет веб-сайтам или злоумышленникам легко ориентироваться или блокировать целую подсеть. Например, блокировка 223 будет блокировать все IP-адреса, начинающиеся с 223, а блокировка 223.1 будет блокировать только IP-адреса, начинающиеся с 223.1, и т. Д. - это диапазон блоков подсети.

Почему я должен волноваться?
Поскольку все серверные IP-адреса часто находятся в одной подсети, они легко блокируются веб-сайтами, особенно если они являются известными прокси-серверами.

Как избежать диапазона блоков подсети:
Резидентские прокси не могут быть заблокированы таким образом, потому что у них нет диапазонов подсетей. Использование резидентских IP-адресов Luminati гарантирует, что вы не будете заблокированы, если сайт использует метод диапазона блоков подсетей

How to switch from API to Proxy Manager

Почему я должен волноваться?
Использование Luminati Proxy Manager предлагает расширенные функции, которые не всегда доступны в API. Вместо того, чтобы вручную кодировать решения для различных задач, как сохранение IP-адреса как можно дольше или ротация вашего IP-адреса после каждого запроса, вы можете просто нажать кнопку в Proxy Manager.

Рекомендации по переходу с API на Proxy Manager:

1. Установите Luminati Proxy Managerсюда,
2. Измените код для отправки HTTP-запросов непосредственно на указанный порт (например, 127.0.0.1:24000) вместо zproxy.lum-superproxy.io:22225
3. Настройте параметры для прокси и зон с помощью панели управления LPM. Вам не нужно отправлять параметры для авторизации (lum-customer-customer_name-zone-zone_name…) вместе с запросами, так как все необходимые данные реализованы в конфигурации прокси.

How to configure Luminati raw API with iPhone

Рекомендации по настройке iPhone c Luminati API

1. Откройте «Настройки устройства» и перейдите к Wi-Fi
2. Нажмите на имя сети Wi-Fi, к которой вы подключены
3. Прокрутите вниз, и вы найдете раздел «HTTP-прокси». По умолчанию установлено значение «Выкл.». Установите его на «Ручной»:
• В слот сервера входит:zproxy.lum-superproxy.io
• В слот портов входят: 22225
• Выбрать Authentication: DISABLE
4. Открыть браузер
5. Добавить URL
6. В Pop Up, нажмите Настройки
7. Добавьте username (например, lum-customer-lum_qa-country-us-zone -city)
8. Пароль и нажмите OK

How do I know if I’m getting cloaked? (misleading information)

Почему я должен волноваться?
Это означает означает, что вы получаете вводящую в заблуждение информацию с веб-сайта, который вы просматриваете.
Пример: если вы собираете сравнительную конкурентную информацию для создания автоматических алгоритмов ценообразования, веб-сайт может возвращать искусственно заниженные цены на ваши запросы, чтобы исказить ваши цены и прибыль.

Как узнать, когда вас вводят в заблуждение
При использовании традиционных прокси-сетей (Дата Центр), сайты могут идентифицировать вашу активность довольно легко и могут маскировать ваши запросы. Таким образом, единственный способ гарантированно получить достоверные данные - это перенаправить ваши запросы через резидентские IP.

Рекомендации по ротации запросов через миллионы резидентских IP-адресов:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Check the port of your residential zone
4. Измените в настройках порта «preset» на «round-robin (ip) pool»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} is the port of the residential zone

Introducing: Luminati Chrome Extension

Почему я должен использовать это?
Используйте расширение Chrome, чтобы самостоятельно проверить свой веб-сайт, проверить свои объявления или просто посмотреть сайт, как будто из другой страны. Это мощное дополнение к Luminati Proxy Manager и простой в использовании инструмент для менее технических пользователей. Вы также можете попросить людей, которые не имеют доступа к панели мониторинга, использовать расширение, не зная учетных данных учетной записи.

Какие функции доступны в расширении?
Luminati Chrome Extension поддерживает Дата Центр и Резидентские IP-адреса, что позволяет выполнять поиск из любой страны. Вы можете настроить user agent, настроить конфигурацию DNS или скорости, а также установить случайную ротацию IP.

Руководство для загрузки Luminati Chrome Extension:

• Скачать Luminati Chrome Extensionсюда,
• Расширение будет отображаться рядом с панелью поиска
• Нажмите на темно-синюю кнопку в расширении
• Настройте параметры расширения на странице настроек.

FAQ