Luminati learning hub

Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

• When to buy Residential IPs?

  Резидентские IP являются частными IP-адресами, что означает, что Ваши запросы направляются через реального пользователя. Покупка резидентских IP гарантирует, что Вы никогда не будете заблокированы или введены в заблуждение.

• When to buy Data Center IPs?

  Дата Центр IP также известен как статичный IP-адрес.

  Статический IP означает, что Вы можете использовать определенный IP, так долго, как этого требует Ваш рабочий процесс. Более того, они доступнее по цене, чем Резидентские IP.

• When to buy Mobile IPs?

  Мобильные IP-адреса представляют собой сегмент резидентских IP, которые подключены к Интернету через сотовую связь (3G / 4G), а не по WiFi или кабелю. Мобильные IP-адреса обычно используются для проверки отображения рекламных объявлений на мобильных устройствах.

Exclusivity types

• When to buy Shared IPs

  Общие IP-адреса - это самый простой способ начать использовать сеть Luminati. Они принадлежать к глобальному пулу IP-адресов в различных странах, которые совместно используются пользователями для доступа к сайтам. Вы можете использовать этот продукт в качестве начального и с последующим ростом и использованием эксклюзивных прокси.

• When to buy Exclusive IPs, with exclusive domains

  Эксклюзивный домен значит, что только Вы будете использовать IP-адреса для данного сайта.

• When to buy Dedicated IPs, with unlimited domains

  Неограниченные домены - это полностью выделенные Вам IP-адреса. Никто не может использовать эти IP-адреса, пока их используете Вы. Покупка выделенных IP-адресов гарантирует, что на Ваши результаты не повлияет другой пользователь прокси.

How to allocate IPs?

Распределение IP-адресовосуществляется через зон раздел вашего аккаунта.
Для начала вам нужно создать новую зону и среди параметров, выберите нужное количество IP-адресов и нажмите сохранить.
Вы также можете обновить количество выделенных IP-адресов, отредактировав их количество в зоне.

При отключении зоны все выделенные Вам IP-адреса отключаются, поэтому при повторном включении зоны Вам будут предложены новые IP-адреса.

How to download a list of my IPs?

Для того, чтобы загрузить список всех gIPs или Дата Центр IP Для одной из ваших зон есть 2 возможных действия:

1. Скачать список IP через Luminati CP раздел зоны зайдя в определенную зону и нажав «Скачать список gIP» (для gIP) или «Скачать список IP-адресов» (для Дата Центр) в настройках
2. Скачать список gIP через API с помощью следующей команды:
• Для gIPs:
  curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
• Для Дата Центр IP:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs

Как мы рассчитали эту таблицу?

Ваша компания собирает информацию из Интернета, посылая 1000 HTTP запросов в час на определенный веб-сайт. Вы пишете код программы и запускаете его через сервер. Веб-сайт разрешает сделать не более 50 запросов в минуту с одного IP, прежде чем блокирует Ваше программу. Теперь, вы должны купить больше прокси.

Предположим, что Вы выбираете Дата Центр прокси:
Вы не хотите делиться IP-адресами, поэтому вы покупаете 200 выделенных Дата Центр IP. Интеграция занимает около 2 часов, а затем запускаете новую программу. На этот раз сайту понадобится 3 дня, чтобы обнаружить Вашу программу. После того, как Ваши прокси обнаружены, Вам придется купить новые прокси и повторить этот процесс снова, проверяя каждый день, что прокси не были обнаружены. Стоимость в месяц (все цифры от реальных клиентов):

• 200 выделенных IP-адресов: $500
• BW: (1000 запрос X 20KB на запрос X 24 часа Х 30 дней = 14.5GB): $ 3 в месяц
• Разработчик (2 часа интеграции X 10 + 1 час каждые 3 дня для управления прокси): ~ 3 дня работы в месяц или ~ $900

Ваша общая стоимость в месяц составит не менее $1400 только для этих вещей, даже при консервативной зарплате разработчика - $30/час. И это без учета проверок достоверности информации, в случае, если веб-сайт перед блокировкой отправляет поддельные данные для дезинформации. Таким образом, сокращая качество и количество получаемых данных, Вы можете нанести непоправимый ущерб Вашему бренду и получаемым доходам.

Предположим, что Вы выбрали прокси Luminati:
Вы покупаете базовый пакет в 40GB с неограниченным доступом к резидентским IP. Интеграция занимает 2 часа. Из-за того, что в среднем ежедневно доступно 3 миллиона резидентских IP-адресов, веб-сайт не сможет обнаружить Вашу программу что позволит Вам сосредоточиться на других проектах.

Расходуемый трафик и неограниченные IP-адреса стоят всего $500 в месяц. Получаемая Вами информация всегда достоверна, потому что Ваши запросы всегда успешны, и доступ никогда не прерывается. Если Ваш бизнес растет в результате успешной работы и Ваши проекты превышают 600 МБ каждый месяц, разница в затратах может быть намного выше, чем ~ $1000 .

Luminati также позволяет приостановить работу Вашего аккаунта, когда он не активный,позволяя снизить стоимость использования (ниже $500/месяц). Начните с активации бонуса на $5 для работы с ДатаЦентр трафиком, для проверки Luminati, а затем запросите доступ к нашей резидентской сети для дешевого и надежного сбора данных.

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

Почему я должен волноваться?
Когда веб-сайт обнаруживает сканеры с прокси IP (Дата Центр), он обычно

• Блокирует IP или
• Представляет IP с намеренно вводящей в заблуждение информацией, или
• Уменьшить скорость получения ответа

Как сайт определяет мою активность?
Веб-сайты регистрируют IP-адреса тех, кто их посещает, и анализируют их активность. Предполагая, что Вы используете традиционные серверные прокси, веб-сайт может:

1. Определить, что активность с IP-адреса (частота запросов) намного больше, чем активность человек, который он выполняет за определенный период времени.
2. Определите, что IP-адрес произошел из списка прокси, к которым эти веб-сайты имеют доступ
3. Определите, что IP-адреса имеют одинаковый диапазон блоков подсети

Как предотвратить обнаружение?

1. Чтобы предотвратить обнаружение по количеству запросов на IP, вы можете уменьшить количество запросов в секунду. Однако это снизит скорость сканирования
2. Для предотвращения идентификации Вашего IP как прокси, Вам следует переключить Ваши запросы на резидентские прокси . Вы должны быть в состоянии циркулировать через достаточно IP-адресов, что целевой сайт не может обнаружить вашу активность
3. При использовании резидентских IP-адресов диапазон блоков подсети отсутствует

Используя традиционное прокси-решение, веб-сайт определит действия по скрепингу и сможет заблокировать или предоставить вам неверную информацию.

How to get an IP in a specific city

Почему я должен волноваться?
Пример: если вы отвечаете за тестирование сервиса Yelp с различных городов - Вам нужно проверить сайт из 10000 разных городов по всему миру.

Как получить IP-адрес в заданном городе?
Если для задач сбора информации Вы используете только традиционное прокси-решение, как Дата Центр, Вы ограничены тем, где расположены где расположены сервера. Крупные резидентские сети могут получить IP-адреса в любом городе мира.

How to accelerate your web scraping

Почему я должен волноваться?
Если количество запросов, которые вы чередуете по одному IP-адресу, больше, чем разрешено веб-сайтами, поэтому веб-сайт идентифицирует ваш IP-адрес и блокирует или вводит в заблуждение ложной информацией. Это означает, что сбор информации может быть намного медленнее, чем вы планировали.

Как улучшить скорость сбора данных?
Предположим, что Вы выполняете 10 миллионов запросов, 1 запрос в секунду на IP с 1000 Дата Центр IP. Данная операция может занять около 3 часов. С 10 000 000 резидентских IP это займет всего 1 секунду.

Рекомендации по чередованию нескольких параллельных сессий через резидентскую сеть Luminati:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Проверьте порт Вашей резидентской зоны
4. Измените в настройках порта «preset» на «round-robin (ip) pool»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} это порт резидентской зоны

How to rotate your IP address

Почему я должен волноваться?
Когда на веб-сайт отправляется много запросов с одного и того же IP-адреса, веб-сайт может пометить этот IP и отправить ложную информацию или заблокировать его. Периодическое изменение или ротация Вашего IP-адреса помогает предотвратить его определение. Вращение Ваших IP-адресов может привести к снижению частоты отказов до уровня ниже 1%.

Как датировать мой IP-адрес?
С помощью простого в использовании Proxy Manager Luminati позволяет вам контролировать:

• Количество запросов, разрешенных до изменения IP
• Время между ротацией IP
• Количество IP-адресов в пуле ротации

Рекомендации по вращать IP-адрес с Luminati:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Нажмите на прокси, который Вы хотите редактировать, затем на кнопку редактирования
4. Просмотрите параметры ротации в разделе «Preset» или «Управление IP»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} это порт резидентской зоны

How to use SOCKS5 with Luminati

Почему я должен волноваться?
Сервер SOCKS является прокси-сервером, который работает для любого типа сетевого протокола по любому порту и устанавливает соединение с сервером от имени пользователя, затем направляет трафик между пользователем и сервером.

Зачем использовать SOCKS5 с Luminati?
Когда Вы используете SOCKS5 с Luminati, прокси-менеджер преобразует любые запросы на порт 80 или порт 443 в запросы http и https, поэтому вам не нужно беспокоиться о том, какой формат будет принят сайтом. С любым другим портом трафик передается как есть между пользователем и хостом.


Руководство по использованию SOCKS5:

• Открыть Luminati Proxy Manager
• Нажмите на порт, затем «Изменить прокси»
• В разделе «Общие» добавьте номер порта SOCKS.
• Перейти в «Performance» - Установить обратное разрешение: DNS
• Добавить файл разрешения
  • Добавьте «--resolve PATH» в код программы
  • Следуйте данным хостаформат файла
  • Перечислите домены, которые вы собираетесь использовать, и их IP-адреса.
  • Добавьте домены и IP-адреса из редактор файлов разрешения на странице «Инструменты» в Proxy Manager

How do I avoid subnet block range?

Что такое диапазон блоков подсети?
Меньшие разделы сети называются подсетями, которые полезны для группировки хостов и одновременного управления ими. Подсети основаны на IP-адресе, что позволяет веб-сайтам или злоумышленникам легко ориентироваться или блокировать целую подсеть. Например, блокировка 223 будет блокировать все IP-адреса, начинающиеся с 223, а блокировка 223.1 будет блокировать только IP-адреса, начинающиеся с 223.1, и т. Д. - это диапазон блоков подсети.

Почему я должен волноваться?
Поскольку все серверные IP-адреса часто находятся в одной подсети, они легко блокируются веб-сайтами, особенно если они являются известными прокси-серверами.

Как избежать диапазона блоков подсети:
Резидентские прокси не могут быть заблокированы таким образом, потому что у них нет диапазонов подсетей. Использование резидентских IP-адресов Luminati гарантирует, что вы не будете заблокированы, если сайт использует метод диапазона блоков подсетей

How to switch from API to Proxy Manager

Почему я должен волноваться?
Использование Luminati Proxy Manager предлагает расширенные функции, которые не всегда доступны в API. Вместо того, чтобы вручную кодировать решения для различных задач, как сохранение IP-адреса как можно дольше или ротация вашего IP-адреса после каждого запроса, вы можете просто нажать кнопку в Proxy Manager.

Рекомендации по переходу с API на Proxy Manager:

1. Установите Luminati Proxy Managerсюда,
2. Измените код для отправки HTTP-запросов непосредственно на указанный порт (например, 127.0.0.1:24000) вместо zproxy.lum-superproxy.io:22225
3. Настройте параметры для прокси и зон с помощью панели управления LPM. Вам не нужно отправлять параметры для авторизации (lum-customer-customer_name-zone-zone_name…) вместе с запросами, так как все необходимые данные реализованы в конфигурации прокси.

How to configure Luminati raw API with iPhone

Рекомендации по настройке iPhone c Luminati API

1. Откройте «Настройки устройства» и перейдите к Wi-Fi
2. Нажмите на имя сети Wi-Fi, к которой вы подключены
3. Прокрутите вниз, и вы найдете раздел «HTTP-прокси». По умолчанию установлено значение «Выкл.». Установите его на «Ручной»:
• В слот сервера входит:zproxy.lum-superproxy.io
• В слот портов входят: 22225
• Выбрать Authentication: DISABLE
4. Открыть браузер
5. Добавить URL
6. В Pop Up, нажмите Настройки
7. Добавьте username (например, lum-customer-lum_qa-country-us-zone -city)
8. Пароль и нажмите OK

How do I know if I’m getting cloaked? (misleading information)

Почему я должен волноваться?
Это означает означает, что вы получаете вводящую в заблуждение информацию с веб-сайта, который вы просматриваете.
Пример: если вы собираете сравнительную конкурентную информацию для создания автоматических алгоритмов ценообразования, веб-сайт может возвращать искусственно заниженные цены на ваши запросы, чтобы исказить ваши цены и прибыль.

Как узнать, когда вас вводят в заблуждение
При использовании традиционных прокси-сетей (Дата Центр), сайты могут идентифицировать вашу активность довольно легко и могут маскировать ваши запросы. Таким образом, единственный способ гарантированно получить достоверные данные - это перенаправить ваши запросы через резидентские IP.

Рекомендации по ротации запросов через миллионы резидентских IP-адресов:

1. Открыть Luminati Proxy Manager
2. Перейдите на вкладку «прокси»
3. Проверьте порт Вашей резидентской зоны
4. Измените в настройках порта «preset» на «round-robin (ip) pool»
5. Направьте ваши запросы на 127.0.0.1:{portnum} где {portnum} это порт резидентской зоны

Introducing: Luminati Chrome Extension

Почему я должен использовать это?
Используйте расширение Chrome, чтобы самостоятельно проверить свой веб-сайт, проверить свои объявления или просто посмотреть сайт, как будто из другой страны. Это мощное дополнение к Luminati Proxy Manager и простой в использовании инструмент для менее технических пользователей. Вы также можете попросить людей, которые не имеют доступа к панели мониторинга, использовать расширение, не зная учетных данных учетной записи.

Какие функции доступны в расширении?
Luminati Chrome Extension поддерживает Дата Центр и Резидентские IP-адреса, что позволяет выполнять поиск из любой страны. Вы можете настроить user agent, настроить конфигурацию DNS или скорости, а также установить случайную ротацию IP.

Руководство для загрузки Luminati Chrome Extension:

• Скачать Luminati Chrome Extensionсюда,
• Расширение будет отображаться рядом с панелью поиска
• Нажмите на темно-синюю кнопку в расширении
• Настройте параметры расширения на странице настроек.

FAQ