Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

  • When to buy Residential IPs?

    レジデンシャルIPとはプライベートIPアドレスです。ウェブにアクセスする際にリクエストは実際のユーザー経由でルートされます。レジデンシャルIPを購入するとブロック、ミスリードされなくなります。

  • When to buy Data Center IPs?

    データセンターIPは静的IPとも呼ばれます。

    静的IPは必要なだけ特定のIPを使い続けることができます。(long single session)レジデンシャルIPよりも費用は低くなります。

  • When to buy Mobile IPs?

    モバイルIPをはレジデンシャルIPの1種で、WiFiやケーブルではなくセルラー接続(3G / 4G)経由でネットに接続しているものです。モバイルIPは複数のプロバイダのモバイルデバイス上で広告が正しく表示されるか確認するために利用されることが多くなっています。

Exclusivity types

  • When to buy Shared IPs

    共用IPはLuminati networkの使い始めに便利です。世界中のIPのプールを複数のサイトにアクセスするたくさんのユーザーと共用します。このオプションは入り口として使い、ブロックやミスリードされた場合により専有性の高いIPをご利用ください。

  • When to buy Exclusive IPs, with exclusive domains

    専用指定により、選択したターゲットサイトに対して付与されたIPを利用しているのがお客様だけになります。

  • When to buy Dedicated IPs, with unlimited domains

    無制限ドメインとはお客様だけのIPとなることを意味します。専用IPを購入すると他のユーザーから影響を受けて結果が変わることはありません。

How to allocate IPs?

IPの付与こちらを介して行われます ゾーン セクション
まずは新規作成してください。 ゾーン 設定の中で必要なIPの数を選択、保存します。
ゾーンでIPの数を編集することで付与されるIPの数を更新することもできます。

ゾーンをオフにすると付与されていたIPがすべてリリースされます。そしてゾーンを再度オンにすると新しいIPが付与されます。

How to download a list of my IPs?

すべてのリストをダウンロードするには gIP または データセンターIP ゾーンに付与されました。2つのアクションが行なえます。:

  1. LuminatiのコントロールパネルからIPリストをダウンロード ゾーン ゾーンの設定タブで特定のゾーンを入力し、「gIPリストをダウンロードする」(gIPの場合)をクリックするか「IPリストをダウンロードする」(データセンターの場合)します。
  2. 次のコマンドを使ってAPI経由でgIPをダウンロードします。:
    • gIP
      curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
    • データセンターIPの場合:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs


この表の計算方法

特定のサイトに1,000 httpリクエスト/1時間を送信してウェブから情報収集するとします。スクレイパーのコードを書き、サーバー経由で実行します。ターゲットサイトはスクレイパーをブロックするまでに、同一IPから許可するリクエスト数は最大50リクエスト/分までです。そのためもっとたくさんプロキシが必要となります。

データセンタプロキシを選択した場合:
共有IPを使いたくないため、200個の専用データセンターIPを購入したとします。2時間スクレイパーの統合と新しいデータセンタープロキシの統合をコーディングし、それから新しいプログラムを実行します。そのときターゲットサイトがスクレイパーを検出するまでに3日間かかります。プロキシが見つかると、毎日プロキシが検出されたかどうか確認しつつ、新しいプロキシを購入し、このプロセスを繰り替えす必要があります。月額料金(実際のお客様から伺った数字です):

  • 専用IP 200個: $500
  • トラフィック: (1000リクエストX20KB/リクエストX24時間X 30日=14.5GB): $3/月
  • デベロッパー(統合に2時間 X 10 + 3日に1時間 プロキシの管理): ~毎月3日間の作業または~$900

こちら単体にかかる料金は最低でも$1400で、低く見積もってもデベロッパーの給与は時給$30です。しかも、ターゲットサイトがブロックする間に間違った情報を送信したかどうか、データの流れが数日ごとに中断されるかなどデータの信頼性を考慮に入れなかった場合の話です。このことはブランドや収入源に悪影響を及ぼすかもしれません。

Luminatiのレジデンシャルプロキシを選択したとすると:
40GBの基本パッケージを購入するとレジデンシャルIPの数は無制限に使えます。2時間程度でスクレイピングツールと統合させることができます。毎日平均で300万レジデンシャルIPはが利用できる状態なので、ターゲットサイトからスクレイピングツールを検出されることなく、他のプロジェクトに集中できます。

トラフィックと無制限IPは月額たった$500です。リクエストは常に成功し、月内にアクセスが中断されることはないのでデータが安定します。スクレイピング結果により事業が拡大し、プロジェクトが毎月600MB以上となった場合、費用の差は$1,000をはるかに超えます。

Luminatiはアカウントをご利用でない場合にはアカウントを停止しますので、月額料金は$500以下になります。データセンター用の$5バウチャーで、Luminatiの機能をテストし、それからより費用対効果が高く、信頼性の高いデータ収集のためにレジデンシャルネットワークを利用しましょう。

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

なぜ気にする必要があるか?
ターゲットサイトがプロキシ(データセンター)IPからクローラーを検出するとこのような現象が起きます。

  • IPをブロックするまたは
  • そのIPに対してわざと間違った情報を表示するまたは
  • レスポンス率を落とす

ターゲットサイトはどのようにしてクローリングを検出するのか?
ターゲットサイトはサイト訪問者のIPを記録し、IPのアク低ビティを分析します。一般的なデータセンタープロキシをご利用の場合、ターゲットサイトは次のことを行います。:

  1. 同一IPからのアクティビティ(リクエスト率)が一定時間に人間が達成できる量をはるかに超えていることを検出します。
  2. ターゲットサイトがアクセスできる、プロキシサーバーリスト掲載のIPアドレスを識別します。
  3. IPが同一サブネット範囲にあるか検出します。
検出されるのを防ぐには?
  1. IPごとのリクエスト数により検出されるのを防ぐために、秒ごとにリクエスト数を削減できます。ただしこれによりクローリング速度は落ちます。
  2. IPがプロキシサーバー由来であることをターゲットに検出されないため、レジデンシャルIPでリクエストをローテーションさせる必要があります。十分な量のIPが循環しているため、ターゲットサイトにアクティビティが見つかることはありません。
  3. レジデンシャルIPを使うとサブネット範囲をブロックされることはありません。
一般的なプロキシを使う場合、ターゲットサイトにクローリングが見つかるのは時間の問題で、ブロックされたり、間違った情報を表示されることがあります。

How to get an IP in a specific city

なぜ気にする必要があるか?
例: Yelpのシティレベルサービスをテストする場合、世界中の10,000都市からサイトをチェックする必要があります。

特定の都市のIPを取得するには?
データ収集タスクに通常のデータセンタープロキシのみを利用した場合、データセンターのある位置のみに制限されます。巨大なレジデンシャルネットワークなら世界中のどんな都市のIPでも入手できます。

How to accelerate your web scraping

なぜ気にする必要があるか?
同一IPからローテーションさせたリクエスト数がターゲットサイトが許可する数を超えた場合、サイトはIPを検出し、ブロックしたり、間違った情報でミスリードします。つまり、データ収集速度は以前よりもはるかに遅くなってしまいます。

データ収集スピードを上げる方法
1,000個のデータセンターIPで1IPにつき1秒あたり1リクエストで、1,000万リクエスト実行すると仮定すると、この作業は約3時間かかります。10,000,000個のレジデンシャルIPを使えば、この作業は1秒もかからないかもしれません。

Luminatiのレジデンシャルネットワーク経由で複数の並行セッションをローテーションさせるためのガイドライン

  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. Check the port of your residential zone
  4. ポートの設定の「プリセット」を「ラウンドロビン(ip)プール」に編集します。
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} レジデンシャルゾーンのポートです

How to rotate your IP address

なぜ気にする必要があるか?
同じIPから同一サイトにたくさんリクエストを送信すると、サイトはそのIPをクローラーとしてタグ付けし、ミスリードする情報送ったり、ブロックします。IPアドレスを定期的に変更、ローテーションすることでIPがクローラーとして認識されることを防げます。IPのローテーションにより失敗率を1%以下にすることができます。

IPアドレスをローテーションさせる方法
使いやすいLuminatiプロキシマネージャーで次のことができます。:

  • Number of requests permitted before changing the IP
  • Amount of time between IP changes
  • ローテーションプールのIP数

LuminatiでIPアドレスをローテーションさせるためのガイドライン
  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. 編集したいプロキシをクリックし、編集ボタンをクリックしてください
  4. Browse rotation options under 'Preset' or 'IP Policy'
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} レジデンシャルゾーンのポートです

How to use SOCKS5 with Luminati

なぜ気にする必要があるか?
A SOCKS server is a proxy server that works for any type of network protocol on any port and establishes a connection to a server on behalf of a user, then routes traffic between the user and the server.

Why use SOCKS5 with Luminati?
LuminatiでSOCKS5を使う際には、プロキシマネージャーがポート80またはポート443へのリクエストをhttpまたはhttpsリクエストに変換するので、ターゲットサイトが許可する形式が何か気にする必要がありません。他のポートではトラフィックはユーザーとホスト間でそのまま送信されます。


Guidelines to use SOCKS5:

  • Luminatiプロキシマネージャーを開く
  • ポートをクリックし、「プロキシの編集」をクリックしてください
  • Under 'General' add SOCKS port number
  • Go to "Performance" - Set Reverse Resolve: DNS
  • リゾルブファイルを追加
    • Add '--resolve PATH' to the program code
    • Follow the hostsファイル形式
    • List domains you are going to use and their IPs
    • プロキシマネージャーの「ツール」ページのリゾルブファイルエディタからドメインとIPを追加

How do I avoid subnet block range?

What is a subnet block range?
ネットワークの一部はサブネットと呼ばれます。これはホストをグループ分けし、同時に管理するのに便利です。サブネットはIPアドレスをベースにしていて、サイトや悪意あるユーザーがサブネットをターゲットにしたり、ブロックしやすくなります。例えば223をブロックするとは223から始まるすべてのIPアドレスをブロックすることを意味し、223.1をブロックするとは223.1から始まるすべてのIPアドレスをブロックすることを意味します。これがサブネットのブロック範囲となります。

なぜ気にする必要があるか?
データベースのIPは同一サブネット内にありがちなので、よく知られているプロキシのサイトから簡単にブロックされます。

Avoiding subnet block range:
Residential proxies cannot be blocked this way, because they don’t have subnet ranges. Using Luminati’s residential IPs ensures you won’t be affected if a website uses the subnet block range method.


How to switch from API to Proxy Manager

なぜ気にする必要があるか?
Using the Luminati Proxy Manager offers advanced features that are not readily available in the API. Instead of having to manually code mechanisms for tasks like keeping an IP as long as possible or rotating your IP after each request, you can simply click a button in the proxy manager.

Guidelines to to switch from API to Proxy Manager:

  1. Install the Luminati Proxy Managerこちら
  2. Change the code to send HTTP requests directly to the specified port (for example, 127.0.0.1:24000) instead of to zproxy.lum-superproxy.io:22225
  3. LPMダッシュボード経由でカスタムプロキシに応じたプロキシとゾーンの設定を行います。リクエスト共にユーザーパラメータ(lum-customer-customer_name-zone-zone_name…)を送信する必要はありません。必要なデータはプロキシの手動設定内に入っているからです。

How to configure Luminati raw API with iPhone

iPhoneでLuminati raw APIを設定するガイドライン
  1. デバイスの設定画面を開き、Wi-Fi設定画面に進んでください。
  2. Tap the name of the Wi-Fi network you are connected to
  3. 一番下までスクロールすると、「HTTPプロキシ」のセクションが見つかります。こちらはデフォルトで「オフ」になっていますので、「手動」に設定してください。
    • サーバーの欄にこちらを入力します。:zproxy.lum-superproxy.io
    • ポート欄にこちらを入力します。: 22225
    • 選択 Authentication: DISABLE
  4. ブラウザを開く
  5. Add the target URL
  6. In the Pop Up, tap settings
  7. Add the username (e.g. lum-customer-lum_qa-country-us-zone -city)
  8. Zone Password and tap OK

How do I know if I’m getting cloaked? (misleading information)

なぜ気にする必要があるか?
Getting cloaked means that you’re getting misleading information from the website you are scraping.
Example: If you are collecting comparative competitive information to feed your automatic pricing algorithms, the target website can return artificial lower prices to your requests, to skew your pricing and profits.

How to know when you’re getting cloaked
When using traditional proxy networks (data center based IPs), your target websites may identify your activity quite easily and may cloak your requests. Therefore, the only way to ensure you’re not getting cloaked is to rotate your requests through residential IPs.

Guidelines for rotating requests through millions of residential IPs:

  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. Check the port of your residential zone
  4. ポートの設定の「プリセット」を「ラウンドロビン(ip)プール」に編集します。
  5. Route your requests to 127.0.0.1:{portnum} where the {portnum} レジデンシャルゾーンのポートです

Introducing: Luminati Chrome Extension

こちらを使う理由
Chrome拡張機能でサイトをセルフテスト、広告確認、他の国からアクセスしているかのようにサイトをブラウズ。こちらはLuminatiプロキシマネージャーの頼りになるお供で、技術的な知識が浅いユーザーに便利なツールです。ダッシュボードにアクセス権がないユーザーにアカウント詳細を知らせることなく、拡張機能を利用してもらうこともできます。

拡張機能にある機能
LuminatiのChrome拡張機能はデータセンターとResidential IPのブラウズに対応しており、世界中の国から検索ができます。ユーザーエージェントを調整、DNSの設定をカスタマイズして匿名性とスピードを向上、ランダムIPローテーションを設定できます。

Luminati Chrome拡張機能をダウンロードする方法

  • Luminati Chrome拡張機能をダウンロードこちら
  • 拡張機能は検索バーの横に表示されます
  • 拡張機能の中の濃紺色のボタンをクリックしてください
  • 専用セットアップページで拡張機能のパラメータを設定

FAQ