Videos

Best Practices

A guide to buying IPs to fit your needs

Network types

  • When to buy Residential IPs?

    レジデンシャルIPとはプライベートIPアドレスです。ウェブにアクセスする際にリクエストは実際のユーザー経由でルートされます。レジデンシャルIPを購入するとブロック、ミスリードされなくなります。

  • When to buy Data Center IPs?

    データセンターIPは静的IPとも呼ばれます。

    静的IPは必要なだけ特定のIPを使い続けることができます。(long single session)レジデンシャルIPよりも費用は低くなります。

  • When to buy Mobile IPs?

    モバイルIPをはレジデンシャルIPの1種で、WiFiやケーブルではなくセルラー接続(3G / 4G)経由でネットに接続しているものです。モバイルIPは複数のプロバイダのモバイルデバイス上で広告が正しく表示されるか確認するために利用されることが多くなっています。

Exclusivity types

  • When to buy Shared IPs

    共用IPはLuminati networkの使い始めに便利です。世界中のIPのプールを複数のサイトにアクセスするたくさんのユーザーと共用します。このオプションは入り口として使い、ブロックやミスリードされた場合により専有性の高いIPをご利用ください。

  • When to buy Exclusive IPs, with exclusive domains

    専用指定により、選択したターゲットサイトに対して付与されたIPを利用しているのがお客様だけになります。

  • When to buy Dedicated IPs, with unlimited domains

    無制限ドメインとはお客様だけのIPとなることを意味します。専用IPを購入すると他のユーザーから影響を受けて結果が変わることはありません。

How to allocate IPs?

IPの付与こちらを介して行われます ゾーン セクション
まずは新規作成してください。 ゾーン 設定の中で必要なIPの数を選択、保存します。
ゾーンでIPの数を編集することで付与されるIPの数を更新することもできます。

ゾーンをオフにすると付与されていたIPがすべてリリースされます。そしてゾーンを再度オンにすると新しいIPが付与されます。

How to download a list of my IPs?

すべてのリストをダウンロードするには gIP または データセンターIP ゾーンに付与されました。2つのアクションが行なえます。:

  1. LuminatiのコントロールパネルからIPリストをダウンロード ゾーンセクション ゾーンの設定タブで特定のゾーンを入力し、「gIPリストをダウンロードする」(gIPの場合)をクリックするか「IPリストをダウンロードする」(データセンターの場合)します。
  2. 次のコマンドを使ってAPI経由でgIPをダウンロードします。:
    • gIP
      curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
    • データセンターIPの場合:curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

Cost effectiveness of residential IPs


この表の計算方法

特定のサイトに1,000 httpリクエスト/1時間を送信してウェブから情報収集するとします。スクレイパーのコードを書き、サーバー経由で実行します。ターゲットサイトはスクレイパーをブロックするまでに、同一IPから許可するリクエスト数は最大50リクエスト/分までです。そのためもっとたくさんプロキシが必要となります。

データセンタプロキシを選択した場合:
共有IPを使いたくないため、200個の専用データセンターIPを購入したとします。2時間スクレイパーの統合と新しいデータセンタープロキシの統合をコーディングし、それから新しいプログラムを実行します。そのときターゲットサイトがスクレイパーを検出するまでに3日間かかります。プロキシが見つかると、毎日プロキシが検出されたかどうか確認しつつ、新しいプロキシを購入し、このプロセスを繰り替えす必要があります。月額料金(実際のお客様から伺った数字です):

  • 専用IP 200個: $500
  • トラフィック: (1000リクエストX20KB/リクエストX24時間X 30日=14.5GB): $3/月
  • デベロッパー(統合に2時間 X 10 + 3日に1時間 プロキシの管理): ~毎月3日間の作業または~$900

こちら単体にかかる料金は最低でも$1400で、低く見積もってもデベロッパーの給与は時給$30です。しかも、ターゲットサイトがブロックする間に間違った情報を送信したかどうか、データの流れが数日ごとに中断されるかなどデータの信頼性を考慮に入れなかった場合の話です。このことはブランドや収入源に悪影響を及ぼすかもしれません。

Luminatiのレジデンシャルプロキシを選択したとすると:
40GBの基本パッケージを購入するとレジデンシャルIPの数は無制限に使えます。2時間程度でスクレイピングツールと統合させることができます。毎日平均で300万レジデンシャルIPはが利用できる状態なので、ターゲットサイトからスクレイピングツールを検出されることなく、他のプロジェクトに集中できます。

トラフィックと無制限IPは月額たった$500です。リクエストは常に成功し、月内にアクセスが中断されることはないのでデータが安定します。スクレイピング結果により事業が拡大し、プロジェクトが毎月600MB以上となった場合、費用の差は$1,000をはるかに超えます。

Luminatiはアカウントをご利用でない場合にはアカウントを停止しますので、月額料金は$500以下になります。データセンター用の$5バウチャーで、Luminatiの機能をテストし、それからより費用対効果が高く、信頼性の高いデータ収集のためにレジデンシャルネットワークを利用しましょう。

Become a Luminati professional

How to crawl a website without getting blocked or misled (cloaked)?

なぜ気にする必要があるか?
ターゲットサイトがプロキシ(データセンター)IPからクローラーを検出するとこのような現象が起きます。

  • IPをブロックするまたは
  • そのIPに対してわざと間違った情報を表示するまたは
  • レスポンス率を落とす

ターゲットサイトはどのようにしてクローリングを検出するのか?
ターゲットサイトはサイト訪問者のIPを記録し、IPのアク低ビティを分析します。一般的なデータセンタープロキシをご利用の場合、ターゲットサイトは次のことを行います。:

  1. 同一IPからのアクティビティ(リクエスト率)が一定時間に人間が達成できる量をはるかに超えていることを検出します。
  2. ターゲットサイトがアクセスできる、プロキシサーバーリスト掲載のIPアドレスを識別します。
  3. IPが同一サブネット範囲にあるか検出します。
検出されるのを防ぐには?
  1. IPごとのリクエスト数により検出されるのを防ぐために、秒ごとにリクエスト数を削減できます。ただしこれによりクローリング速度は落ちます。
  2. IPがプロキシサーバー由来であることをターゲットに検出されないため、レジデンシャルIPでリクエストをローテーションさせる必要があります。十分な量のIPが循環しているため、ターゲットサイトにアクティビティが見つかることはありません。
  3. レジデンシャルIPを使うとサブネット範囲をブロックされることはありません。
一般的なプロキシを使う場合、ターゲットサイトにクローリングが見つかるのは時間の問題で、ブロックされたり、間違った情報を表示されることがあります。

How to get an IP in a specific city

なぜ気にする必要があるか?
例: Yelpのシティレベルサービスをテストする場合、世界中の10,000都市からサイトをチェックする必要があります。

特定の都市のIPを取得するには?
データ収集タスクに通常のデータセンタープロキシのみを利用した場合、データセンターのある位置のみに制限されます。巨大なレジデンシャルネットワークなら世界中のどんな都市のIPでも入手できます。

How to accelerate your web scraping

なぜ気にする必要があるか?
同一IPからローテーションさせたリクエスト数がターゲットサイトが許可する数を超えた場合、サイトはIPを検出し、ブロックしたり、間違った情報でミスリードします。つまり、データ収集速度は以前よりもはるかに遅くなってしまいます。

データ収集スピードを上げる方法
1,000個のデータセンターIPで1IPにつき1秒あたり1リクエストで、1,000万リクエスト実行すると仮定すると、この作業は約3時間かかります。10,000,000個のレジデンシャルIPを使えば、この作業は1秒もかからないかもしれません。

Luminatiのレジデンシャルネットワーク経由で複数の並行セッションをローテーションさせるためのガイドライン

  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. レジデンシャルゾーンのポートを確認
  4. ポートの設定の「プリセット」を「ラウンドロビン(ip)プール」に編集します。
  5. リクエストをルート 127.0.0.1:{portnum} どこに {portnum} レジデンシャルゾーンのポートです

How to rotate your IP address

なぜ気にする必要があるか?
同じIPから同一サイトにたくさんリクエストを送信すると、サイトはそのIPをクローラーとしてタグ付けし、ミスリードする情報送ったり、ブロックします。IPアドレスを定期的に変更、ローテーションすることでIPがクローラーとして認識されることを防げます。IPのローテーションにより失敗率を1%以下にすることができます。

IPアドレスをローテーションさせる方法
使いやすいLuminatiプロキシマネージャーで次のことができます。:

  • IPが変わる前に許可するリクエスト数
  • IPを変更する間隔
  • ローテーションプールのIP数

LuminatiでIPアドレスをローテーションさせるためのガイドライン
  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. 編集したいプロキシをクリックし、編集ボタンをクリックしてください
  4. 「プリセット」か「IPポリシー」のローテーションオプションを選びます
  5. リクエストをルート 127.0.0.1:{portnum} どこに {portnum} レジデンシャルゾーンのポートです

How to use SOCKS5 with Luminati

なぜ気にする必要があるか?
SOCKSサーバーはどのポートのネットワークプロトコルとでも連携するプロキシサーバーで、ユーザーの代理で接続を構築し、それからユーザーとサーバー間のトラフィックをルートします。

なぜLuminatiでSOCKS5を使うのか?
LuminatiでSOCKS5を使う際には、プロキシマネージャーがポート80またはポート443へのリクエストをhttpまたはhttpsリクエストに変換するので、ターゲットサイトが許可する形式が何か気にする必要がありません。他のポートではトラフィックはユーザーとホスト間でそのまま送信されます。


SOCKS5を利用するためのガイドライン:

  • Luminatiプロキシマネージャーを開く
  • ポートをクリックし、「プロキシの編集」をクリックしてください
  • 「一般」でSOCKSポート番号を追加します
  • 「パフォーマンス」- 「リバースリゾルブ設定: DNS」に進んでください
  • リゾルブファイルを追加
    • プログラムコードに「--resolve PATH」を追加します
    • ホストをフォローしますファイル形式
    • 使用するドメインとIPをリストアップします
    • プロキシマネージャーの「ツール」ページのリゾルブファイルエディタからドメインとIPを追加

How do I avoid subnet block range?

サブネット範囲ブロックとはなんですか?
ネットワークの一部はサブネットと呼ばれます。これはホストをグループ分けし、同時に管理するのに便利です。サブネットはIPアドレスをベースにしていて、サイトや悪意あるユーザーがサブネットをターゲットにしたり、ブロックしやすくなります。例えば223をブロックするとは223から始まるすべてのIPアドレスをブロックすることを意味し、223.1をブロックするとは223.1から始まるすべてのIPアドレスをブロックすることを意味します。これがサブネットのブロック範囲となります。

なぜ気にする必要があるか?
データベースのIPは同一サブネット内にありがちなので、よく知られているプロキシのサイトから簡単にブロックされます。

サブネット範囲ブロックを回避する:
レジデンシャルプロキシはサブネット範囲がないので、このような方法でブロックすることはできません。LuminatiのレジデンシャルIPを使うとウェブサイトがサブネット範囲ブロック対策を行っていたとしてもその影響を受けることはありません。


How to switch from API to Proxy Manager

なぜ気にする必要があるか?
Luminatiプロキシマネージャーを使うと、APIですぐに利用できない上級機能が使えます。できるだけ長くIPを保つ、またはリクエストごとにIPをローテーションさせるというようなタスクの構造を手動でコーディングするのではなく、プロキシマネージャーのボタンをクリックするだけでできます。

APIからプロキシマネージャーに切り替えるためのガイドライン

  1. Luminatiプロキシマネージャーをインストールこちら
  2. HTTPリクエストを zproxy.lum-superproxy.io:22225の代わりに指定したポート(例 127.0.0.1:24000) に直接送信するようコードを変更してください。
  3. LPMダッシュボード経由でカスタムプロキシに応じたプロキシとゾーンの設定を行います。リクエスト共にユーザーパラメータ(lum-customer-customer_name-zone-zone_name…)を送信する必要はありません。必要なデータはプロキシの手動設定内に入っているからです。

How to configure Luminati raw API with iPhone

iPhoneでLuminati raw APIを設定するガイドライン
  1. デバイスの設定画面を開き、Wi-Fi設定画面に進んでください。
  2. 接続中のWi-Fiネットワーク名をタップします
  3. 一番下までスクロールすると、「HTTPプロキシ」のセクションが見つかります。こちらはデフォルトで「オフ」になっていますので、「手動」に設定してください。
    • サーバーの欄にこちらを入力します。:zproxy.lum-superproxy.io
    • ポート欄にこちらを入力します。: 22225
    • 選択 Authentication: DISABLE
  4. ブラウザを開く
  5. ターゲットURLを追加
  6. ポップアップ画面で設定をタップしてください
  7. ユーザー名 (e.g. lum-customer-lum_qa-country-us-zone -city)を追加してください
  8. ゾーンのパスワードを入力し、OKをタップしてください

How do I know if I’m getting cloaked? (misleading information)

なぜ気にする必要があるか?
クロークされるとはスクレイピング中のサイトから間違った情報が提示されていることを意味します。
例: 自動価格アルゴリズムに入力するため、価格を収集している場合にターゲットサイトはリクエストに対してわざと低い価格を返すことができ、これにより価格決定と利益が台無しになります。

クロークされているかどうかを知る方法
通常のプロキシネットワーク(データセンターベースのIP)を使っていると、ターゲットサイトは簡単にアクティビティを検出し、リクエストに対してクローキングすることがあります。そのため、確実にクローキングされないようにするにはレジデンシャルIPでリクエストをローテーションすることが最適です。

何百ものレジデンシャルIPでリクエストをローテーションするためのガイドライン

  1. Luminatiプロキシマネージャーを開く
  2. 「プロキシ」タブに進む
  3. レジデンシャルゾーンのポートを確認
  4. ポートの設定の「プリセット」を「ラウンドロビン(ip)プール」に編集します。
  5. リクエストをルート 127.0.0.1:{portnum} どこに {portnum} レジデンシャルゾーンのポートです

Introducing: Luminati Chrome Extension

こちらを使う理由
Chrome拡張機能でサイトをセルフテスト、広告確認、他の国からアクセスしているかのようにサイトをブラウズ。こちらはLuminatiプロキシマネージャーの頼りになるお供で、技術的な知識が浅いユーザーに便利なツールです。ダッシュボードにアクセス権がないユーザーにアカウント詳細を知らせることなく、拡張機能を利用してもらうこともできます。

拡張機能にある機能
LuminatiのChrome拡張機能はデータセンターとResidential IPのブラウズに対応しており、世界中の国から検索ができます。ユーザーエージェントを調整、DNSの設定をカスタマイズして匿名性とスピードを向上、ランダムIPローテーションを設定できます。

Luminati Chrome拡張機能をダウンロードする方法

  • Luminati Chrome拡張機能をダウンロードこちら
  • 拡張機能は検索バーの横に表示されます
  • 拡張機能の中の濃紺色のボタンをクリックしてください
  • 専用セットアップページで拡張機能のパラメータを設定

FAQ