この記事では、次の内容について説明します。
- ローテーション IP とは
- IP ローテーションを検討すべき理由
- IP アドレスをローテーションする方法
- Bright Data の Proxy Manager を使用した IP アドレスのローテーション
- Proxy Rules を使用した自動 IP ローテーション
ローテーション IP とは
ローテーション IP とは、データソースへの接続に使用する IP アドレスを定期的に変更するプロキシサーバーの一種を指します。ローテーションは、特定の時間で、または特定の数の要求が行われた後に行うよう設定できます。ローテーション IP は、ターゲット Web サイトによる IP アドレスの追跡とブロックをより困難にするため、Web スクレイピングや、Web サイトのブロックや制限を回避するためによく使用されます。
IP ローテーションを検討すべき理由
Web サイトをスクレイピングまたはクロールする場合、同じ IP から人間よりもはるかに速く要求が送信されます。Web サイトは、使用されている IP に簡単にボットやクローラーとしてフラグを立て、不正確な情報を送ったり、ユーザーを完全にブロックしたりできます。サイトは、攻撃や望ましくない行動からの自己防衛策として、このようなレート制限を採用しています。IP アドレスを定期的に変更またはローテーションすることで、レート制限を回避し、検出されないようにできます。これにより、ターゲットサイトは IP をクローラーとして識別できなくなります。プロキシをローテーションすると成功率が上がり、欲しいデータを手に入れることができます。
IP アドレスをローテーションする方法
Bright Data の使いやすいオープンソースの Proxy Manager を使用すると、次の設定が可能になります。
- IP を変更する前に許可された要求の数
- IP が変更されるまでの時間
- ローテーションプールの IP の数
Bright Data の Proxy Manager を使用して IP アドレスを自動的にローテーションするためのガイドライン
- Proxy Manager をダウンロードします
- 「新しいプロキシの追加」ポートをクリックします
- 希望の IP の種類を選択し、「保存」をクリックします
- 「IP コントロール」タブに移動します
- 「プールサイズ」、つまりローテーションする IP の数を選択します
- 一定回数の要求を行った後に IP を変更するには、「最大要求数」フィールドを使用します
- 特定の時間後に IP をローテーションするには、「セッション期間」フィールドを使用します
Proxy Rules を使用した自動 IP ローテーション
- トリガーを選択します。トリガーとは、受信時に IP を自動的にローテーションする特定の URL、ステータスコード、応答本文、または要求の時間枠です
- 「アクション」の横にある「新しい IP で再試行」または「新しいプロキシポートで再試行 (ウォーターフォール)」を選択します
- IP をローテーションする前に要求を再試行する場合は、「再試行」の横にある数字を選択するか、自分で数字を入力します
それでも問題が解決されない場合や、手動ローテーションよりも高度なテクニックを使用したい場合、Bright Data はターゲットを絞ったソリューションを提供できます。ローテーション住宅用ネットワークを使用すると、世界中の何百万台ものユーザーデバイスにアクセスできます。これにより、ユーザーの視点からデータ収集トラフィックをルーティングして、最も正確なオープンソースデータポイントを取得できます。
住宅用プロキシを Proxy Manager と一緒に使用すると、カスタマイズされ自動化されたルールを使用し、要求がさまざまなプロキシネットワークを経由してルーティングされる、「ウォーターフォール機能」を活用しやすくなります。
