メインコンテンツへスキップ
Firecrawl は、複雑さが異なるウェブサイトのスクレイピングを支援するために、複数のプロキシタイプを提供しています。プロキシタイプは proxy パラメータで指定できます。
既定では、プロキシタイプやロケーションを指定しなくても、信頼性とアクセス性を確保するために、Firecrawl はすべてのリクエストをプロキシ経由でルーティングします。

ロケーションベースのプロキシ選択

Firecrawl は、指定または自動検出されたロケーションに基づいて最適なプロキシを自動的に選択します。これにより、スクレイピングのパフォーマンスと信頼性が向上します。ただし、現時点ではすべてのロケーションに対応しているわけではありません。利用可能なロケーションは次のとおりです:
国コード国名ベーシックプロキシ対応拡張プロキシ対応
AEアラブ首長国連邦ありなし
AUオーストラリアありあり
BRブラジルありなし
CAカナダありなし
CN中国ありなし
CZチェコありなし
DEドイツありなし
EGエジプトありなし
ESスペインありなし
FRフランスありなし
GB英国ありなし
GRギリシャありなし
HUハンガリーありなし
IDインドネシアありなし
ILイスラエルありなし
INインドありなし
ITイタリアありなし
JP日本ありなし
MYマレーシアありなし
NOノルウェーありなし
PLポーランドありなし
PTポルトガルありなし
QAカタールありなし
SGシンガポールありなし
TRトルコありなし
USアメリカ合衆国ありあり
VNベトナムありなし
対応プロキシロケーションの一覧は今後変更される可能性があります。
上記にないロケーションのプロキシが必要な場合は、こちらからご連絡のうえ、要件をお知らせください。 プロキシやロケーションを指定しない場合、Firecrawl は自動的に US のプロキシを使用します。

プロキシのロケーション指定方法

リクエストで location.country パラメータを設定すると、特定のプロキシロケーションを指定できます。たとえば、ブラジルのプロキシを使う場合は location.countryBR を指定します。 詳細は APIリファレンスの location.country を参照してください。
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")

doc = firecrawl.scrape('https://example.com',
    formats=['markdown'],
    location={
        'country': 'US',
        'languages': ['en']
    }
)

print(doc)
プロキシが利用できない国を指定した場合、Firecrawl は利用可能な最寄りのリージョン(EU または US)を使用し、ブラウザのロケーションは指定した国に設定します。

プロキシの種類

Firecrawl は 3 種類のプロキシをサポートしています:
  • basic: ほとんどのサイトをスクレイピングするためのプロキシ。高速で、多くの場合は問題なく動作します。
  • enhanced: プライバシーを維持しつつ、複雑なサイトをスクレイピングするための拡張プロキシ。速度は遅くなりますが、特定のサイトではより信頼性があります。Enhanced モードの詳細はこちら →
  • auto: basic プロキシが失敗した場合、Firecrawl が自動的に enhanced プロキシでスクレイピングを再試行します。enhanced での再試行が成功した場合、そのスクレイピングには 5 クレジットが請求されます。最初の basic での試行が成功した場合は、通常のコストのみが請求されます。

Note: クレジットコストやリトライ戦略を含む enhanced プロキシの詳細な使用方法については、Enhanced モードのドキュメントを参照してください。