注意:この API の新しい v2 バージョン が利用可能になりました。バッチ処理のパフォーマンスと信頼性が向上しています。
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
スクレイピング対象のURL
Webhook の仕様を表すオブジェクト。
同時スクレイプの最大数。このパラメータで、このバッチスクレイプにおける同時実行数の上限を設定できます。指定しない場合は、チームの同時実行数の上限が適用されます。
urls 配列に無効な URL が含まれている場合、それらは無視されます。無効な URL が原因でリクエスト全体が失敗するのではなく、残りの有効な URL のみを使ってバッチスクレイプが実行され、無効な URL はレスポンスの invalidURLs フィールドで返されます。
ヘッダー、ナビゲーション、フッターなどを除き、ページのメインコンテンツのみを返します。
出力に含めるタグ。
出力結果から除外するタグ。
ページのキャッシュが、このミリ秒数以内に生成されたものであれば、そのキャッシュされたバージョンを返します。キャッシュされたページがこの値より古い場合は、ページをスクレイピングします。極めて最新のデータが不要な場合、これを有効にすることでスクレイピングを最大 500% 高速化できます。デフォルトは 0 で、この場合キャッシュは無効になります。
リクエストに付与して送信するヘッダー。Cookie や User-Agent などを送るために使用できます。
コンテンツを取得する前に待機する時間(ディレイ)をミリ秒単位で指定します。これにより、ページが十分に読み込まれるまでの時間を確保できます。
モバイル端末からのスクレイピングを模擬したい場合は true に設定してください。レスポンシブページのテストやモバイル画面のスクリーンショット取得に便利です。
リクエスト時に TLS 証明書の検証をスキップする
リクエストのタイムアウト(ミリ秒)
スクレイピング中のPDFファイルの処理方法を制御します。true の場合、PDFのコンテンツを抽出してMarkdown形式に変換し、課金はページ数に基づきます(1ページあたり1クレジット)。false の場合、PDFファイルはbase64エンコードされたデータとして返され、合計1クレジットの定額課金となります。
JSON オプションオブジェクト
ページからコンテンツを取得する前に実行するアクション
リクエストに対するロケーション設定です。指定されている場合、利用可能であれば適切なプロキシを使用し、対応する言語およびタイムゾーン設定を再現します。指定されていない場合は、デフォルトで 'US' が使用されます。
出力から、非常に長くなりがちな Base64 画像をすべて削除します。画像の alt テキストは出力内に残りますが、URL はプレースホルダーに置き換えられます。
広告とクッキーポップアップのブロックを有効にします。
使用するプロキシの種類を指定します。
プロキシを指定しない場合、Firecrawl はデフォルトで basic を使用します。
basic, stealth, auto true の場合、そのページは Firecrawl のインデックスおよびキャッシュに保存されます。スクレイピング内容がデータ保護上の懸念を伴う可能性がある場合は、これを false に設定するのが有効です。機密性の高いスクレイピングに関連する一部のパラメータ(アクションやヘッダーなど)を使用すると、このパラメータは強制的に false に設定されます。
出力に含めるフォーマット。
markdown, html, rawHtml, links, screenshot, screenshot@fullPage, json, changeTracking 変更追跡用のオプション(ベータ版)。changeTracking がフォーマットに含まれている場合にのみ有効です。変更追跡を使用する際は、markdown フォーマットも指定する必要があります。
true の場合、このバッチスクレイプではデータを一切保持しないゼロデータ保持モードが有効になります。この機能を有効にするには、[email protected] までご連絡ください。