注記: 機能とパフォーマンスが向上した本 API の新しい v2 バージョンが利用可能です。
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
クロールを開始するためのベースURL
クロール対象からURLを除外するための URL パス名の正規表現パターンです。たとえば、ベース URL が firecrawl.dev の場合に "excludePaths": ["blog/.*"] を設定すると、https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap のように、そのパターンに一致する結果はすべて除外されます。
クロールに含めるURLを指定するための、URLパス名に対する正規表現パターンです。指定したパターンに一致するパスのみがレスポンスに含まれます。たとえば、ベースURLが firecrawl.dev の場合に "includePaths": ["blog/.*"] を設定すると、そのパターンに一致する結果のみが含まれます(例: https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap)。
入力されたURLのベースからクロールできる最大の絶対深度です。基本的には、スクレイピング対象となるURLのパス名に含めることができるスラッシュの最大数を指します。
発見順序に基づいてクロールする最大の深さです。ルートサイトおよびサイトマップに含まれるページの発見深度は 0 です。例えば、これを 1 に設定し、かつ ignoreSitemap を有効にした場合、入力した URL と、そのページ上からリンクされているすべての URL のみをクロールします。
クロール時にサイトマップを無視する
同じパスを、クエリパラメータを変えて(または付けずに)再度スクレイピングしないでください
クロールするページの最大数です。デフォルトの上限は 10,000 です。
⚠️ 非推奨: 代わりに 'crawlEntireDomain' を使用してください。クローラーが子パスだけでなく、同一階層や親のURLへの内部リンクもたどれるようにします。
クローラーがたどるリンクの範囲を、子パスだけでなく同一階層や親階層の内部リンクにも広げます。
false: より深い(子)URL だけをクロールします。 → 例: /features/feature-1 → /features/feature-1/tips ✅ → /pricing や / には移動しない ❌
true: 同一階層や親階層のパスを含む、あらゆる内部リンクをクロールします。 → 例: /features/feature-1 → /pricing、/ など ✅
ネストされたパスだけでなく、サイト内部全体を広くカバーしたい場合は true に設定します。
クローラーが外部サイトへのリンクをたどることを許可します。
クロール時に、クローラーがメインドメイン配下のサブドメインへのリンクをたどれるようにします。
スクレイピング実行間の待機時間(秒)。ウェブサイトのレート制限を遵守するのに役立ちます。
同時に実行するスクレイプの最大数。このパラメータで、このクロールに対する同時実行数の上限を設定できます。指定しない場合は、チームの同時実行数上限が適用されます。
Webhook仕様オブジェクト。
true の場合、このクロールではデータを一切保持しないゼロデータ保持モードが有効になります。この機能を有効にするには、[email protected] までお問い合わせください。