スクレイプ
Capabilities
Capabilities は、スクレイピングでページに対して何ができるか、そのうちどの機能がセルフホスト環境で動作するか、どのエンドポイントが API key なしのリクエストを受け付けるかを、1 ページにまとめたものです。インタラクション
ブラウザ操作 (クリック、入力、ナビゲーション、動的コンテンツの抽出) には、Interact endpoint を使用します。まずページをスクレイピングし、その後、自然言語の prompt または Playwright コードを使ってページ上でアクションを実行するためにPOST /v2/scrape/{scrapeId}/interact を呼び出します。
詳細と例については、Interact documentationを参照してください。
任意で actions パラメータを使用することもできますが、複雑なインタラクションには推奨されません。
Firecrawl API キーが必要な AI agent ですか?自動オンボーディング手順については、firecrawl.dev/agent-onboarding/SKILL.mdを参照してください。
承認
ボディ
コンテンツを取得する前にページに対して実行するアクション
- Wait by Duration
- Wait for Element
- Screenshot
- Click
- Write text
- Press a key
- Scroll
- Scrape
- Execute JavaScript
- Generate PDF
有効にすると、LLMを利用するフォーマット(json、summary、questionなど)の処理を実行する前に、ページコンテンツをスキャンしてプロンプトインジェクションの試行を検出します。rawBase64以外のすべてのフォーマットで使用できます。インジェクションが検出された場合、リクエストは403およびエラーコード SCRAPE_PROMPT_INJECTION_DETECTED で失敗します。チェックを実行すると4クレジットが追加で消費されます。コンテンツ全体をスキャンできない場合は、警告を返してスクレイピングを続行し、チェックには課金されません。
レスポンスに含める出力フォーマットを指定します。1つ以上のフォーマットを、文字列(例: 'markdown')または追加オプションを含むオブジェクト(例: { type: 'json', schema: {...} })として指定できます。一部のフォーマットでは、特定のオプションの設定が必須です。例: ['markdown', { type: 'json', schema: {...} }]。
- Markdown
- Summary
- HTML
- Raw HTML
- Raw Base64
- Links
- Images
- Attributes
- Screenshot
- JSON
- Change Tracking
- Branding
- Product
- Audio
- Video
- Question
- Highlights
true の場合、リクエストは Firecrawl のキャッシュからのみ返され、対象 URL への外部リクエストは一切行われません。これは、スクレイピングのリクエスト自体が機密情報を漏らす可能性がある、コンプライアンス要件の厳しい環境やエアギャップ環境向けに設計されています。キャッシュミス時には、エラーコード SCRAPE_LOCKDOWN_CACHE_MISS を伴う 404 を返します(ミス時に URL が記録されることはありません)。Lockdown リクエストはゼロデータ保持として扱われます。既存のキャッシュ済みページを引き続き利用対象にできるよう、デフォルトの maxAge は 2 年に延長されます。課金は、ヒット時が 5 クレジット、キャッシュミス時が 1 クレジットです。
ベータ版。生成された Markdown に対して追加の LLM ベースの処理を実行し、onlyMainContent では取りこぼす可能性のある残存ボイラープレート(Cookie バナー、広告ブロック、ソーシャル共有ウィジェット、パンくずリスト、ニュースレター登録、コメント欄、関連記事リスト)を削除します。見出し、リスト、表、コードブロック、画像参照、インラインリンクは保持されます。onlyMainContent と組み合わせて使うこともでき(これが最も一般的な構成です)、単独でも使用できます。Markdown がクリーニングモデルの出力トークン上限を超える場合は、警告を出してスキップされます(元の Markdown は保持されます)。ゼロデータ保持の request ではサポートされていません。
ヘッダー、ナビゲーション、フッターなどを除き、ページの主要なコンテンツのみを返します。これは Markdown 生成前に適用される、HTML レベルの決定論的なフィルターであり、LLM は関与しません。
スクレイピング時のファイルの処理方法を制御します。各要素はパーサー名("pdf" または "image")かパーサーオブジェクトです。両方のパーサーがデフォルトで有効です。
- pdf: PDF の内容が抽出されて markdown 形式に変換され、課金はページ数に基づきます(1ページあたり1クレジット)。
- image: ラスター画像(PNG、JPEG、JPEG 2000、TIFF、GIF、BMP、WebP、AVIF)を1ページの文書としてOCR処理し、Markdownに変換します。SVGとHEICはサポートされていません。
リストを渡すと、リストに含まれないパーサーは無効になります。例えば、["pdf"] を指定すると画像OCRが無効になるため、画像URLの処理は未対応ファイルとして失敗します。空の配列を渡した場合、PDF ファイルは base64 エンコード形式で返され、PDF 全体で一律1クレジットが請求されます。
デフォルトのオプションを使用するパーサーオブジェクトの省略形。"pdf" は { "type": "pdf" } と同じです。
pdf, image 使用するプロキシの種類を指定します。
- basic: ボット対策がない、または基本的なボット対策のみを行っているサイト向けのプロキシです。高速で、多くのケースではこれで十分です。
- enhanced: 高度なボット対策を行っているサイト向けの強化プロキシです。basic よりは遅くなりますが、一部のサイトではより高い成功率が期待できます。basic と同じクレジットコストで課金されます。
- auto: basic プロキシでのスクレイピングに失敗した場合、Firecrawl が自動的に enhanced プロキシで再試行します。強化プロキシに追加のクレジット料金はかからないため、どちらの場合も通常のコストのみが課金されます。
basic, enhanced, auto このリクエスト単位の 脅威保護 オーバーライドです。指定したフィールドは、このリクエストに限り、組織のポリシー内の対応するフィールドを置き換えます。省略したフィールドには組織レベルの値がそのまま適用されます。利用するには、チームで脅威保護が有効になっている必要があります(エンタープライズ機能)。有効でない場合、リクエストは 403 で拒否されます。組織でリクエストごとのオーバーライドが無効になっている場合、このオブジェクトを含むリクエストはすべて 403 で拒否されます。チームに対して脅威保護が強制適用されている場合、mode に off は設定できません。
true の場合、このスクレイプではデータ保持が一切行われません。この機能を有効にするには、help@firecrawl.dev までご連絡ください。
URLをスクレイピングする代わりに、カタログ登録済みの1つ以上のプロバイダーツールを実行します。url、formats、その他のスクレイピングオプションとは併用できません(400)。同階層で使用できるキーはtimeout、origin、integrationのみです。x-request-idリクエストヘッダーをクライアント指定の冪等性キー(英字、数字、.、_、:、-を1~128文字)として使用します。この値はそのまま返され、同じキーで完了済みのリクエストを行うと、再実行せずに元のレスポンスとscrape_idが返されます。カタログやツールの仕様を無料で確認するには、providerをfirecrawlに、capabilityをfind-toolsに、optionsをFindToolsOptionsオブジェクトに設定して、Find Toolsを呼び出します。結果のdataはFindToolsData形式のページです。
- object
- object[]

