Skip to main content
脅威保護を使うと、組織で Firecrawl による危険な URL へのアクセスをブロックできます。有効にすると、API を通じてリクエストが取得しようとするすべての URL — scrape ターゲット、検索結果、クロール中に見つかったリンク、エージェントの開始 URL — が組織のポリシーに照らしてチェックされ、ポリシーに適合しない URL へのアクセスは拒否されます。チェックは URL レベルで行われるため、悪意のある単一のページだけをブロックしてサイトの他の部分には引き続きアクセスできるようにすることも、フラグが付いたサイトのすべてのページをブロックすることもできます。 このポリシーは組織レベルで一度定義すれば、自動的にすべてのエンドポイントに適用されます。また、リクエストごとの調整を許可することも、どのリクエストでもこのポリシーを弱められないように固定することもできます。
脅威保護はエンタープライズ機能であり、組織ごとに有効化されます。アカウントで有効にするには、Firecrawl のアカウントチームにお問い合わせください。

​
モード

脅威保護 には、組織レベルで設定する 2 つのモードがあります。
  • Off (デフォルト) — チェックは実行されません。
  • Normal — URL は Google Web Risk と照合され、マルウェア、ソーシャルエンジニアリング (フィッシング) 、不要なソフトウェアに関連するページやサイトが検出されます。スキャンした URL 1 件あたり +2 クレジット。
これらのチェックは、データを保護するために設計されています。ほとんどのリクエストでは、定期的に同期される脅威リストに対してローカルでチェックが完了するため、スクレイピングする URL が分類器に送信されることはなく、トラフィックに関する判定結果が Firecrawl に保存されることもありません。

​
ポリシー制御

分類器に加えて、ポリシーには次の項目を含めることができます。
  • カスタムブラックリスト — 分類器を呼び出さずに常にブロックされる、完全一致のドメインまたはグロブ (例: *.example.com) 。
  • カスタムホワイトリスト — 常に許可される、完全一致のドメインまたはグロブ。ホワイトリストは他のすべてのルールに優先するため、信頼するドメインがブロックされることはありません。
  • ブロック対象の TLD — ラベル境界で照合され、無条件にブロックされるトップレベルドメイン (例: zip) 。
  • リスクスコアのしきい値 — 分類器の判定をブロックとして扱う正規化スコア (0–100) のしきい値。低いほど厳格になります。デフォルトは 75 です。
  • 障害時ポリシー — 分類器に到達できない場合の動作: block (closed。デフォルトであり、セキュリティ制御として推奨) または allow (open) 。
カスタムブラックリスト、ホワイトリスト、およびブロック対象の TLD のルールはドメインレベルです — これらはチェック対象の URL のホストに対して照合され、完全な URL に対して動作するのは分類器だけです。ブラックリストまたはホワイトリストに追加したカスタムドメインは、分類器と同じホストの正規化方式で照合されるため、アドレスの別のエンコード形式 (たとえば整数形式の IP) を使ってリストの条件をすり抜けることはできません。

​
ポリシーの設定

チーム管理者は、ダッシュボードのEnterprise Controls → 脅威保護から 脅威保護 を設定します。
  1. Enterprise Controls → 脅威保護 を開きます。
  2. モードを選択し、リスクスコアのしきい値を設定して、ブラックリスト、ホワイトリスト、またはブロック対象の TLD エントリを追加します。
  3. リクエストごとのオーバーライドを許可するかどうかを選択し、障害時ポリシーを設定します。
  4. 保存します。変更は即時に反映され、次のリクエストから新しいポリシーに基づいて評価されます。
ポリシーを表示または変更できるのはチーム管理者のみです。それ以外のユーザーには読み取り専用の表示のみが表示されます.

​
リクエストごとのオーバーライド

URL を受け付けるすべてのエンドポイントでは、任意の threatProtection オブジェクトも指定できます。これにより、個々のリクエストごとに、その呼び出しに適用するポリシーをより厳格にしたり (または、組織で許可されている場合は調整したり) できます。
オーバーライドは、組織のポリシーにフィールドごとにマージされます。組織でリクエストのオーバーライドが無効化されている場合、threatProtection オブジェクトを含むリクエストは 403 で拒否されます。これにより、管理者は組織のポリシーがすべてのリクエストに適用される下限であることを保証できます。 チームで脅威保護が強制されている場合でも、オーバーライドでポリシーをさらに厳格にすることはできますが、"mode": "off" を含めることはできません。これを含むリクエストは 403 で拒否されます。

​
URL がブロックされている場合

ブロックされたリクエストは、403 と固定のエラーコードを返して失敗します。
挙動はエンドポイントごとに若干異なり、それぞれ最も実用的な動作になるよう設計されています。
  • Scrape, バッチスクレイプ, extract, エージェント — ブロックされた対象では、その URL に対して unsafe_domain_blocked エラーが返されます。
  • クロール — ブロックされたシード URL はリクエスト全体を失敗させます。クロールの途中で見つかったブロック済みのリンクはスキップされ、クロールは継続されます。
  • Search, map — ブロックされた URL は、結果に表示して拒否するのではなく、返される結果から除外されます。
リクエストが別の URL にリダイレクトされた場合 (同一サイト内で別のページへのリダイレクトを含む) 、転送先は再チェックされ、ブロックされた転送先のコンテンツが返されることはありません。エージェント では、このポリシーは開始 URL と、エージェント が Firecrawl API を通じて取得するすべてのものに適用されます。リモート browser がページ内で実行するナビゲーションはインターセプトされません。

​
課金

スキャンには、Normal モードではスキャンした URL ごとに +2 クレジットがかかり、リクエストの基本コストに加算されます。補足事項は以下のとおりです。
  • 独自のポリシー (ブラックリスト、ホワイトリスト、または ブロック対象の TLD への一致) のみで完結する判定では、分類器は呼び出されず、スキャン料金は課金されません。
  • ブロックされたリクエストでも、判定を出したスキャン分は課金されます。
  • スキャンは 1 回のスクレイピング内で重複排除されます。同じ URL へのリダイレクトによる再チェックでは元のスキャン結果が使われますが、別の URL に到達するリダイレクトは 2 回目のスキャンとなります。
  • クロールとバッチスクレイプは、すべてのページを個別にチェックします。 判定がページ間で再利用されることはありません。トラフィックに関する情報は何も保存されないため (上記参照)、Normal モードでは、スクレイピングしたページごとに +2 クレジットかかると考えてください。クロールの途中で見つかってブロックされたリンクは、何ページからリンクされていても、クロールごとにそのスキャン分が 1 回だけ課金されます。
  • 検索とマップでは、結果セット内の各一意 URL をリクエストごとに 1 回スキャンするため、スキャン料金はスキャンされた結果数に応じて増加します。これは、結果が limit に合わせて切り詰められる場合、返される件数をわずかに上回ることがあります。

​
エラーリファレンス

​
注意事項

  • このポリシーは組織全体に適用され、すべてのAPIキーとすべてのエンドポイントに自動的に適用されます。
  • ホワイトリストが常に優先されるため、明示的に信頼されたドメイン上のURLが分類器やTLDルールによってブロックされることはありません。
  • チェックはURLレベルですが、互換性のためにエラーコードunsafe_domain_blockedは変更されず維持されています。
  • 障害時ポリシーがclosed (デフォルト) に設定されている場合、分類器で障害が発生すると、影響を受けるリクエストは暗黙的に許可されるのではなく、ブロックされます。