メインコンテンツへスキップ
脅威保護を使うと、組織で Firecrawl による危険なドメインへのアクセスをブロックできます。有効にすると、リクエストが取得しようとするすべての URL — scrape ターゲット、検索結果、クロール中に見つかったリンク、エージェントが移動するページ — が、コンテンツを取得する前に組織のポリシーに照らしてチェックされます。ポリシーに適合しないドメインへのアクセスは拒否されます。 このポリシーは組織レベルで一度定義すれば、自動的にすべてのエンドポイントに適用されます。また、リクエストごとの調整を許可することも、どのリクエストでもこのポリシーを弱められないように固定することもできます。
脅威保護はエンタープライズ機能であり、組織ごとに有効化されます。アカウントで有効にするには、Firecrawl のアカウントチームにお問い合わせください。

​
モード

脅威保護 には、組織レベルで設定する 2 つのモードがあります。
  • Off (デフォルト) — ドメインチェックは実行されません。
  • Normal — ドメインは Google Web Risk と照合され、マルウェア、ソーシャルエンジニアリング (フィッシング) 、不要なソフトウェアに関連するドメインが検出されます。スキャンしたドメイン 1 件あたり +2 クレジット。
ドメインレピュテーションチェックは、データを保護するために設計されています。ほとんどのリクエストでは、定期的に同期される脅威リストに対してローカルでチェックが完了するため、スクレイピングする URL が分類器に送信されることはなく、トラフィックに関する判定結果が Firecrawl に保存されることもありません。

​
ポリシー制御

分類器に加えて、ポリシーには次の項目を含めることができます。
  • カスタムブラックリスト — 分類器を呼び出さずに常にブロックされる、完全一致のドメインまたはグロブ (例: *.example.com) 。
  • カスタムホワイトリスト — 常に許可される、完全一致のドメインまたはグロブ。ホワイトリストは他のすべてのルールに優先するため、信頼するドメインがブロックされることはありません。
  • ブロックする TLD — ラベル境界で照合され、無条件にブロックされるトップレベルドメイン (例: zip) 。
  • リスクスコアのしきい値 — 分類器の判定をブロックとして扱う正規化スコア (0–100) のしきい値。低いほど厳格になります。デフォルトは 75 です。
  • 障害時ポリシー — 分類器に到達できない場合の動作: block (closed。デフォルトであり、セキュリティ制御として推奨) または allow (open) 。
ブラックリストまたはホワイトリストに追加したカスタムドメインは、分類器と同じホストの正規化方式で照合されるため、アドレスの別のエンコード形式 (たとえば整数形式の IP) を使ってリストの条件をすり抜けることはできません。

​
ポリシーの設定

チーム管理者は、ダッシュボードの組織設定から 脅威保護 を設定します。
  1. 設定 → 脅威保護 を開きます。
  2. モードを選択し、リスクスコアのしきい値を設定して、ブラックリスト、ホワイトリスト、またはブロック対象の TLD エントリを追加します。
  3. リクエストごとのオーバーライドを許可するかどうかを選択し、失敗時のポリシーを設定します。
  4. 保存します。変更は即時に反映され、次のリクエストから新しいポリシーに基づいて評価されます。
ポリシーを表示または変更できるのはチーム管理者のみです。それ以外のユーザーには読み取り専用の表示のみが表示されます.

​
リクエストごとのオーバーライド

URL を受け付けるすべてのエンドポイントでは、任意の threatProtection オブジェクトも指定できます。これにより、個々のリクエストごとに、その呼び出しに適用するポリシーをより厳格にしたり (または、組織で許可されている場合は調整したり) できます。 
{
  "url": "https://example.com",
  "threatProtection": {
    "mode": "normal",
    "riskScoreThreshold": 50,
    "blacklist": ["*.risky.example"]
  }
}
オーバーライドは、組織のポリシーにフィールドごとにマージされます。組織でリクエストのオーバーライドが無効化されている場合、threatProtection オブジェクトを含むリクエストは 403 で拒否されます。これにより、管理者は組織のポリシーがすべてのリクエストに適用される下限であることを保証できます。

​
ドメインがブロックされている場合

ブロックされたリクエストは、403 と固定のエラーコードを返して失敗します。 
{
  "success": false,
  "code": "unsafe_domain_blocked",
  "error": "This domain (risky.example) is blocked by your organization's threat protection policy (rule: blacklist). If you believe this is a mistake, contact your organization administrator to adjust the policy (e.g. whitelist the domain)."
}
挙動はエンドポイントごとに若干異なり、それぞれ最も実用的な動作になるよう設計されています。
  • Scrape, batch scrape, extract, agent — ブロックされた対象では、その URL に対して unsafe_domain_blocked エラーが返されます。
  • Crawl — ブロックされたシード URL はリクエスト全体を失敗させます。クロールの途中で見つかったブロック済みのリンクはスキップされ、クロールは継続されます。
  • Search, map — ブロックされたドメインは、結果に表示して拒否するのではなく、返される結果から除外されます。
リクエストが別のドメインにリダイレクトされた場合、コンテンツを取得する前に転送先が再チェックされるため、リダイレクトを使ってブロックされたドメインに到達することはできません。

​
課金

ドメインスキャンには、Normal モードではスキャンしたドメインごとに +2 クレジットがかかり、リクエストの基本コストに加算されます。補足事項は以下のとおりです。
  • 独自のポリシー (ブラックリスト、ホワイトリスト、または ブロック対象の TLD への一致) のみで完結する判定では、分類器は呼び出されず、スキャン料金は課金されません。
  • ブロックされたリクエストでも、判定を出したスキャン分は課金されます。
  • クロール、検索、マップでは、検出した各一意ドメインをスキャンするため、スキャン料金はページ数ではなく、異なるドメイン数に応じて増加します。

​
エラーリファレンス

ステータス発生条件
403リクエストの対象が、ポリシーでブロックされたドメインである (code: unsafe_domain_blocked) 。
403組織でオーバーライドが無効になっているにもかかわらず、リクエストに threatProtection のオーバーライドが含まれている。
403脅威保護 オプションが、その機能が有効になっていないチームで使用されている。

​
注意事項

  • このポリシーは組織全体に適用され、すべてのAPIキーとすべてのエンドポイントに自動的に適用されます。
  • ホワイトリストが常に優先されるため、明示的に信頼されたドメインが分類器やTLDルールによってブロックされることはありません。
  • 障害時ポリシーがclosed (デフォルト) に設定されている場合、分類器で障害が発生すると、影響を受けるリクエストは暗黙的に許可されるのではなく、ブロックされます。