SIEM 監査ログはエンタープライズ向け機能であり、組織ごとに有効化されます。アカウントで有効にするには、Firecrawl のアカウントチームにお問い合わせください。
サポートされている送信先
記録される内容
- 取得情報 — 対象の URL とドメイン、HTTP ステータス、開始時刻と終了時刻。
- 結果 — 成功、失敗、ブロック (セキュリティポリシーによって取得が拒否された) 、またはキャンセル。
EventSeverityは、プロバイダーによって確認された脅威と、お客様独自のポリシールールによってブロックされた取得を区別します。 - 帰属情報 — 取得をトリガーした API キー (ID と表示名) と、その取得元のワークフロー (スクレイピング、クロール、バッチスクレイプ、検索、抽出、agent、または解析) 。
- ジョブのグループ化 — 1 回の API リクエスト内のすべての取得で共有されるリクエスト識別子。クエリでは、クロール全体を 1 つのジョブとして再構成できます。
- お客様の相関 ID — お客様のシステムがリクエストに付加したメタデータも行に記録されるため、イベントを独自のチケットまたはセッション識別子と対応付けられます。
セットアップ
- クライアントシークレットを使用して Entra アプリケーションを作成します。Firecrawl はこの認証情報を使用して認証します。アプリには、DCR に対して Monitoring Metrics Publisher ロールのみを付与してください。
- イベント用のカスタムテーブルを含む DCE と DCR を作成します。ダッシュボードには、テーブルスキーマとイベントを ASIM に正規化する変換が表示されます。DCE 取り込み URL、DCR の不変 ID、ストリーム名を控えておいてください。
- ダッシュボードに詳細を入力します：テナント ID、クライアントID、クライアントシークレット、DCE URL、DCR の不変 ID、ストリーム名。
- 保存します。 Firecrawl はテストイベントを送信して宛先を検証し、宛先が受け入れた場合にのみストリーミングを有効にします。テストイベントはいつでも再送信できます。
配信の動作
- 組織ごとにバッチ配信 — イベントは組織ごとにまとめてバッチで配信され、通常はスクレイピングの完了後数秒以内に届きます。
- バックオフによる再試行 — 一時的な配信先の障害は、待機時間を段階的に延ばしながら再試行されます。配信先で障害が発生しても監査証跡がすぐに失われることはなく、配信先が復旧すると配信が再開されます。
- リクエストパスには含まれない — 配信の問題によって API リクエストが遅延したり失敗したりすることはありません。再試行の上限を超えて配信先が利用不可の状態が続く場合、影響を受けるイベントはスクレイピングをブロックせずに破棄されます。配信の状態は dashboard で確認できます。
- 固定エグレス — 配信トラフィックは専用の固定 IP アドレスから送信されるため、収集エンドポイントの前段にあるネットワーク制御で Firecrawl を allowlist に追加できます。アドレスについては アカウントチーム にお問い合わせください。
エラーリファレンス
注記
- SIEM 監査ログを使用してもクレジットは消費されません。
- イベントにはリクエストのメタデータと結果が記録されます。スクレイピングしたページのコンテンツが SIEM に送信されることはありません。
- ゼロデータ保持を利用しているチームは SIEM 監査ログを使用できます。イベントには
zero_data_retention: trueのフラグが設定されます。