鮮度と稼働性の確認

import os

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])

def collect_current_page_evidence(url: str) -> dict:
    # max_age=0 は、このリクエストで Firecrawl のキャッシュをスキップします。
    doc = firecrawl.scrape(url, formats=["markdown"], max_age=0)

    metadata = doc.metadata
    requested_url = (metadata.source_url if metadata else None) or url
    response_url = metadata.url if metadata else None

    return {
        "markdown": doc.markdown or "",
        "status_code": metadata.status_code if metadata else None,
        "requested_url": requested_url,
        "response_url": response_url,
        "possible_redirect": bool(response_url and response_url != requested_url),
    }


evidence = collect_current_page_evidence("https://example.com/resource")
# ここでソース固有のコンテンツ、ステータス、API、識別子を確認します。
# 判定できない場合は、状態を unknown のままにします。

import { Firecrawl } from "firecrawl";

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

async function collectCurrentPageEvidence(url) {
  // maxAge: 0 は、このリクエストで Firecrawl のキャッシュをスキップします。
  const doc = await firecrawl.scrape(url, {
    formats: ["markdown"],
    maxAge: 0,
  });

  const requestedURL = doc.metadata?.sourceURL ?? url;
  const responseURL = doc.metadata?.url;

  return {
    markdown: doc.markdown ?? "",
    statusCode: doc.metadata?.statusCode,
    requestedURL,
    responseURL,
    possibleRedirect: Boolean(responseURL && responseURL !== requestedURL),
  };
}

const evidence = await collectCurrentPageEvidence("https://example.com/resource");
// ここでソース固有のコンテンツ、ステータス、API、識別子を確認します。
// 判定できない場合は、状態を unknown のままにします。

curl -s -X POST "https://api.firecrawl.dev/v2/scrape" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/resource",
    "formats": ["markdown"],
    "maxAge": 0
  }'