メインコンテンツへスキップ

前提条件

セットアップ

npm create cloudflare@latest my-scraper
cd my-scraper
npm install @mendable/firecrawl-js
APIキーをシークレットとして追加します:
wrangler secret put FIRECRAWL_API_KEY

Webを検索する

Webを検索し、ページ全体のコンテンツを含む結果を返すハンドラーを作成します。 src/index.ts を編集します:
import Firecrawl from "@mendable/firecrawl-js";

export interface Env {
  FIRECRAWL_API_KEY: string;
}

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const firecrawl = new Firecrawl({ apiKey: env.FIRECRAWL_API_KEY });
    const url = new URL(request.url);

    if (request.method === "POST" && url.pathname === "/search") {
      const { query } = (await request.json()) as { query: string };
      const results = await firecrawl.search(query, { limit: 5 });
      return Response.json(results);
    }

    return new Response("Not found", { status: 404 });
  },
};

ページをスクレイピングする

任意のURLからクリーンなMarkdownを抽出するため、/scrape ルートを追加します。
if (request.method === "POST" && url.pathname === "/scrape") {
  const { url: targetUrl } = (await request.json()) as { url: string };
  const result = await firecrawl.scrape(targetUrl);
  return Response.json(result);
}

ページを Interact で操作する

実行中のブラウザセッションを操作するための /interact ルートを追加します。ボタンをクリックしたり、フォームに入力したり、動的なコンテンツを抽出したりできます。
if (request.method === "POST" && url.pathname === "/interact") {
  const result = await firecrawl.scrape("https://www.amazon.com", {
    formats: ["markdown"],
  });
  const scrapeId = result.metadata?.scrapeId;

  await firecrawl.interact(scrapeId, {
    prompt: "Search for iPhone 16 Pro Max",
  });
  const response = await firecrawl.interact(scrapeId, {
    prompt: "Click on the first result and tell me the price",
  });

  await firecrawl.stopInteraction(scrapeId);
  return Response.json({ output: response.output });
}

デプロイ

wrangler deploy

試してみる

curl -X POST https://my-scraper.<your-subdomain>.workers.dev/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping"}'

次のステップ

Search ドキュメント

Web を検索し、ページ全体のコンテンツを取得

スクレイピング ドキュメント

フォーマット、アクション、プロキシなど、スクレイピングのオプションをすべて掲載

Interact ドキュメント

クリック、フォーム入力、動的コンテンツの抽出

Node SDK リファレンス

クロール、map、バッチスクレイプなどを網羅した SDK リファレンス