- Lambda にアクセスできる AWS アカウント
- Firecrawl APIキー — 無料で取得する
mkdir firecrawl-lambda && cd firecrawl-lambda
npm init -y
npm install @mendable/firecrawl-js
検索ハンドラーを定義した index.mjs を作成します:
import Firecrawl from "@mendable/firecrawl-js";
const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });
export async function handler(event) {
const body = JSON.parse(event.body || "{}");
if (body.action === "search") {
const results = await firecrawl.search(body.query, { limit: 5 });
return {
statusCode: 200,
body: JSON.stringify(results),
};
}
return { statusCode: 400, body: JSON.stringify({ error: "Unknown action" }) };
}
同じハンドラーにscrapeアクションを追加します:
if (body.action === "scrape") {
const result = await firecrawl.scrape(body.url);
return {
statusCode: 200,
body: JSON.stringify(result),
};
}
稼働中のブラウザセッションを制御するために interact アクションを追加すると、ボタンのクリック、フォームへの入力、動的なコンテンツの抽出ができます:
if (body.action === "interact") {
const result = await firecrawl.scrape("https://www.amazon.com", {
formats: ["markdown"],
});
const scrapeId = result.metadata?.scrapeId;
await firecrawl.interact(scrapeId, {
prompt: "Search for iPhone 16 Pro Max",
});
const response = await firecrawl.interact(scrapeId, {
prompt: "Click on the first result and tell me the price",
});
await firecrawl.stopInteraction(scrapeId);
return {
statusCode: 200,
body: JSON.stringify({ output: response.output }),
};
}
AWS CLI を使ってパッケージ化とデプロイを行います:
zip -r function.zip index.mjs node_modules/
aws lambda create-function \
--function-name firecrawl-scraper \
--runtime nodejs20.x \
--handler index.handler \
--zip-file fileb://function.zip \
--role arn:aws:iam::YOUR_ACCOUNT:role/lambda-role \
--environment Variables="{FIRECRAWL_API_KEY=fc-YOUR-API-KEY}" \
--timeout 60
Lambda のタイムアウトは少なくとも30秒に設定してください。動的ページのスクレイピングや Interact セッションは、デフォルトの3秒のタイムアウトでは完了までにそれ以上かかることがあります。
Searchドキュメント
Webを検索し、ページ全体のコンテンツを取得
スクレイピングドキュメント
フォーマット、アクション、プロキシを含むスクレイピングのオプション
Interactドキュメント
クリックやフォーム入力で動的コンテンツを抽出
Node SDKリファレンス
クロール、map、バッチスクレイプなどを網羅したSDKリファレンス