Saltar al contenido principal

Prerrequisitos

Configuración

npm create cloudflare@latest my-scraper
cd my-scraper
npm install @mendable/firecrawl-js
Añade tu clave de API como un secreto:
wrangler secret put FIRECRAWL_API_KEY

Buscar en la web

Crea un handler que busque en la web y devuelva resultados con el contenido completo de la página. Edita src/index.ts:
import Firecrawl from "@mendable/firecrawl-js";

export interface Env {
  FIRECRAWL_API_KEY: string;
}

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const firecrawl = new Firecrawl({ apiKey: env.FIRECRAWL_API_KEY });
    const url = new URL(request.url);

    if (request.method === "POST" && url.pathname === "/search") {
      const { query } = (await request.json()) as { query: string };
      const results = await firecrawl.search(query, { limit: 5 });
      return Response.json(results);
    }

    return new Response("Not found", { status: 404 });
  },
};

Hacer scraping de una página

Añade una ruta /scrape para extraer Markdown limpio de cualquier URL.
if (request.method === "POST" && url.pathname === "/scrape") {
  const { url: targetUrl } = (await request.json()) as { url: string };
  const result = await firecrawl.scrape(targetUrl);
  return Response.json(result);
}

Interactúa con una página

Añade una ruta /interact para controlar una sesión activa del navegador: haz clic en botones, rellena formularios y extrae contenido dinámico.
if (request.method === "POST" && url.pathname === "/interact") {
  const result = await firecrawl.scrape("https://www.amazon.com", {
    formats: ["markdown"],
  });
  const scrapeId = result.metadata?.scrapeId;

  await firecrawl.interact(scrapeId, {
    prompt: "Search for iPhone 16 Pro Max",
  });
  const response = await firecrawl.interact(scrapeId, {
    prompt: "Click on the first result and tell me the price",
  });

  await firecrawl.stopInteraction(scrapeId);
  return Response.json({ output: response.output });
}

Desplegar

wrangler deploy

Pruébalo

curl -X POST https://my-scraper.<your-subdomain>.workers.dev/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping"}'

Próximos pasos

Documentación de búsqueda

Busca en la web y obtén el contenido completo de la página

Documentación de scraping

Todas las opciones de scraping, incluidos formatos, acciones y proxies

Documentación de interacción

Haz clic, rellena formularios y extrae contenido dinámico

Referencia del SDK de Node

Referencia completa del SDK con crawl, map, extracción por lotes y más