LangChain | Firecrawl

Paquete oficial: langchain-firecrawl · código fuenteRealiza scraping, crawling, mapeo, extracción y búsquedas desde LangChain, como cargador de documentos o herramienta de agente.

Instalación

pip install langchain-firecrawl

Obtén una clave de firecrawl.dev y configúrala en tu entorno (o pasa api_key=...):

export FIRECRAWL_API_KEY="fc-your-api-key"

Cargador de documentos

FirecrawlLoader devuelve objetos Document de LangChain. Selecciona un mode:

Modo	Qué carga
`scrape`	Una página
`crawl`	Un sitio web completo
`map`	URL detectadas
`extract`	Datos estructurados
`search`	Resultados de búsqueda web

from langchain_firecrawl import FirecrawlLoader

loader = FirecrawlLoader(url="https://www.firecrawl.dev", mode="scrape")
docs = loader.load()

print(docs[0].page_content[:200])
print(docs[0].metadata)

Herramientas de agente

Cada capacidad también es una BaseTool que puedes vincular a un agente:

from langchain_firecrawl import (
    FirecrawlScrape,
    FirecrawlCrawl,
    FirecrawlMap,
    FirecrawlExtract,
    FirecrawlSearch,
)

scrape = FirecrawlScrape()
result = scrape.invoke({"url": "https://www.firecrawl.dev"})
print(result["markdown"])

search = FirecrawlSearch()
print(search.invoke({"query": "best web scraping libraries", "limit": 5}))

LangChain JS

El FireCrawlLoader de @langchain/community todavía llama a métodos del SDK v1, por lo que falla con la versión actual del SDK de JS de Firecrawl. Hasta que se actualice, llama directamente al SDK de Firecrawl para Node.js y envuelve los resultados en objetos Document de LangChain:

npm install firecrawl @langchain/core

import Firecrawl from "firecrawl";
import { Document } from "@langchain/core/documents";

const firecrawl = new Firecrawl(); // lee FIRECRAWL_API_KEY

const crawl = await firecrawl.crawl("https://firecrawl.dev", { limit: 5 });

const docs = crawl.data.map(
  (page) => new Document({ pageContent: page.markdown ?? "", metadata: page.metadata ?? {} })
);

Recursos

langchain-firecrawl en PyPI
Documentación de scraping de Firecrawl y crawl
SDK de Python de Firecrawl y SDK de Node