LangChain | Firecrawl

Package officiel : langchain-firecrawl · code sourceUtilisez LangChain pour scraper, crawl, cartographier, extraire et rechercher avec Firecrawl, comme chargeur de documents ou outil d’agent.

Installation

pip install langchain-firecrawl

Obtenez une clé sur firecrawl.dev et définissez-la dans votre environnement (ou passez api_key=...) :

export FIRECRAWL_API_KEY="fc-your-api-key"

Chargeur de documents

FirecrawlLoader renvoie des Document LangChain. Choisissez un mode :

Mode	Contenu chargé
`scrape`	Une page
`crawl`	Un site entier
`map`	Les URL découvertes
`extract`	Des données structurées
`search`	Des résultats de recherche web

from langchain_firecrawl import FirecrawlLoader

loader = FirecrawlLoader(url="https://www.firecrawl.dev", mode="scrape")
docs = loader.load()

print(docs[0].page_content[:200])
print(docs[0].metadata)

Outils Agent

Chaque fonctionnalité est également un BaseTool que vous pouvez associer à un agent :

from langchain_firecrawl import (
    FirecrawlScrape,
    FirecrawlCrawl,
    FirecrawlMap,
    FirecrawlExtract,
    FirecrawlSearch,
)

scrape = FirecrawlScrape()
result = scrape.invoke({"url": "https://www.firecrawl.dev"})
print(result["markdown"])

search = FirecrawlSearch()
print(search.invoke({"query": "best web scraping libraries", "limit": 5}))

LangChain JS

Le FireCrawlLoader de @langchain/community appelle encore les méthodes du SDK v1 : il échoue donc avec la version actuelle du SDK JS Firecrawl. En attendant sa mise à jour, appelez directement le SDK Node Firecrawl et encapsulez les résultats dans des objets Document LangChain :

npm install firecrawl @langchain/core

import Firecrawl from "firecrawl";
import { Document } from "@langchain/core/documents";

const firecrawl = new Firecrawl(); // lit FIRECRAWL_API_KEY

const crawl = await firecrawl.crawl("https://firecrawl.dev", { limit: 5 });

const docs = crawl.data.map(
  (page) => new Document({ pageContent: page.markdown ?? "", metadata: page.metadata ?? {} })
);

Ressources

langchain-firecrawl sur PyPI
Documentation sur Firecrawl scrape et crawl
Firecrawl Python SDK et Node SDK