LangChain | Firecrawl

官方包： langchain-firecrawl · 源代码在 LangChain 中使用 Firecrawl 进行抓取、爬取、映射、提取和搜索，既可用作文档加载器，也可作为代理工具

安装

pip install langchain-firecrawl

从 firecrawl.dev 获取 API 密钥，并将其设置为环境变量 (或传入 api_key=...) ：

export FIRECRAWL_API_KEY="fc-your-api-key"

文档加载器

FirecrawlLoader 返回 LangChain Document。选择 mode：

模式	加载内容
`scrape`	单个页面
`crawl`	整个网站
`map`	发现的 URL
`extract`	结构化数据
`search`	网页搜索结果

from langchain_firecrawl import FirecrawlLoader

loader = FirecrawlLoader(url="https://www.firecrawl.dev", mode="scrape")
docs = loader.load()

print(docs[0].page_content[:200])
print(docs[0].metadata)

代理工具

每项功能也都可作为 BaseTool 绑定到代理：

from langchain_firecrawl import (
    FirecrawlScrape,
    FirecrawlCrawl,
    FirecrawlMap,
    FirecrawlExtract,
    FirecrawlSearch,
)

scrape = FirecrawlScrape()
result = scrape.invoke({"url": "https://www.firecrawl.dev"})
print(result["markdown"])

search = FirecrawlSearch()
print(search.invoke({"query": "best web scraping libraries", "limit": 5}))

LangChain JS

@langchain/community 中的 FireCrawlLoader 仍在调用 v1 SDK 方法，因此无法搭配当前的 Firecrawl JS SDK 使用。在其完成更新之前，请直接调用 Firecrawl Node SDK，并将结果封装为 LangChain Document 对象：

npm install firecrawl @langchain/core

import Firecrawl from "firecrawl";
import { Document } from "@langchain/core/documents";

const firecrawl = new Firecrawl(); // 读取 FIRECRAWL_API_KEY

const crawl = await firecrawl.crawl("https://firecrawl.dev", { limit: 5 });

const docs = crawl.data.map(
  (page) => new Document({ pageContent: page.markdown ?? "", metadata: page.metadata ?? {} })
);

资源