Camel AI | Firecrawl

CAMEL 官方文档： docs.camel-ai.org/key_modules/loadersFirecrawl 以 CAMEL 加载器的形式提供，可将任何网站转换为供您的代理使用、适配 LLM 的 Markdown

安装

pip install camel-ai

设置 Firecrawl key，以便加载器自动读取：

export FIRECRAWL_API_KEY="fc-your-api-key"

使用方法

借助 Camel AI 和 Firecrawl，你可以快速构建利用网页数据的多智能体系统。

使用 Firecrawl 获取整个网站

crawl 会在任务完成后返回。检查 status，然后从 data 中读取 Markdown。

from camel.loaders import Firecrawl

firecrawl = Firecrawl()

response = firecrawl.crawl(url="https://www.camel-ai.org/about")
print(response["status"])  # 爬取完成后为 "completed"

print(response["data"][0]["markdown"])

使用 Firecrawl 获取单个网页

from camel.loaders import Firecrawl

firecrawl = Firecrawl()

response = firecrawl.scrape(url="https://www.camel-ai.org/about")
print(response["markdown"])

Firecrawl() 会从环境变量中读取 FIRECRAWL_API_KEY。传入 api_key=... 可覆盖该设置，或传入 api_url=... 以指向 self-hosted 实例。

资源