Camel AI | Firecrawl

公式 CAMEL ドキュメント: docs.camel-ai.org/key_modules/loadersFirecrawl は CAMEL ローダーとして提供され、あらゆるサイトをエージェント向けの LLM 対応 Markdown に変換します

インストール

pip install camel-ai

ローダーが自動的に読み取れるよう、Firecrawl キーを設定します：

export FIRECRAWL_API_KEY="fc-your-api-key"

使用方法

Camel AI と Firecrawl を使うことで、ウェブ上のデータを活用するマルチエージェントシステムを迅速に構築できます。

Firecrawl を使用して Web サイト全体を収集する

crawl はジョブの完了後に戻ります。status を確認し、data から Markdown を読み取ります。

from camel.loaders import Firecrawl

firecrawl = Firecrawl()

response = firecrawl.crawl(url="https://www.camel-ai.org/about")
print(response["status"])  # クロールが完了すると "completed" になる

print(response["data"][0]["markdown"])

Firecrawl を使って1ページを取得する

from camel.loaders import Firecrawl

firecrawl = Firecrawl()

response = firecrawl.scrape(url="https://www.camel-ai.org/about")
print(response["markdown"])

Firecrawl() は環境変数から FIRECRAWL_API_KEY を読み取ります。api_key=... を渡すと上書きでき、api_url=... を渡すとセルフホストインスタンスを指定できます。

リソース