LlamaIndex | Firecrawl

安装

pip install 'firecrawl-py>=4.3.3' llama-index llama-index-readers-web

使用方式

FireCrawlWebReader 支持 scrape、crawl、map、search 和 extract 模式。请在环境变量中设置 FIRECRAWL_API_KEY。这些示例中的查询引擎默认使用 OpenAI，因此还需设置 OPENAI_API_KEY (或在 LlamaIndex 中配置其他 LLM) 。

使用 Firecrawl 采集整个网站

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# 初始化 FireCrawlWebReader 以爬取网站
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # 在 https://www.firecrawl.dev/app/api-keys 获取 API 密钥
    mode="crawl",  # "scrape", "crawl", "map", "search", or "extract"
    params={"limit": 10},  # 所选模式对应的可选 Firecrawl 参数
)

# 从该网站加载文档
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

使用 Firecrawl 采集单个页面

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# 使用你的 API 密钥和所需模式初始化 FireCrawlWebReader
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # 在 https://www.firecrawl.dev/app/api-keys 获取 API 密钥
    mode="scrape",  # "scrape"、"crawl"、"map"、"search" 或 "extract"
)

# 从指定的 URL 加载文档
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/worked.html")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)