LlamaIndex

pip install 'firecrawl-py>=4.3.3' llama-index llama-index-readers-web

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# Web サイトをクロールするために FireCrawlWebReader を初期化
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # キーは https://www.firecrawl.dev/app/api-keys で取得
    mode="crawl",  # "scrape"、"crawl"、"map"、"search"、または "extract"
    params={"limit": 10},  # 選択したモードで使用する Firecrawl パラメータ(任意)
)

# サイトからドキュメントを読み込み
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# APIキーと目的のモードで FireCrawlWebReader を初期化します
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # https://www.firecrawl.dev/app/api-keys でキーを取得してください
    mode="scrape",  # "scrape"、"crawl"、"map"、"search"、または "extract"
)

# 指定したURLからドキュメントを読み込みます
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/worked.html")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)