LlamaIndex | Firecrawl

Installation

pip install 'firecrawl-py>=4.3.3' llama-index llama-index-readers-web

Utilisation

FireCrawlWebReader prend en charge les modes scrape, crawl, map, search et extract. Définissez FIRECRAWL_API_KEY dans votre environnement. Dans ces exemples, le moteur de requêtes utilise OpenAI par défaut : définissez donc également OPENAI_API_KEY (ou configurez un autre LLM dans LlamaIndex).

Utiliser Firecrawl pour récupérer l’intégralité d’un site web

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# Initialiser FireCrawlWebReader pour crawler un site web
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # Obtenez une clé sur https://www.firecrawl.dev/app/api-keys
    mode="crawl",  # "scrape", "crawl", "map", "search" ou "extract"
    params={"limit": 10},  # Paramètres Firecrawl facultatifs pour le mode choisi
)

# Charger les documents depuis le site
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

Utiliser Firecrawl pour récupérer une seule page

import os

from llama_index.core import SummaryIndex
from llama_index.readers.web import FireCrawlWebReader

# Initialisez FireCrawlWebReader avec votre clé API et le mode souhaité
firecrawl_reader = FireCrawlWebReader(
    api_key=os.environ["FIRECRAWL_API_KEY"],  # Obtenez une clé sur https://www.firecrawl.dev/app/api-keys
    mode="scrape",  # « scrape », « crawl », « map », « search » ou « extract »
)

# Chargez des documents à partir d’une URL spécifiée
documents = firecrawl_reader.load_data(url="https://www.paulgraham.com/worked.html")
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)