CrewAI

​

Utilisation de Firecrawl avec CrewAI

​

Installer les outils Firecrawl dans CrewAI

• Récupérez une clé API depuis votre tableau de bord firecrawl.dev et définissez-la dans vos variables d’environnement (FIRECRAWL_API_KEY).
• Installez le SDK Firecrawl ainsi que le package crewai[tools] :

pip install firecrawl-py 'crewai[tools]'

​

Exemple

from crewai_tools import FirecrawlCrawlWebsiteTool

tool = FirecrawlCrawlWebsiteTool(config={"limit": 5})

# Les agents appellent l'outil avec une URL. Vous pouvez aussi l'exécuter directement :
result = tool.run(url="https://firecrawl.dev")
print(result.status, len(result.data))

​

Arguments

• api_key : facultatif. Indique la clé API Firecrawl. Par défaut, la variable d’environnement FIRECRAWL_API_KEY est utilisée.
• config : facultatif. Paramètres de crawl en snake_case. Si vous fournissez config, les valeurs par défaut ci-dessous sont remplacées.
  • limit : nombre maximal de pages à explorer. Par défaut : 10.
  • max_discovery_depth : profondeur maximale de découverte des pages. Par défaut : 2.
  • ignore_sitemap : indique s’il faut ignorer le plan du site. Par défaut : True.
  • allow_external_links : autorise l’exploration des liens externes. Par défaut : False.
  • allow_subdomains : autorise l’exploration des sous-domaines. Par défaut : False.
  • delay : délai entre les requêtes, en millisecondes. Par défaut : None.
  • scrape_options : options appliquées à chaque page explorée. Par défaut : {"formats": ["markdown"], "only_main_content": True, "timeout": 10000}.

​

Exemple

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(config={"formats": ["markdown"], "only_main_content": True})

result = tool.run(url="https://firecrawl.dev")
print(result.markdown)

​

Arguments

• api_key : facultatif. Spécifie la clé API Firecrawl. Par défaut, la variable d’environnement FIRECRAWL_API_KEY est utilisée.
• config : facultatif. Paramètres d’extraction en snake_case. Si vous fournissez config, les valeurs par défaut ci-dessous sont remplacées.
  • formats : formats de sortie, tels que "markdown", "html", "links", ou un objet de format JSON pour l’extraction structurée. Par défaut : ["markdown"].
  • only_main_content : renvoie uniquement le contenu principal de la page, sans les en-têtes, barres de navigation, pieds de page, etc. Par défaut : True.
  • include_tags / exclude_tags : balises HTML à inclure ou à exclure. Par défaut : [].
  • max_age : renvoie une version en cache si celle-ci date de moins de ce nombre de millisecondes. Par défaut : 172800000 (2 jours).
  • wait_for : délai d’attente, en millisecondes, avant la récupération du contenu. Par défaut : 0.
  • mobile : émule un appareil mobile. Par défaut : False.
  • timeout : délai d’expiration de la requête, en millisecondes. Par défaut : None.

​

Exemple

from crewai_tools import FirecrawlSearchTool

tool = FirecrawlSearchTool(config={"limit": 3})

result = tool.run(query="what is firecrawl?")
print([item.url for item in result.web])

​

Arguments

• api_key : facultatif. Indique la clé API Firecrawl. Par défaut, la variable d’environnement FIRECRAWL_API_KEY est utilisée.
• config : facultatif. Paramètres de recherche en snake_case. Si vous transmettez config, les valeurs par défaut ci-dessous sont remplacées.
  • limit : nombre maximal de résultats de recherche à renvoyer. Par défaut : 5.
  • tbs : filtre de recherche temporel, par exemple "qdr:d" pour les dernières 24 heures. Par défaut : None.
  • location : localisation des résultats de recherche. Par défaut : None.
  • timeout : délai d’expiration de la requête, en millisecondes. Par défaut : None.
  • scrape_options : extrait le contenu de chaque résultat et le renvoie. Par défaut : {"formats": ["markdown"], "only_main_content": True}. Omettez-le pour obtenir uniquement les titres, les URL et les descriptions.