CrewAI

​

Uso de Firecrawl con CrewAI

​

Instalar Firecrawl Tools dentro de CrewAI

• Obtén una clave de API desde tu panel de firecrawl.dev y configúrala como variable de entorno (FIRECRAWL_API_KEY).
• Instala el SDK de Firecrawl junto con el paquete crewai[tools]:

pip install firecrawl-py 'crewai[tools]'

​

Ejemplo

from crewai_tools import FirecrawlCrawlWebsiteTool

tool = FirecrawlCrawlWebsiteTool(config={"limit": 5})

# Los agentes llaman a la herramienta con una URL. También puedes ejecutarla directamente:
result = tool.run(url="https://firecrawl.dev")
print(result.status, len(result.data))

​

Argumentos

• api_key: Opcional. Especifica la clave de API de Firecrawl. De forma predeterminada, se usa la variable de entorno FIRECRAWL_API_KEY.
• config: Opcional. Parámetros de rastreo en snake_case. Si se pasa config, se reemplazan los valores predeterminados que se indican a continuación.
  • limit: Número máximo de páginas que se van a rastrear. Predeterminado: 10.
  • max_discovery_depth: Profundidad máxima para descubrir páginas. Predeterminado: 2.
  • ignore_sitemap: Indica si se debe ignorar el mapa del sitio. Predeterminado: True.
  • allow_external_links: Permite rastrear enlaces externos. Predeterminado: False.
  • allow_subdomains: Permite rastrear subdominios. Predeterminado: False.
  • delay: Retraso entre solicitudes, en milisegundos. Predeterminado: None.
  • scrape_options: Opciones para cada página rastreada. Predeterminado: {"formats": ["markdown"], "only_main_content": True, "timeout": 10000}.

​

Ejemplo

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(config={"formats": ["markdown"], "only_main_content": True})

result = tool.run(url="https://firecrawl.dev")
print(result.markdown)

​

Argumentos

• api_key: Opcional. Especifica la clave de API de Firecrawl. El valor predeterminado es la variable de entorno FIRECRAWL_API_KEY.
• config: Opcional. Parámetros de scraping en snake_case. Si se pasa config, se reemplazan los valores predeterminados que se indican a continuación.
  • formats: Formatos de salida, como "markdown", "html", "links" o un objeto de formato JSON para la extracción estructurada. Predeterminado: ["markdown"].
  • only_main_content: Devuelve solo el contenido principal de la página, sin encabezados, menús de navegación, pies de página, etc. Predeterminado: True.
  • include_tags / exclude_tags: Etiquetas HTML que se deben incluir o excluir. Predeterminado: [].
  • max_age: Devuelve una versión en caché si su antigüedad es inferior a este número de milisegundos. Predeterminado: 172800000 (2 días).
  • wait_for: Tiempo de espera en milisegundos antes de obtener el contenido. Predeterminado: 0.
  • mobile: Emula un dispositivo móvil. Predeterminado: False.
  • timeout: Tiempo máximo de espera de la solicitud, en milisegundos. Predeterminado: None.

​

Ejemplo

from crewai_tools import FirecrawlSearchTool

tool = FirecrawlSearchTool(config={"limit": 3})

result = tool.run(query="what is firecrawl?")
print([item.url for item in result.web])

​

Argumentos

• api_key: Opcional. Especifica la clave de API de Firecrawl. De forma predeterminada, se usa la variable de entorno FIRECRAWL_API_KEY.
• config: Opcional. Parámetros de búsqueda en snake_case. Si se pasa config, se reemplazan los valores predeterminados que se indican a continuación.
  • limit: Número máximo de resultados de búsqueda que se devolverán. Predeterminado: 5.
  • tbs: Filtro de búsqueda por tiempo; por ejemplo, "qdr:d" para el último día. Predeterminado: None.
  • location: Ubicación para los resultados de búsqueda. Predeterminado: None.
  • timeout: Tiempo máximo de espera de la solicitud, en milisegundos. Predeterminado: None.
  • scrape_options: Hace scraping de cada resultado y devuelve su contenido. Predeterminado: {"formats": ["markdown"], "only_main_content": True}. Omítelo para obtener solo títulos, URL y descripciones.