CrewAI

​

Usando o Firecrawl com o CrewAI

​

Instalando as ferramentas do Firecrawl no CrewAI

• Obtenha uma chave de API no seu painel do firecrawl.dev e defina-a nas variáveis de ambiente (FIRECRAWL_API_KEY).
• Instale o SDK do Firecrawl junto com o pacote crewai[tools]:

pip install firecrawl-py 'crewai[tools]'

​

Exemplo

from crewai_tools import FirecrawlCrawlWebsiteTool

tool = FirecrawlCrawlWebsiteTool(config={"limit": 5})

# Os agentes chamam a ferramenta com uma URL. Você também pode executá-la diretamente:
result = tool.run(url="https://firecrawl.dev")
print(result.status, len(result.data))

​

Argumentos

• api_key: Opcional. Especifica a chave de API do Firecrawl. O padrão é a variável de ambiente FIRECRAWL_API_KEY.
• config: Opcional. Parâmetros de rastreamento em snake_case. Ao passar config, os padrões abaixo são substituídos.
  • limit: Número máximo de páginas a rastrear. Padrão: 10.
  • max_discovery_depth: Profundidade máxima para descoberta de páginas. Padrão: 2.
  • ignore_sitemap: Define se o mapa do site deve ser ignorado. Padrão: True.
  • allow_external_links: Permite rastrear links externos. Padrão: False.
  • allow_subdomains: Permite rastrear subdomínios. Padrão: False.
  • delay: Intervalo entre requisições, em milissegundos. Padrão: None.
  • scrape_options: Opções para cada página rastreada. Padrão: {"formats": ["markdown"], "only_main_content": True, "timeout": 10000}.

​

Exemplo

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(config={"formats": ["markdown"], "only_main_content": True})

result = tool.run(url="https://firecrawl.dev")
print(result.markdown)

​

Argumentos

• api_key: Opcional. Especifica a chave de API do Firecrawl. O padrão é a variável de ambiente FIRECRAWL_API_KEY.
• config: Opcional. Parâmetros de scraping em snake_case. Ao passar config, os padrões abaixo são substituídos.
  • formats: Formatos de saída, como "markdown", "html", "links" ou um objeto de formato JSON para extração estruturada. Padrão: ["markdown"].
  • only_main_content: Retorna apenas o conteúdo principal da página, excluindo cabeçalhos, barras de navegação, rodapés etc. Padrão: True.
  • include_tags / exclude_tags: Tags HTML a incluir ou excluir. Padrão: [].
  • max_age: Retorna uma versão em cache se ela for mais recente que esse número de milissegundos. Padrão: 172800000 (2 dias).
  • wait_for: Tempo de espera, em milissegundos, antes de buscar o conteúdo. Padrão: 0.
  • mobile: Emula um dispositivo móvel. Padrão: False.
  • timeout: Tempo limite do request, em milissegundos. Padrão: None.

​

Exemplo

from crewai_tools import FirecrawlSearchTool

tool = FirecrawlSearchTool(config={"limit": 3})

result = tool.run(query="what is firecrawl?")
print([item.url for item in result.web])

​

Argumentos

• api_key: Opcional. Especifica a Chave de API do Firecrawl. O padrão é a variável de ambiente FIRECRAWL_API_KEY.
• config: Opcional. Parâmetros de busca em snake_case. Ao passar config, os padrões abaixo são substituídos.
  • limit: Número máximo de resultados de busca retornados. Padrão: 5.
  • tbs: Filtro de busca por período, por exemplo, "qdr:d" para o último dia. Padrão: None.
  • location: Localização dos resultados de busca. Padrão: None.
  • timeout: Tempo limite da request, em milissegundos. Padrão: None.
  • scrape_options: Faz scraping de cada resultado e retorna o conteúdo. Padrão: {"formats": ["markdown"], "only_main_content": True}. Omita-o para obter apenas títulos, URLs e descrições.