Pular para o conteúdo principal

​
Sincronize dados da web em fluxos do Langflow

O Firecrawl pode ser usado no Langflow, o construtor de fluxos de IA. Esta página mostra como configurar e usar um bloco do Firecrawl no Langflow. Bloco do Firecrawl no Langflow

​
Instalando o pacote do Firecrawl

Os blocos do Firecrawl vêm no pacote lfx-firecrawl, que não faz parte da instalação padrão do Langflow. Instale-o no mesmo ambiente do Langflow e depois reinicie o Langflow:
O pacote adiciona quatro blocos: Firecrawl Scrape API, Firecrawl Crawl API, Firecrawl Map API e Firecrawl Search API. Cada um retorna a resposta da API do Firecrawl como Data. Veja todos os parâmetros na documentação do pacote Firecrawl no Langflow.

​
Fazer scraping com blocos do Firecrawl

  1. Faça login na sua conta do Firecrawl, obtenha sua chave de API e insira-a no bloco ou passe-a a partir de outra etapa do fluxo de trabalho.
  2. Adicione o bloco Firecrawl Scrape API para capturar uma única página.
  3. Insira a URL de destino a ser coletada ou passe-a a partir de outra etapa do fluxo de trabalho.
  4. Configure as opções de scraping conforme o site e os dados que você deseja obter, como os formatos de resultado e se deve retornar apenas o conteúdo principal. Você também pode passar essas opções a partir de outra etapa do fluxo de trabalho.
  5. (Opcional) Configure as Opções do Extrator para obter JSON estruturado da página.
  6. Use os dados nos seus fluxos de trabalho.

​
Rastreamento, mapeamento e busca

  • Firecrawl Crawl API rastreia uma URL e suas subpáginas. Defina limites e caminhos em Opções do Rastreador e as configurações per-page em Opções de Scraping.
  • Firecrawl Map API retorna as URLs de um ou mais sites.
  • Firecrawl Search API faz buscas na web a partir de uma query, com Limit de resultados e Location opcionais.