Skip to main content
Plugin oficial do Dify: marketplace.dify.ai/plugins/langgenius/firecrawlPlugin oficial da equipe do Dify • Mais de 170.000 instalações • Apps de Chatflow e Agent • Uso gratuito

​
Visão geral da integração com o Dify

O Dify é uma plataforma open source para desenvolvimento de aplicativos com LLMs. O plugin oficial do Firecrawl permite realizar crawling e scraping da web diretamente nos seus fluxos de trabalho de IA.

Aplicativos de Chatflow e Workflow

Crie pipelines visuais com nós do Firecrawl para extração de dados

Aplicativos de agentes

Permita que agentes de IA façam scraping de dados da web em tempo real sob demanda

​
Ferramentas do Firecrawl no Dify

O plugin oferece sete ações.
Faça uma busca na web e, opcionalmente, faça scraping dos resultados retornados para obter metadados atualizados ou o conteúdo completo da página em uma única etapa.Casos de uso: Assistentes de pesquisa, descoberta de concorrentes, embasamento de respostas em fontes em tempo real.
Converta qualquer URL em dados limpos e estruturados. Transforme HTML bruto em insights acionáveis.Casos de uso: Extração de dados de produtos, scraping de conteúdo de artigos, obtenção de dados estruturados com o modo JSON.
Execute rastreamentos recursivos de sites e subdomínios para coletar uma grande quantidade de conteúdo.Casos de uso: Extração de conteúdo completo do site, scraping de documentação, coleta de dados de várias páginas.
Gere um mapa completo de todas as URLs presentes em um site.Casos de uso: Análise da estrutura do site, auditoria de SEO, descoberta de URLs para scraping em lote.
Recupere resultados de scraping com base em um ID do job ou cancele tarefas em andamento.Casos de uso: Monitoramento de rastreamentos de longa duração, gerenciamento de fluxos de trabalho de scraping assíncronos, cancelamento de operações quando necessário.
Crie um monitor agendado que verifica novamente um alvo em intervalos regulares.Casos de uso: Manter os dados ingeridos atualizados, acompanhamento de changelogs, acompanhamento de concorrentes.
Recupere os detalhes de um monitor e os resultados de suas verificações para agir apenas nas páginas que foram alteradas.Casos de uso: Atualizações incrementais da base de conhecimento, alertas de alterações, gatilhos subsequentes.

​
Primeiros passos

1

Instale o plugin do Firecrawl

Acesse o Marketplace de Plugins do Dify e instale a ferramenta Firecrawl
2

Obtenha uma chave de API do Firecrawl

Acesse Chaves de API do Firecrawl e crie uma nova chave de API
3

Autorize no Dify

Navegue até Plugins > Firecrawl > To Authorize e insira sua chave de API
4

Adicione ao seu fluxo de trabalho

Arraste as ferramentas do Firecrawl para seu aplicativo de Chatflow, Workflow ou Agent
5

Configure e teste

Defina os parâmetros e teste seu fluxo de trabalho

​
Padrões de uso

Integração visual de pipeline
  1. Adicione o nó Firecrawl ao pipeline
  2. Selecione a ação (Map, rastreamento, Scrape)
  3. Defina as variáveis de entrada
  4. Execute o pipeline sequencialmente
Exemplo de fluxo:

​
Casos de uso comuns

Chatbot de IA com dados em tempo real

Crie chatbots com RAG que fazem scraping e usam conteúdo atualizado de sites como referência

Agente de análise de conteúdo

Agentes que pesquisam tópicos por meio de scraping e análise de várias fontes

Monitoramento de concorrentes

Fluxos de trabalho automatizados que acompanham sites de concorrentes e alertam sobre mudanças

Pipeline de enriquecimento de dados

Extraia e enriqueça dados de sites em bancos de dados estruturados

​
Ações do Firecrawl

​
Boas práticas

Aplicativos de agentes

  • Deixe os agentes decidirem quando fazer scraping
  • Use instruções em linguagem natural
  • Habilite a chamada de ferramentas nas configurações do LLM
  • Monitore o uso de tokens em operações de scraping grandes

Aplicativos de fluxo de trabalho

  • Use Map antes de rastreamento em sites grandes
  • Defina limites de rastreamento adequados
  • Adicione nós para tratamento de erros
  • Primeiro, teste com conjuntos de dados pequenos

​
Dify vs. outras plataformas

Dica: O Dify se destaca na criação de aplicações nativas em IA em que os agentes precisam de acesso dinâmico à web. Ideal para chatbots, assistentes de pesquisa e ferramentas de IA que precisam de dados em tempo real.

​
Sincronize sites na base de conhecimento do Dify

O Firecrawl também pode fazer scraping de uma página da web para Markdown e importá-la para a base de conhecimento do Dify pelo Dify Cloud.

​
Configurando o Firecrawl

Configure as credenciais do Firecrawl na seção Fonte de dados da página Configurações. Configurar chave do Firecrawl Faça login na sua conta do Firecrawl, obtenha sua chave de API e, em seguida, insira-a e salve-a no Dify. Salvar chave do Firecrawl

​
Scraping da página de destino

Na página de criação da base de conhecimento, selecione Sync from website e insira a URL para scraping. Configuração de scraping As opções de configuração incluem: rastrear subpáginas ou não, limite de páginas a rastrear, profundidade máxima de scraping, caminhos excluídos, incluir apenas determinados caminhos e escopo de extração de conteúdo. Após concluir a configuração, clique em Run para visualizar a prévia das páginas processadas. Definir configuração do Firecrawl

​
Revisar resultados da importação

O texto da página importada é armazenado nos documentos da base de conhecimento. Veja os resultados e clique em Add URL para importar mais páginas. Veja os resultados do scraping do Firecrawl