Crawl
Você é um agente de IA e precisa de uma API key do Firecrawl? Consulte firecrawl.dev/agent-onboarding/SKILL.md para ver instruções de onboarding automatizado.
Autorizações
Corpo
Permite que o rastreador siga links para sites externos. Os links externos são seguidos por um salto (os links encontrados nessas páginas externas não são rastreados). Links que apontam para a página inicial de um site externo (uma URL raiz sem caminho) são ignorados e relatados em Get Crawl Errors com o código EXTERNAL_LINK; redirecionamentos para uma página inicial externa são ignorados pelo mesmo motivo.
Permite que o crawler siga links internos para URLs no mesmo nível (irmãs) ou em níveis superiores (pai), não apenas subcaminhos (filhos).
false: Só rastreia URLs em níveis inferiores (filhas). → ex.: /features/feature-1 → /features/feature-1/tips ✅ → Não seguirá /pricing ou / ❌
true: Rastreia quaisquer links internos, incluindo URLs irmãs e pai. → ex.: /features/feature-1 → /pricing, /, etc. ✅
Use true para uma cobertura interna mais ampla, além dos caminhos aninhados.
Padrões de regex para pathname da URL que excluem URLs correspondentes do rastreamento. Por exemplo, se você definir "excludePaths": ["blog/.*"] para a URL base firecrawl.dev, quaisquer resultados que correspondam a esse padrão serão excluídos, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap. Os padrões usam a sintaxe de regex do Rust (no estilo RE2): look-around e retroreferências não são compatíveis, e um padrão que não compila é rejeitado com um erro 400. Cada campo aceita no máximo 1000 padrões de até 2000 caracteres cada, e includePaths e excludePaths juntos podem conter no máximo 1000 padrões e 100.000 caracteres no total. Para filtragem por palavras-chave, envie um padrão curto por termo em vez de combinar termos em uma única alternância longa.
10002000Ignora as regras do robots.txt do site. Disponível apenas no Enterprise — entre em contato com support@firecrawl.com para habilitar.
Padrões de regex para pathname da URL que incluem URLs correspondentes no rastreamento. Apenas os pathnames que corresponderem aos padrões especificados serão incluídos na resposta. Observação: a URL inicial também é verificada em relação a esses padrões — se ela não corresponder, o rastreamento poderá retornar 0 páginas. Por exemplo, se você configurar "includePaths": ["blog/.*"] para a URL base firecrawl.dev/blog, apenas as páginas em /blog/ serão incluídas nos resultados, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap. Os padrões usam sintaxe de regex do Rust (no estilo RE2): look-around e retroreferências não são compatíveis, e um padrão que não compila é rejeitado com um erro 400. Cada campo aceita no máximo 1000 padrões de até 2000 caracteres cada, e includePaths e excludePaths juntos podem conter no máximo 1000 padrões e 100.000 caracteres no total. Para filtragem por palavras-chave, envie um padrão curto por termo em vez de combinar termos em uma única alternância longa.
10002000Profundidade máxima de crawl com base na ordem de descoberta. O site raiz e as páginas do sitemap têm profundidade de descoberta igual a 0. Por exemplo, se você definir para 1 e usar sitemap: 'skip', você só fará o crawl da URL fornecida e de todas as URLs que tiverem links nessa página.
Quando definido como true, os padrões de regex de includePaths e excludePaths serão comparados com a URL completa (incluindo parâmetros de consulta/query strings), em vez de apenas com o pathname da URL. Útil quando você precisa filtrar URLs com base em query strings.
String de User-Agent personalizada para a avaliação do robots.txt. Quando definida, o robots.txt é buscado com esse User-Agent, e as regras de permissão/bloqueio são verificadas com base nele em vez do padrão. Disponível apenas no Enterprise — entre em contato com support@firecrawl.com para habilitar.
Modo de uso do sitemap durante o rastreamento. Se você definir como "skip", o crawler vai ignorar o sitemap do site e rastrear apenas a URL inicial, descobrindo novas páginas a partir dela. Se você definir como "only", o crawler vai rastrear somente as URLs presentes no sitemap (mais a URL inicial) e não vai seguir links encontrados no HTML.
skip, include, only Se definido como true, isso garantirá que nenhum dado seja retido para este crawl. Para ativar esse recurso, entre em contato com help@firecrawl.dev

