Como funciona
- Frescura padrão:
maxAge = 172800000
ms (2 dias). Se a cópia em cache for mais recente que isso, ela é retornada instantaneamente; caso contrário, o Firecrawl faz uma nova raspagem e atualiza o cache. - Forçar conteúdo novo: Defina
maxAge: 0
para sempre raspar. - Pular cache: Defina
storeInCache: false
se você não quiser armazenar os resultados de uma requisição.
maxAge
:
- Retorno instantâneo se tivermos uma versão recente da página
- Raspar novamente apenas se nossa versão for mais antiga do que a idade especificada por você
- Economize tempo — os resultados chegam em milissegundos em vez de segundos
Quando usar
- Documentação, artigos, páginas de produto
- Processamento em lote
- Desenvolvimento e testes
- Criação de bases de conhecimento
- Dados em tempo real (cotações, placares ao vivo, notícias de última hora)
- Conteúdo atualizado com frequência
- Aplicativos sensíveis ao tempo
Uso
maxAge
à sua solicitação de scrape. Os valores são em milissegundos (por exemplo, 3600000
= 1 hora).
Valores comuns de maxAge
- 5 minutos:
300000
- Para conteúdo semidinâmico - 1 hora:
3600000
- Para conteúdo que é atualizado a cada hora - 1 dia:
86400000
- Para conteúdo atualizado diariamente - 1 semana:
604800000
- Para conteúdo relativamente estático
Impacto no desempenho
maxAge
ativado:
- Tempos de resposta 500% mais rápidos para conteúdo recente
- Resultados instantâneos em vez de aguardar novas coletas
Notas importantes
- Padrão:
maxAge
é172800000
(2 dias) - Atual quando necessário: Se nossos dados forem mais antigos que
maxAge
, fazemos uma nova coleta automaticamente - Sem dados desatualizados: Você nunca receberá dados mais antigos do que o
maxAge
especificado
Rastreamento mais rápido
maxAge
em scrapeOptions
para obter resultados em cache de páginas que foram processadas recentemente.
maxAge
, cada página do seu rastreamento aproveitará a melhoria de velocidade de 500% se tivermos dados recentes em cache para ela.
Comece a usar maxAge
hoje para raspagens e rastreamentos muito mais rápidos!