Como funciona

O Firecrawl mantém em cache páginas já raspadas e, por padrão, retorna uma cópia recente quando disponível.
  • Frescura padrão: maxAge = 172800000 ms (2 dias). Se a cópia em cache for mais recente que isso, ela é retornada instantaneamente; caso contrário, o Firecrawl faz uma nova raspagem e atualiza o cache.
  • Forçar conteúdo novo: Defina maxAge: 0 para sempre raspar.
  • Pular cache: Defina storeInCache: false se você não quiser armazenar os resultados de uma requisição.
Obtenha seus resultados até 500% mais rápido quando você não precisar dos dados absolutamente mais atuais. Controle a frescura via maxAge:
  1. Retorno instantâneo se tivermos uma versão recente da página
  2. Raspar novamente apenas se nossa versão for mais antiga do que a idade especificada por você
  3. Economize tempo — os resultados chegam em milissegundos em vez de segundos

Quando usar

Ideal para:
  • Documentação, artigos, páginas de produto
  • Processamento em lote
  • Desenvolvimento e testes
  • Criação de bases de conhecimento
Evite se precisar de:
  • Dados em tempo real (cotações, placares ao vivo, notícias de última hora)
  • Conteúdo atualizado com frequência
  • Aplicativos sensíveis ao tempo

Uso

Adicione maxAge à sua solicitação de scrape. Os valores são em milissegundos (por exemplo, 3600000 = 1 hora).
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# Use cached data if it's less than 1 hour old (3600000 ms)
# This can be 500% faster than a fresh scrape!
scrape_result = firecrawl.scrape(
    'https://firecrawl.dev', 
    formats=['markdown'],
    maxAge=3600000  # 1 hour in milliseconds
)

print(scrape_result['markdown'])

Valores comuns de maxAge

Aqui estão alguns valores de referência úteis:
  • 5 minutos: 300000 - Para conteúdo semidinâmico
  • 1 hora: 3600000 - Para conteúdo que é atualizado a cada hora
  • 1 dia: 86400000 - Para conteúdo atualizado diariamente
  • 1 semana: 604800000 - Para conteúdo relativamente estático

Impacto no desempenho

Com maxAge ativado:
  • Tempos de resposta 500% mais rápidos para conteúdo recente
  • Resultados instantâneos em vez de aguardar novas coletas

Notas importantes

  • Padrão: maxAge é 172800000 (2 dias)
  • Atual quando necessário: Se nossos dados forem mais antigos que maxAge, fazemos uma nova coleta automaticamente
  • Sem dados desatualizados: Você nunca receberá dados mais antigos do que o maxAge especificado

Rastreamento mais rápido

Os mesmos ganhos de velocidade se aplicam ao rastrear várias páginas. Use maxAge em scrapeOptions para obter resultados em cache de páginas que foram processadas recentemente.
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# Rastreamento com scraping em cache — 500% mais rápido para páginas acessadas recentemente
crawl_result = firecrawl.crawl(
    'https://firecrawl.dev', 
    limit=100,
    scrape_options={
        formats=['markdown'],
        maxAge=3600000  # Usar dados em cache se tiverem menos de 1 hora
    }
)

for page in crawl_result['data']:
    print(f"URL: {page['metadata']['sourceURL']}")
    print(f"Conteúdo: {page['markdown'][:200]}...")
Ao rastrear com maxAge, cada página do seu rastreamento aproveitará a melhoria de velocidade de 500% se tivermos dados recentes em cache para ela. Comece a usar maxAge hoje para raspagens e rastreamentos muito mais rápidos!