Pular para o conteúdo principal

​
Como funciona

O Firecrawl mantém em cache páginas já raspadas e, por padrão, retorna uma cópia recente quando disponível.
  • Frescura padrão: maxAge = 172800000 ms (2 dias). Se a cópia em cache for mais recente que isso, ela é retornada instantaneamente; caso contrário, o Firecrawl faz uma nova raspagem e atualiza o cache.
  • Forçar conteúdo novo: Defina maxAge: 0 para sempre raspar.
  • Pular cache: Defina storeInCache: false se você não quiser armazenar os resultados de uma requisição.
Obtenha seus resultados até 500% mais rápido quando você não precisar dos dados absolutamente mais atuais. Controle a frescura via maxAge:
  1. Retorno instantâneo se tivermos uma versão recente da página
  2. Raspar novamente apenas se nossa versão for mais antiga do que a idade especificada por você
  3. Economize tempo — os resultados chegam em milissegundos em vez de segundos

​
Quando usar

Ideal para:
  • Documentação, artigos, páginas de produto
  • Processamento em lote
  • Desenvolvimento e testes
  • Criação de bases de conhecimento
Evite se precisar de:
  • Dados em tempo real (cotações, placares ao vivo, notícias de última hora)
  • Conteúdo atualizado com frequência
  • Aplicativos sensíveis ao tempo

​
Uso

Adicione maxAge à sua solicitação de scrape. Os valores são em milissegundos (por exemplo, 3600000 = 1 hora). 
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# Use os dados em cache se tiverem menos de 1 hora (3600000 ms)
# Isso pode ser até 500% mais rápido do que uma raspagem do zero!
scrape_result = firecrawl.scrape(
    'https://firecrawl.dev', 
    formats=['markdown'],
    maxAge=3600000  # 1 hora em milissegundos
)

print(scrape_result['markdown'])

​
Valores comuns de maxAge

Aqui estão alguns valores de referência úteis:
  • 5 minutos: 300000 - Para conteúdo semidinâmico
  • 1 hora: 3600000 - Para conteúdo que é atualizado a cada hora
  • 1 dia: 86400000 - Para conteúdo atualizado diariamente
  • 1 semana: 604800000 - Para conteúdo relativamente estático

​
Impacto no desempenho

Com maxAge ativado:
  • Tempos de resposta 500% mais rápidos para conteúdo recente
  • Resultados instantâneos em vez de aguardar novas coletas

​
Notas importantes

  • Padrão: maxAge é 172800000 (2 dias)
  • Atual quando necessário: Se nossos dados forem mais antigos que maxAge, fazemos uma nova coleta automaticamente
  • Sem dados desatualizados: Você nunca receberá dados mais antigos do que o maxAge especificado

​
Rastreamento mais rápido

Os mesmos ganhos de velocidade se aplicam ao rastrear várias páginas. Use maxAge em scrapeOptions para obter resultados em cache de páginas que foram processadas recentemente. 
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# Rastreamento com scraping em cache — 500% mais rápido para páginas acessadas recentemente
crawl_result = firecrawl.crawl(
    'https://firecrawl.dev', 
    limit=100,
    scrape_options={
        formats=['markdown'],
        maxAge=3600000  # Usar dados em cache se tiverem menos de 1 hora
    }
)

for page in crawl_result['data']:
    print(f"URL: {page['metadata']['sourceURL']}")
    print(f"Conteúdo: {page['markdown'][:200]}...")
Ao rastrear com maxAge, cada página do seu rastreamento aproveitará a melhoria de velocidade de 500% se tivermos dados recentes em cache para ela. Comece a usar maxAge hoje para raspagens e rastreamentos muito mais rápidos!