Coleta em lote de várias URLs
Como funciona
/crawl
. Você pode iniciar o lote e aguardar a conclusão ou iniciá-lo e lidar com a conclusão por conta própria.
batchScrape
(JS) /batch_scrape
(Python): inicia um job em lote e aguarda a conclusão, retornando os resultados.startBatchScrape
(JS) /start_batch_scrape
(Python): inicia um job em lote e retorna o ID do job para que você possa fazer polling ou usar webhooks.
Uso
Resposta
batchScrape
/batch_scrape
retorna os resultados completos quando o lote é concluído.
Concluído
startBatchScrape
/start_batch_scrape
retorna
um ID de job que você pode acompanhar via getBatchScrapeStatus
/get_batch_scrape_status
, usando
o endpoint da API /batch/scrape/{id}
ou webhooks. Esse endpoint é indicado para
consultas em andamento ou imediatamente após a conclusão, pois jobs em lote expiram após
24 horas.
Coleta em lote com extração estruturada
Resposta
batchScrape
/batch_scrape
retorna resultados completos:
Concluído
startBatchScrape
/start_batch_scrape
retorna um ID de tarefa:
Raspagem em lote com webhooks
cURL
Referência rápida
batch_scrape.started
- Quando a raspagem em lote começabatch_scrape.page
- Para cada URL raspada com sucessobatch_scrape.completed
- Quando todas as URLs são processadasbatch_scrape.failed
- Se a raspagem em lote encontrar um erro
Para configurações detalhadas de webhooks, práticas recomendadas de segurança e
solução de problemas, acesse a documentação de Webhooks.