Raspado por lotes de múltiples URL
Cómo funciona
/crawl
. Puedes iniciar el lote y esperar a que termine, o iniciarlo y gestionar tú mismo su finalización.
batchScrape
(JS) /batch_scrape
(Python): inicia un trabajo por lotes, espera a que finalice y devuelve los resultados.startBatchScrape
(JS) /start_batch_scrape
(Python): inicia un trabajo por lotes y devuelve el ID del trabajo para que puedas hacer polling o usar webhooks.
Uso
Respuesta
batchScrape
/batch_scrape
devuelve los resultados completos cuando el lote finaliza.
Completado
startBatchScrape
/start_batch_scrape
devuelve
un ID de tarea que puedes monitorear mediante getBatchScrapeStatus
/get_batch_scrape_status
, usando
el endpoint de la API /batch/scrape/{id}
o webhooks. Este endpoint está pensado para
consultas durante la ejecución o inmediatamente después de la finalización, ya que los trabajos por lotes expiran tras
24 horas.
Raspado por lotes con extracción estructurada
Respuesta
batchScrape
/batch_scrape
devuelve resultados completos:
Completado
startBatchScrape
/start_batch_scrape
devuelve un ID de tarea:
Raspado por lotes con webhooks
cURL
Referencia rápida
batch_scrape.started
- Cuando comienza el scraping por lotesbatch_scrape.page
- Para cada URL extraída correctamentebatch_scrape.completed
- Cuando se procesan todas las URLbatch_scrape.failed
- Si el scraping por lotes presenta un error
Para conocer la configuración detallada de los webhooks, las mejores prácticas de seguridad y
la resolución de problemas, visita la documentación de webhooks.