Raspado por lotes de múltiples URL
Cómo funciona
/crawl. Puedes iniciar el lote y esperar a que termine, o iniciarlo y gestionar tú mismo su finalización.
batchScrape(JS) /batch_scrape(Python): inicia un trabajo por lotes, espera a que finalice y devuelve los resultados.startBatchScrape(JS) /start_batch_scrape(Python): inicia un trabajo por lotes y devuelve el ID del trabajo para que puedas hacer polling o usar webhooks.
Uso
Respuesta
batchScrape/batch_scrape devuelve los resultados completos cuando el lote finaliza.
Completado
startBatchScrape/start_batch_scrape devuelve
un ID de tarea que puedes monitorear mediante getBatchScrapeStatus/get_batch_scrape_status, usando
el endpoint de la API /batch/scrape/{id} o webhooks. Este endpoint está pensado para
consultas durante la ejecución o inmediatamente después de la finalización, ya que los trabajos por lotes expiran tras
24 horas.
Raspado por lotes con extracción estructurada
Respuesta
batchScrape/batch_scrape devuelve resultados completos:
Completado
startBatchScrape/start_batch_scrape devuelve un ID de tarea:
Raspado por lotes con webhooks
cURL
Referencia rápida
batch_scrape.started- Cuando comienza el scraping por lotesbatch_scrape.page- Para cada URL extraída correctamentebatch_scrape.completed- Cuando se procesan todas las URLbatch_scrape.failed- Si el scraping por lotes presenta un error
Para conocer la configuración detallada de los webhooks, las mejores prácticas de seguridad y
la resolución de problemas, visita la documentación de webhooks.

