Extraction en lot de plusieurs URL
Fonctionnement
/crawl
. Vous pouvez soit lancer le lot et attendre qu’il se termine, soit le lancer et gérer vous‑même sa finalisation.
batchScrape
(JS) /batch_scrape
(Python) : lance un lot et attend sa fin, puis renvoie les résultats.startBatchScrape
(JS) /start_batch_scrape
(Python) : lance un lot et renvoie l’ID du job pour que vous puissiez effectuer du polling ou utiliser des webhooks.
Utilisation
Réponse
batchScrape
/batch_scrape
renvoie les résultats complets une fois le lot terminé.
Terminé
startBatchScrape
/start_batch_scrape
renvoie
un ID de tâche que vous pouvez suivre via getBatchScrapeStatus
/get_batch_scrape_status
, en utilisant
le point de terminaison API /batch/scrape/{id}
ou des webhooks. Ce point de terminaison est destiné aux
vérifications en cours ou immédiatement après la fin, car les tâches de lot expirent au bout de
24 heures.
Grattage en lot avec extraction structurée
Réponse
batchScrape
/batch_scrape
retourne les résultats complets :
Terminé
startBatchScrape
/start_batch_scrape
retourne un ID de tâche :
Récupération en lot avec webhooks
cURL
Référence rapide
batch_scrape.started
- Lorsque le scraping par lot démarrebatch_scrape.page
- Pour chaque URL extraite avec succèsbatch_scrape.completed
- Lorsque toutes les URL sont traitéesbatch_scrape.failed
- Si le scraping par lot rencontre une erreur
Pour une configuration détaillée des webhooks, les bonnes pratiques de sécurité et
le dépannage, consultez la documentation sur les webhooks.