Scraper plusieurs URL et éventuellement en extraire des informations à l’aide d’un LLM
Points de terminaison de scraping
Scraping par lot
POST
Scraper plusieurs URL et éventuellement en extraire des informations à l’aide d’un LLM
Documentation Index
Fetch the complete documentation index at: https://docs.firecrawl.dev/llms.txt
Use this file to discover all available pages before exploring further.
Remarque : une nouvelle version v2 de cette API est maintenant disponible, avec de meilleures performances et une fiabilité accrue pour le traitement par lots.
Autorisations
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
Corps
application/json
L’URL à explorer
Si des URL non valides sont spécifiées dans le tableau urls, elles seront ignorées. Au lieu de faire échouer l’intégralité de la requête, une opération de scraping par lot sera créée en utilisant les URL valides restantes, et les URL non valides seront renvoyées dans le champ invalidURLs de la réponse.
Nombre maximal de scrapes simultanés. Ce paramètre vous permet de définir une limite de scrapes parallèles pour ce lot. S’il n’est pas spécifié, le lot respecte la limite de scrapes parallèles de votre équipe.
Un objet représentant la spécification d’un webhook.
actions
(Wait · object | Screenshot · object | Click · object | Write text · object | Press a key · object | Scroll · object | Scrape · object | Execute JavaScript · object | Generate PDF · object)[]
Actions à effectuer sur la page avant de récupérer le contenu
- Wait
- Screenshot
- Click
- Write text
- Press a key
- Scroll
- Scrape
- Execute JavaScript
- Generate PDF
Active le blocage des publicités et des bannières de cookies.
Balises à exclure du résultat.
En-têtes à envoyer avec la requête. Peuvent servir à envoyer des cookies, l’en-tête User-Agent, etc.
Balises à inclure dans la sortie.
Objet JSON d’options
Paramètre de localisation de la requête. Lorsqu’il est spécifié, un proxy approprié est utilisé si disponible et la langue ainsi que le fuseau horaire correspondants sont émulés. Par défaut, « US » est utilisé si aucun paramètre n’est spécifié.
Renvoie une version mise en cache de la page si elle a moins que cette ancienneté (en millisecondes). Si une version mise en cache de la page est plus ancienne que cette valeur, la page sera à nouveau scrapée. Si vous n’avez pas besoin de données extrêmement récentes, activer cette option peut accélérer vos opérations de scraping jusqu’à 500 %. La valeur par défaut est 0, ce qui désactive la mise en cache.
Mettez cette option à true si vous souhaitez simuler le scraping depuis un appareil mobile. Utile pour tester les pages responsive et prendre des captures d’écran mobiles.
Renvoyer uniquement le contenu principal de la page, en excluant les en-têtes, éléments de navigation, pieds de page, etc.
Contrôle la façon dont les fichiers PDF sont traités lors du scraping. Lorsque cette option est activée (true), le contenu du PDF est extrait et converti au format markdown, avec une facturation basée sur le nombre de pages (1 crédit par page). Lorsque cette option est désactivée (false), le fichier PDF est renvoyé sous forme de base64 avec un tarif forfaitaire de 1 crédit au total.
Spécifie le type de proxy à utiliser.
- basic�a0: Proxys pour le scraping de sites sans protection anti-bot ou avec des protections basiques. Rapide et généralement fiable.
- enhanced�a0: Proxys avancés pour le scraping de sites avec des solutions anti-bot sophistiquées. Plus lents, mais plus fiables sur certains sites. Coût pouvant aller jusqu’à 5 crédits par requête.
- auto�a0: Firecrawl réessaie automatiquement le scraping avec des proxys enhanced si le proxy basic échoue. Si le nouvel essai avec enhanced réussit, 5 crédits seront facturés pour l’opération de scraping. Si la première tentative avec basic réussit, seul le coût normal sera facturé.
Si vous ne spécifiez pas de proxy, Firecrawl utilisera basic par défaut.
Options disponibles:
basic, enhanced, auto Supprime toutes les images encodées en base64 de la sortie, qui peuvent être extrêmement longues. Le texte alternatif de l’image est conservé dans la sortie, mais l’URL est remplacée par un placeholder.
Ignorer la vérification des certificats TLS lors de l’envoi de requêtes
Si ce paramètre est défini sur true, la page sera stockée dans l’index et le cache de Firecrawl. Le définir sur false est utile si votre activité de scraping peut soulever des enjeux de protection des données. L’utilisation de certains paramètres associés à un scraping sensible (actions, en-têtes) forcera ce paramètre à false.
Délai d'attente de la requête en millisecondes
Spécifiez un délai, en millisecondes, avant de récupérer le contenu, afin de laisser à la page suffisamment de temps pour se charger.
Options de suivi des modifications (bêta). Applicable uniquement lorsque « changeTracking » est inclus dans les formats. Le format « markdown » doit également être spécifié lors de l’utilisation du suivi des modifications.
Formats à inclure dans le résultat.
Options disponibles:
markdown, html, rawHtml, links, screenshot, screenshot@fullPage, json, changeTracking Si cette option est définie sur true, cela activera l’absence totale de conservation des données pour ce lot de scraping. Pour activer cette fonctionnalité, veuillez contacter help@firecrawl.dev
Réponse
Réponse en cas de succès
Si ignoreInvalidURLs est à true, ce champ est un tableau contenant les URL invalides qui ont été spécifiées dans la requête. S’il n’y a aucune URL invalide, ce sera un tableau vide. Si ignoreInvalidURLs est à false, ce champ sera undefined.