Guide de scraping avancé

# pip install firecrawl-py

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")

doc = firecrawl.scrape("https://firecrawl.dev")

print(doc.markdown)

• Type: array
• Chaînes: ["markdown", "links", "html", "rawHtml", "summary", "images"]
• Formats d’objet:
  • JSON : { type: "json", prompt, schema }
  • Capture d’écran : { type: "screenshot", fullPage?, quality?, viewport? }
  • Suivi des modifications : { type: "changeTracking", modes?, prompt?, schema?, tag? } (nécessite markdown)
• Par défaut: ["markdown"]

• Type: boolean
• Description: Par défaut, le scraper renvoie uniquement le contenu principal. Définissez sur false pour renvoyer l’intégralité du contenu de la page.
• Par défaut: true

• Type: array
• Description: Balises/classes/ID HTML à inclure dans le scraping.

• Type: array
• Description: Balises/classes/IDs HTML à exclure de l’extraction.

• Type : integer
• Description : Nombre de millisecondes d’attente supplémentaire avant le scraping (à utiliser avec parcimonie). Ce délai s’ajoute à la fonctionnalité d’attente intelligente de Firecrawl.
• Valeur par défaut : 0

• Type: integer (millisecondes)
• Description: Si une version en cache de la page est plus récente que maxAge, Firecrawl la renvoie immédiatement ; sinon, il procède à une nouvelle extraction et met à jour le cache. Définissez 0 pour toujours récupérer une version fraîche.
• Par défaut: 172800000 (2 jours)

• Type: integer
• Description: Durée maximale en millisecondes avant l’interruption.
• Valeur par défaut: 30000 (30 secondes)

• Type: array
• Description: Contrôle le comportement d’analyse. Pour traiter des PDF, définissez parsers: ["pdf"].
• Coût : L’analyse de PDF coûte 1 crédit par page PDF. Pour ignorer l’analyse de PDF et recevoir le fichier en base64 (1 crédit forfaitaire), définissez parsers: [].
• Limiter le nombre de pages : Pour limiter l’analyse de PDF à un nombre spécifique de pages, utilisez parsers: [{"type": "pdf", "maxPages": 10}].

• Type : array
• Description : Séquence d’étapes du navigateur à exécuter avant le scraping.
• Actions prises en charge :
  • wait - Attendre le chargement de la page : { type: "wait", milliseconds: number } ou { type: "wait", selector: string }
  • click - Cliquer sur un élément : { type: "click", selector: string, all?: boolean }
  • write - Saisir du texte dans un champ : { type: "write", text: string } (l’élément doit d’abord avoir le focus via un clic)
  • press - Appuyer sur une touche du clavier : { type: "press", key: string }
  • scroll - Faire défiler la page : { type: "scroll", direction: "up" | "down", selector?: string }
  • screenshot - Prendre une capture d’écran : { type: "screenshot", fullPage?: boolean, quality?: number, viewport?: { width: number, height: number } }
  • scrape - Extraire un sous-élément : { type: "scrape" }
  • executeJavascript - Exécuter du code JS : { type: "executeJavascript", script: string }
  • pdf - Générer un PDF : { type: "pdf", format?: string, landscape?: boolean, scale?: number }

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key='fc-YOUR-API-KEY')

doc = firecrawl.scrape('https://example.com', {
  'actions': [
    { 'type': 'wait', 'milliseconds': 1000 },
    { 'type': 'click', 'selector': '#accept' },
    { 'type': 'scroll', 'direction': 'down' },
    { 'type': 'click', 'selector': '#q' },
    { 'type': 'write', 'text': 'firecrawl' },
    { 'type': 'press', 'key': 'Enter' },
    { 'type': 'wait', 'milliseconds': 2000 }
  ],
  'formats': ['markdown']
})

print(doc.markdown)

• Action write : vous devez d’abord mettre l’élément au focus en utilisant une action click avant d’utiliser write. Le texte est saisi caractère par caractère pour simuler une saisie au clavier.
• Sélecteur pour scroll : si vous voulez faire défiler un élément spécifique plutôt que la page entière, fournissez le paramètre selector à scroll.
• Attente avec sélecteur : vous pouvez attendre qu’un élément spécifique soit visible en utilisant wait avec un paramètre selector, ou attendre une durée fixe en utilisant milliseconds.
• Les actions sont séquentielles : les actions sont exécutées dans l’ordre et Firecrawl attend que les interactions avec la page soient terminées avant de passer à l’action suivante.
• Les actions ne sont pas prises en charge pour les PDF : les actions nécessitent un moteur de navigateur et ne peuvent pas être utilisées sur des URL qui renvoient du contenu PDF (y compris les URL qui redirigent vers des PDF). Si vous incluez des actions dans votre requête et que l’URL aboutit à un PDF, la requête échouera. Retirez les actions de votre requête lorsque vous scrapez des PDF.

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "click", "selector": "#load-more" },
      { "type": "wait", "milliseconds": 1000 },
      { "type": "screenshot", "fullPage": true, "quality": 80 }
    ]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "click", "selector": ".expand-button", "all": true },
      { "type": "wait", "milliseconds": 500 }
    ],
    "formats": ["markdown"]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "pdf", "format": "A4", "landscape": false }
    ]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
    -H '
    Content-Type: application/json' \
    -H 'Authorization: Bearer fc-VOTRE-CLÉ D’API' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "formats": [
        "markdown",
        "links",
        "html",
        "rawHtml",
        { "type": "screenshot", "fullPage": true, "quality": 80 }
      ],
      "includeTags": ["h1", "p", "a", ".main-content"],
      "excludeTags": ["#ad", "#footer"],
      "onlyMainContent": false,
      "waitFor": 1000,
      "timeout": 15000,
      "parsers": ["pdf"]
    }'

• Renvoyer le contenu complet de la page en Markdown.
• Inclure le Markdown, le HTML brut, le HTML, les liens et une capture d’écran dans la réponse.
• Inclure uniquement les balises HTML <h1>, <p>, <a> et les éléments avec la classe .main-content, tout en excluant les éléments avec les ID #ad et #footer.
• Attendre 1000 millisecondes (1 seconde) avant d’extraire afin de laisser la page se charger.
• Définir la durée maximale de la requête d’extraction à 15000 millisecondes (15 secondes).
• Analyser explicitement les PDF via parsers: ["pdf"].

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://firecrawl.dev",
    "formats": [{
      "type": "json",
      "prompt": "Extract the features of the product",
      "schema": {"type": "object", "properties": {"features": {"type": "object"}}, "required": ["features"]}
    }]
  }'

import Firecrawl from '@mendable/firecrawl-js';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR-API-KEY' });

// Démarrer un job d'extraction
const started = await firecrawl.startExtract({
  urls: ['https://docs.firecrawl.dev'],
  prompt: 'Extraire le titre',
  schema: { type: 'object', properties: { title: { type: 'string' } }, required: ['title'] }
});

// Interroger le statut
const status = await firecrawl.getExtractStatus(started.id);
console.log(status.status, status.data);

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-VOTRE-CLE-API' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

{ "id": "1234-5678-9101" }

curl -X GET https://api.firecrawl.dev/v2/crawl/1234-5678-9101 \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY'

curl -X POST https://api.firecrawl.dev/v2/crawl/params-preview \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "prompt": "Extraire la doc et le blog"
  }'

• Type: array
• Description: Motifs regex à inclure. Par défaut, ceux-ci correspondent uniquement au pathname de l’URL (et non aux paramètres de requête). Pour faire correspondre l’URL complète, y compris les chaînes de requête, utilisez regexOnFullURL: true.
• Example: ["^/blog/.*$", "^/docs/.*$"]

• Type: array
• Description: Expressions régulières à exclure. Par défaut, ces motifs sont appliqués uniquement au pathname de l’URL (et non aux paramètres de requête). Pour faire correspondre l’URL complète, y compris la chaîne de requête, utilisez regexOnFullURL: true.
• Example: ["^/admin/.*$", "^/private/.*$"]

• Type: boolean
• Description: Lorsque la valeur est true, les modèles includePaths et excludePaths sont appliqués à l’URL complète (y compris les paramètres de requête) plutôt qu’au seul chemin (pathname). Utile pour filtrer les URL en fonction de leur chaîne de requête.
• Default: false

• Type: integer
• Description: Profondeur maximale d’exploration pour découvrir de nouvelles URL.

• Type: integer
• Description: Nombre maximal de pages à explorer.
• Default: 10000

• Type: boolean
• Description: Explorer via les pages sœurs/parentes pour couvrir l’ensemble du domaine.
• Default: false

• Type: boolean
• Description: Suivre les liens vers des domaines externes.
• Default: false

• Type: boolean
• Description: Autoriser le suivi des sous-domaines du domaine principal.
• Default: false

• Type: number
• Description: Délai en secondes entre les opérations de scraping.
• Default: undefined

​

sitemap

• Type: string
• Enum: "skip", "include", "only"
• Description: Contrôle la manière dont le crawler utilise le sitemap du site web. "include" (valeur par défaut) utilise le sitemap en complément de la découverte de liens. "skip" ignore complètement le sitemap. "only" limite le crawling aux URL trouvées dans le sitemap (plus l’URL de départ).
• Valeur par défaut: "include"

• Type: boolean
• Description: Lorsque la valeur est true, le crawler traite comme des doublons les variantes d’URL qui pointent vers la même page : par exemple, www. vs non-www., http vs https, les slashes de fin, ainsi que les suffixes index.html/index.php sont tous normalisés avant la vérification des doublons. Cela ne supprime pas les paramètres de requête (voir ignoreQueryParameters pour cela).
• Valeur par défaut: true

• Type: boolean
• Description: Lorsqu’il vaut true, les chaînes de requête sont supprimées des URL avant la déduplication, ainsi /page?a=1 et /page?a=2 sont considérées comme la même URL et ne sont explorées qu’une seule fois.
• Default: false

• Type: object
• Description: Options du scraper (voir Formats ci-dessus).
• Example: { "formats": ["markdown", "links", {"type": "screenshot", "fullPage": true}], "includeTags": ["h1", "p", "a", ".main-content"], "excludeTags": ["#ad", "#footer"], "onlyMainContent": false, "waitFor": 1000, "timeout": 15000}
• Defaults: formats: ["markdown"], mise en cache activée par défaut (maxAge ~ 2 jours)

​

Exemple d’usage

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-VOTRE-CLÉ D’API' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "includePaths": ["^/blog/.*$", "^/docs/.*$"],
      "excludePaths": ["^/admin/.*$", "^/private/.*$"],
      "maxDiscoveryDepth": 2,
      "limit": 1000
    }'

curl -X POST https://api.firecrawl.dev/v2/map \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-VOTRE-CLÉ D’API' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

• Type: string
• Description: Filtre les liens contenant un texte donné.

• Type: integer
• Description: Nombre maximal de liens à renvoyer.
• Default: 100

• Type: "only" | "include" | "skip"
• Description: Contrôle l’utilisation du sitemap lors du mappage.
• Default: "include"

• Type: boolean
• Description: Inclure les sous-domaines du site.
• Default: true

• User Agent : Firecrawl s’identifie avec l’User-Agent FirecrawlAgent. Autorisez cette valeur d’User-Agent dans votre pare-feu ou vos règles de sécurité.
• Adresses IP : Firecrawl n’utilise pas un ensemble fixe d’adresses IP pour les requêtes de scraping sortantes.