Guía avanzada de scraping

# pip install firecrawl-py

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")

doc = firecrawl.scrape("https://firecrawl.dev")

print(doc.markdown)

• Tipo: array
• Cadenas: ["markdown", "links", "html", "rawHtml", "summary", "images"]
• Formatos de objeto:
  • JSON: { type: "json", prompt, schema }
  • Captura de pantalla: { type: "screenshot", fullPage?, quality?, viewport? }
  • Seguimiento de cambios: { type: "changeTracking", modes?, prompt?, schema?, tag? } (requiere markdown)
• Valor predeterminado: ["markdown"]

• Tipo: boolean
• Descripción: De forma predeterminada, el scraper devuelve solo el contenido principal. Configúralo en false para devolver el contenido completo de la página.
• Predeterminado: true

• Tipo: array
• Descripción: Etiquetas, clases o IDs de HTML que se incluirán en el scraping.

• Tipo: array
• Descripción: Etiquetas/clases/ids HTML que se excluirán del scraping.

• Tipo: integer
• Descripción: Milisegundos de espera adicional antes de realizar el scraping (usar con moderación). Este tiempo de espera se suma a la función de espera inteligente de Firecrawl.
• Valor predeterminado: 0

• Tipo: integer (milisegundos)
• Descripción: Si existe una versión en caché de la página más reciente que maxAge, Firecrawl la devuelve al instante; de lo contrario, vuelve a extraerla y actualiza la caché. Establece 0 para forzar siempre una obtención en vivo.
• Predeterminado: 172800000 (2 días)

• Tipo: integer
• Descripción: Duración máxima, en milisegundos, antes de cancelar.
• Valor predeterminado: 30000 (30 segundos)

• Tipo: array
• Descripción: Controla el comportamiento del análisis. Para analizar PDFs, establece parsers: ["pdf"].
• Costo: El análisis de PDF cuesta 1 crédito por página de PDF. Para omitir el análisis de PDF y recibir el archivo como base64 (por una tarifa plana de 1 crédito), establece parsers: [].
• Limitar páginas: Para limitar el análisis de PDF a un número específico de páginas, usa parsers: [{"type": "pdf", "maxPages": 10}].

• Tipo: array
• Descripción: Secuencia de pasos del navegador que se ejecutan antes del scraping.
• Acciones compatibles:
  • wait - Esperar a que la página cargue: { type: "wait", milliseconds: number } o { type: "wait", selector: string }
  • click - Hacer clic en un elemento: { type: "click", selector: string, all?: boolean }
  • write - Escribir texto en un campo: { type: "write", text: string } (el elemento debe estar enfocado primero con un clic)
  • press - Pulsar una tecla del teclado: { type: "press", key: string }
  • scroll - Desplazar la página: { type: "scroll", direction: "up" | "down", selector?: string }
  • screenshot - Tomar una captura de pantalla: { type: "screenshot", fullPage?: boolean, quality?: number, viewport?: { width: number, height: number } }
  • scrape - Extraer un subelemento: { type: "scrape" }
  • executeJavascript - Ejecutar código JS: { type: "executeJavascript", script: string }
  • pdf - Generar un PDF: { type: "pdf", format?: string, landscape?: boolean, scale?: number }

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key='fc-YOUR-API-KEY')

doc = firecrawl.scrape('https://example.com', {
  'actions': [
    { 'type': 'wait', 'milliseconds': 1000 },
    { 'type': 'click', 'selector': '#accept' },
    { 'type': 'scroll', 'direction': 'down' },
    { 'type': 'click', 'selector': '#q' },
    { 'type': 'write', 'text': 'firecrawl' },
    { 'type': 'press', 'key': 'Enter' },
    { 'type': 'wait', 'milliseconds': 2000 }
  ],
  'formats': ['markdown']
})

print(doc.markdown)

• Acción de escritura: Primero debes enfocar el elemento usando una acción de click antes de usar write. El texto se escribe carácter por carácter para simular la entrada por teclado.
• Selector de scroll: Si quieres desplazar un elemento específico en lugar de toda la página, pasa el parámetro selector a scroll.
• Espera con selector: Puedes esperar a que un elemento específico sea visible usando wait con un parámetro selector, o esperar un tiempo fijo usando milliseconds.
• Las acciones son secuenciales: Las acciones se ejecutan en orden y Firecrawl espera a que se completen las interacciones con la página antes de pasar a la siguiente acción.
• Las acciones no son compatibles con PDFs: Las acciones requieren un motor de navegador y no se pueden usar en URLs que devuelven contenido PDF (incluyendo URLs que redirigen a PDFs). Si incluyes actions en tu petición y la URL resuelve en un PDF, la petición fallará. Elimina actions de tu petición cuando hagas scraping de PDFs.

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "click", "selector": "#load-more" },
      { "type": "wait", "milliseconds": 1000 },
      { "type": "screenshot", "fullPage": true, "quality": 80 }
    ]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "click", "selector": ".expand-button", "all": true },
      { "type": "wait", "milliseconds": 500 }
    ],
    "formats": ["markdown"]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://example.com",
    "actions": [
      { "type": "pdf", "format": "A4", "landscape": false }
    ]
  }'

curl -X POST https://api.firecrawl.dev/v2/scrape \
    -H '
    Content-Type: application/json' \
    -H 'Authorization: Bearer fc-TU-API-KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "formats": [
        "markdown",
        "links",
        "html",
        "rawHtml",
        { "type": "screenshot", "fullPage": true, "quality": 80 }
      ],
      "includeTags": ["h1", "p", "a", ".main-content"],
      "excludeTags": ["#ad", "#footer"],
      "onlyMainContent": false,
      "waitFor": 1000,
      "timeout": 15000,
      "parsers": ["pdf"]
    }'

• Devuelve el contenido completo de la página en markdown.
• Incluye el markdown, el HTML sin procesar, el HTML, los enlaces y una captura de pantalla en la respuesta.
• Incluye solo las etiquetas HTML <h1>, <p>, <a> y los elementos con la clase .main-content, excluyendo cualquier elemento con los IDs #ad y #footer.
• Espera 1000 milisegundos (1 segundo) antes de realizar el scraping para permitir que la página cargue.
• Establece la duración máxima de la solicitud de scraping en 15000 milisegundos (15 segundos).
• Analiza PDF explícitamente mediante parsers: ["pdf"].

curl -X POST https://api.firecrawl.dev/v2/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://firecrawl.dev",
    "formats": [{
      "type": "json",
      "prompt": "Extract the features of the product",
      "schema": {"type": "object", "properties": {"features": {"type": "object"}}, "required": ["features"]}
    }]
  }'

import Firecrawl from '@mendable/firecrawl-js';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR-API-KEY' });

// Inicia un trabajo de extracción
const started = await firecrawl.startExtract({
  urls: ['https://docs.firecrawl.dev'],
  prompt: 'Extraer título',
  schema: { type: 'object', properties: { title: { type: 'string' } }, required: ['title'] }
});

// Consulta el estado
const status = await firecrawl.getExtractStatus(started.id);
console.log(status.status, status.data);

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-TU-CLAVE-DE-API' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

{ "id": "1234-5678-9101" }

curl -X GET https://api.firecrawl.dev/v2/crawl/1234-5678-9101 \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY'

curl -X POST https://api.firecrawl.dev/v2/crawl/params-preview \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer fc-YOUR-API-KEY' \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "prompt": "Extrae la documentación y el blog"
  }'

• Tipo: array
• Descripción: Patrones de expresiones regulares a incluir. De forma predeterminada, se comparan solo con el pathname de la URL (no con los parámetros de consulta). Para hacer coincidir con la URL completa, incluidas las query strings, usa regexOnFullURL: true.
• Ejemplo: ["^/blog/.*$", "^/docs/.*$"]

• Tipo: array
• Descripción: Patrones de expresiones regulares para excluir. De forma predeterminada, se comparan únicamente con el pathname de la URL (no con los parámetros de consulta). Para hacer coincidir contra la URL completa, incluidas las query strings, usa regexOnFullURL: true.
• Ejemplo: ["^/admin/.*$", "^/private/.*$"]

• Type: boolean
• Description: Cuando es true, los patrones de includePaths y excludePaths se evalúan contra la URL completa (incluidos los parámetros de consulta) en lugar de solo el pathname. Útil para filtrar URLs por parámetros de consulta.
• Default: false

• Tipo: integer
• Descripción: Profundidad máxima de descubrimiento para encontrar nuevas URLs.

• Tipo: integer
• Descripción: Número máximo de páginas a rastrear.
• Valor predeterminado: 10000

• Type: boolean
• Description: Explorar a través de páginas hermanas y superiores para cubrir todo el dominio.
• Default: false

• Tipo: boolean
• Descripción: Seguir enlaces a dominios externos.
• Valor predeterminado: false

• Tipo: boolean
• Descripción: Seguir los subdominios del dominio principal.
• Valor predeterminado: false

• Tipo: number
• Descripción: Retraso en segundos entre scrapes.
• Predeterminado: undefined

​

sitemap

• Type: string
• Enum: "skip", "include", "only"
• Description: Controla cómo el rastreador usa el sitemap del sitio web. "include" (predeterminado) usa el sitemap junto con el descubrimiento de enlaces. "skip" ignora el sitemap por completo. "only" restringe el rastreo a las URL encontradas en el sitemap (más la URL inicial).
• Default: "include"

• Tipo: boolean
• Descripción: Cuando es true, el rastreador trata como duplicadas las variantes de URL que apuntan a la misma página; por ejemplo, www. frente a no-www., http frente a https, barras finales y sufijos index.html/index.php se normalizan antes de comprobar si hay duplicados. Esto no elimina los parámetros de consulta de la URL (para eso, usa ignoreQueryParameters).
• Valor predeterminado: true

• Type: boolean
• Description: Cuando es true, las cadenas de consulta se eliminan de las URL antes de la deduplicación, por lo que /page?a=1 y /page?a=2 se consideran la misma URL y solo se rastrean una vez.
• Default: false

• Tipo: object
• Descripción: Opciones para el scraper (consulta los formatos arriba).
• Ejemplo: { "formats": ["markdown", "links", {"type": "screenshot", "fullPage": true}], "includeTags": ["h1", "p", "a", ".main-content"], "excludeTags": ["#ad", "#footer"], "onlyMainContent": false, "waitFor": 1000, "timeout": 15000}
• Valores predeterminados: formats: ["markdown"], caché habilitada de forma predeterminada (maxAge ~ 2 días)

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-TU-API-KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "includePaths": ["^/blog/.*$", "^/docs/.*$"],
      "excludePaths": ["^/admin/.*$", "^/private/.*$"],
      "maxDiscoveryDepth": 2,
      "limit": 1000
    }'

curl -X POST https://api.firecrawl.dev/v2/map \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer fc-TU-API-KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

• Tipo: string
• Descripción: Filtra enlaces que contengan el texto.

• Tipo: integer
• Descripción: Número máximo de enlaces a retornar.
• Valor por defecto: 100

• Tipo: "only" | "include" | "skip"
• Descripción: Controla el uso del sitemap durante el mapeo.
• Predeterminado: "include"

• Tipo: boolean
• Descripción: Incluye los subdominios del sitio web.
• Valor predeterminado: true

• User Agent: Firecrawl se identifica con el user agent FirecrawlAgent. Permite esta cadena de user agent en tu firewall o en tus reglas de seguridad.
• Direcciones IP: Firecrawl no utiliza un conjunto fijo de direcciones IP para las solicitudes de rastreo salientes.