Saltar al contenido principal
POST
/
crawl
Rastrear varias URL en función de opciones
curl --request POST \
  --url https://api.firecrawl.dev/v1/crawl \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "url": "<string>",
  "allowBackwardLinks": false,
  "allowExternalLinks": false,
  "allowSubdomains": false,
  "crawlEntireDomain": false,
  "delay": 123,
  "excludePaths": [
    "<string>"
  ],
  "ignoreQueryParameters": false,
  "ignoreSitemap": false,
  "includePaths": [
    "<string>"
  ],
  "limit": 10000,
  "maxConcurrency": 123,
  "maxDepth": 10,
  "maxDiscoveryDepth": 123,
  "regexOnFullURL": false,
  "scrapeOptions": {
    "actions": [
      {
        "milliseconds": 2,
        "selector": "#my-element"
      }
    ],
    "blockAds": true,
    "excludeTags": [
      "<string>"
    ],
    "headers": {},
    "includeTags": [
      "<string>"
    ],
    "jsonOptions": {
      "prompt": "<string>",
      "schema": {},
      "systemPrompt": "<string>"
    },
    "location": {
      "country": "US",
      "languages": [
        "en-US"
      ]
    },
    "maxAge": 0,
    "mobile": false,
    "onlyMainContent": true,
    "parsePDF": true,
    "removeBase64Images": true,
    "skipTlsVerification": false,
    "storeInCache": true,
    "timeout": 30000,
    "waitFor": 0,
    "changeTrackingOptions": {
      "modes": [],
      "prompt": "<string>",
      "schema": {},
      "tag": null
    },
    "formats": [
      "markdown"
    ]
  },
  "zeroDataRetention": false
}
'
{
  "id": "<string>",
  "success": true,
  "url": "<string>"
}

Documentation Index

Fetch the complete documentation index at: https://docs.firecrawl.dev/llms.txt

Use this file to discover all available pages before exploring further.

Nota: Una nueva versión v2 de esta API ya está disponible con funciones y rendimiento mejorados.

Autorizaciones

​
Authorization
string
header
requerido

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

Cuerpo

application/json
​
url
string<uri>
requerido

La URL base desde la que se iniciará el rastreo

​
allowBackwardLinks
boolean
predeterminado:false
obsoleto

⚠️ EN DESUSO: Usa 'crawlEntireDomain' en su lugar. Permite que el rastreador siga enlaces internos a URL hermanas o superiores, no solo a rutas hijas.

​
allowExternalLinks
boolean
predeterminado:false

Permite que el rastreador siga enlaces a sitios web externos.

​
allowSubdomains
boolean
predeterminado:false

Permite que el rastreador siga enlaces a subdominios del dominio principal.

​
crawlEntireDomain
boolean
predeterminado:false

Permite que el rastreador siga enlaces internos a URLs del mismo nivel o superiores, no solo rutas hijas.

false: Solo rastrea URLs más profundas (hijas). → p. ej. /features/feature-1 → /features/feature-1/tips ✅ → No seguirá /pricing ni / ❌

true: Rastrea cualquier enlace interno, incluyendo del mismo nivel y superiores. → p. ej. /features/feature-1 → /pricing, /, etc. ✅

Usa true para lograr una cobertura interna más amplia, más allá de rutas anidadas.

​
delay
number

Pausa en segundos entre scrapes. Esto ayuda a respetar los límites de tasa del sitio web.

​
excludePaths
string[]

Patrones de expresiones regulares para el pathname de la URL que excluyen del rastreo las URL que coincidan. Por ejemplo, si configuras "excludePaths": ["blog/.*"] para la URL base firecrawl.dev, se excluirán todos los resultados que coincidan con ese patrón, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap.

​
ignoreQueryParameters
boolean
predeterminado:false

No vuelvas a hacer scraping de la misma ruta con distintos parámetros de consulta (o sin parámetros)

​
ignoreSitemap
boolean
predeterminado:false

Ignorar el sitemap del sitio web durante el rastreo

​
includePaths
string[]

Patrones regex de rutas de URL que determinan qué URLs se incluyen en el rastreo. Solo las rutas que coincidan con los patrones especificados se incluirán en la respuesta. Por ejemplo, si configuras "includePaths": ["blog/.*"] para la URL base firecrawl.dev, solo se incluirán los resultados que coincidan con ese patrón, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap.

​
limit
integer
predeterminado:10000

Número máximo de páginas a rastrear. El límite por defecto es 10.000.

​
maxConcurrency
integer

Número máximo de scrapes concurrentes. Este parámetro te permite establecer un límite de concurrencia para este rastreo. Si no se especifica, el rastreo se ajusta al límite de concurrencia de tu equipo.

​
maxDepth
integer
predeterminado:10

Profundidad absoluta máxima de rastreo desde la base de la URL introducida. Básicamente, es el número máximo de barras diagonales (/) que puede contener el pathname de una URL rastreada.

​
maxDiscoveryDepth
integer

Profundidad máxima de rastreo basada en el orden de descubrimiento. El sitio raíz y las páginas del mapa del sitio tienen una profundidad de descubrimiento de 0. Por ejemplo, si la configuras en 1 y habilitas ignoreSitemap, solo se rastreará la URL ingresada y todas las URL que estén enlazadas en esa página.

​
regexOnFullURL
boolean
predeterminado:false

Cuando es true, los patrones regex de includePaths y excludePaths se comparan con la URL completa (incluidos los parámetros de consulta), en lugar de solo con la ruta (pathname) de la URL. Es útil cuando necesitas filtrar URLs en función de las cadenas de consulta (query strings).

​
scrapeOptions
object
​
webhook
object

Un objeto de especificación de un webhook.

​
zeroDataRetention
boolean
predeterminado:false

Si se establece en true, no se conservarán datos de este rastreo. Para activar esta función, ponte en contacto con help@firecrawl.dev.

Respuesta

Respuesta exitosa

​
id
string
​
success
boolean
​
url
string<uri>