Scrape
功能
功能 是一个单页文档,集中列出了 scrape 能对页面执行哪些操作、其中哪些功能可在 self-hosted 部署中运行,以及哪些 端点 允许无 API 密钥的 request。交互
对于浏览器交互 (点击、输入、导航、提取动态内容) ,请使用交互端点。先抓取页面,然后调用POST /v2/scrape/{scrapeId}/interact,并使用自然语言提示或 Playwright 代码在页面上执行操作。
完整详情和示例,请参见交互文档。
你也可以选择使用 actions 参数,但不建议将其用于复杂交互。
你是需要 Firecrawl API 密钥的 AI 代理吗?请参见 firecrawl.dev/agent-onboarding/SKILL.md 获取自动化引导说明。
授权
请求体
在抓取页面内容之前需要执行的页面 actions
- Wait by Duration
- Wait for Element
- Screenshot
- Click
- Write text
- Press a key
- Scroll
- Scrape
- Execute JavaScript
- Generate PDF
要在响应中包含的输出 formats。你可以指定一个或多个 formats,既可以使用字符串 (例如,'markdown'),也可以使用带有其他选项的对象 (例如,{ type: 'json', schema: {...} })。某些 formats 需要配置特定选项。示例:['markdown', { type: 'json', schema: {...} }]。
- Markdown
- Summary
- HTML
- Raw HTML
- Raw Base64
- Links
- Images
- Attributes
- Screenshot
- JSON
- Change Tracking
- Branding
- Product
- Audio
- Video
- Question
- Highlights
仅返回页面主体内容,不包括页眉、导航栏、页脚等。这是在生成 markdown 之前应用的确定性 HTML 层级过滤;不涉及 LLM。
用于控制在抓取过程中如何处理文件。每个元素可以是解析器名称("pdf" 或 "image"),也可以是解析器对象。两个解析器均默认启用。
- pdf:会提取 PDF 内容并转换为 Markdown 格式,计费基于页数(每页 1 点数)。
- image:将栅格图像(PNG、JPEG、JPEG 2000、TIFF、GIF、BMP、WebP、AVIF)作为单页文档进行 OCR 识别,并转换为 markdown。不支持 SVG 和 HEIC。
如果传入列表,则未列出的解析器会被禁用。例如,["pdf"] 会禁用图像 OCR,因此图像 URL 会因文件类型不受支持而处理失败。当传入空数组时,会以 base64 编码返回整个 PDF 文件,并对整份 PDF 按单一费率收取 1 点数。
使用默认选项的解析器对象的简写形式。"pdf" 等同于 { "type": "pdf" }。
pdf, image 此请求的威胁防护按请求覆盖配置。你提供的字段仅会替换此次请求中你所在组织策略的对应字段;未提供的字段则保留组织级配置值。你的团队必须已启用威胁防护(企业版功能),否则该请求会因 403 被拒绝。如果你的组织已禁用请求级覆盖,任何包含此对象的请求都会因 403 被拒绝。如果你的团队强制启用了威胁防护,则不得将 mode 设为 off。
如果为 true,则本次抓取将不保留任何数据。要启用此功能,请联系 help@firecrawl.dev
执行一个或多个已收录的提供商工具,而非抓取 URL。不能与 url, formats, 或其他抓取选项一起使用 (400); 唯一允许的同级字段为 timeout, origin, 和 integration。使用 x-request-id 请求标头作为客户端指定的幂等键 (长度为 1 至 128 个字符,可包含字母、数字、., _, :, -) — 该值会原样返回,使用相同键的已完成请求会重放其原始响应和 scrape_id,而不会重新执行。要免费浏览目录并查看工具契约,请调用 Find Tools: 将 provider 设为 firecrawl, 将 capability 设为 find-tools, 并将 options 设为 FindToolsOptions 对象。结果中的 data 是一个 FindToolsData 页面。
- object
- object[]

