跳转到主要内容

前提条件

  • 拥有 Lambda 访问权限的 AWS 账户
  • 一个 Firecrawl API 密钥——免费获取

配置

进行网页搜索

创建包含搜索处理程序的 index.mjs

抓取页面

向同一个处理程序中添加一个 scrape action:

与页面交互

添加一个 interact 操作,以控制实时浏览器会话——点击按钮、填写表单并提取动态内容:

部署

使用 AWS CLI 进行打包和部署:
将 Lambda 的超时时间设置为至少 30 秒。抓取动态页面和交互会话所需的时间可能会超过默认的 3 秒超时时间。

后续步骤

搜索文档

进行网页搜索并获取完整页面内容

抓取文档

所有抓取选项,包括 formats、actions 和代理

交互文档

点击、填写表单并提取动态内容

Node SDK 参考

完整的 SDK 参考,涵盖爬取、map、批量抓取等