跳转到主要内容

在 Flowise 工作流中同步网页数据

Firecrawl 可以在 Flowise(Chatflow 构建器) 中使用。本文介绍如何在 Flowise 中配置并使用 Firecrawl 模块。 Firecrawl Flowise 模块

使用 Firecrawl 封禁进行爬取

  1. 登录你的 Firecrawl 账户获取 API 密钥,然后将其作为 FireCrawl API 凭据添加到该封禁中。
  2. (可选) 连接文本分割器。
  3. 将 Type 设置为 Crawl,以抓取目标 URL 下的页面。
  4. 输入要爬取的目标 URL。使用 Limit、Include Paths 和 Exclude Paths 控制爬取规模。
  5. 在你的工作流中使用生成的文档。

使用 Firecrawl 封禁进行抓取

  1. 登录您的 Firecrawl 账户并获取 API 密钥,然后将其作为 FireCrawl API 凭据添加到封禁中。
  2. (可选) 连接文本分割器。
  3. 将 Type 设置为 Scrape 以抓取单个页面。
  4. 输入要抓取的目标 URL。
  5. 在您的工作流中使用生成的文档。

使用 Firecrawl 封禁进行搜索和提取

将 Type 设置为 Search,可将 Query 的网络搜索结果转换为文档;设置为 Extract,则可根据 Schema 和 Prompt 从 URL 返回结构化数据。