一个模型上下文协议(MCP)服务器实现,集成了用于网页抓取的 Firecrawl 能力。我们的 MCP 服务器是开源的,代码托管在 GitHub

功能

  • 网站抓取、爬取与发现
  • 搜索与内容抽取
  • 深度研究与批量抓取
  • 支持云端与自部署
  • 支持 SSE(服务器发送事件)

安装

你可以使用我们的托管远程 URL,或在本地运行服务器。请前往 https://firecrawl.dev/app/api-keys 获取你的 API 密钥。

远程托管 URL

https://mcp.firecrawl.dev/{FIRECRAWL_API_KEY}/v2/sse

使用 npx 运行

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

手动安装

npm install -g firecrawl-mcp
MCP.so 的 Playground 上体验我们的 MCP 服务器,或在 Klavis AI 上试用。

在 Cursor 中运行

将 Firecrawl MCP 服务器添加到 Cursor

手动安装

配置 Cursor 🖥️ 注意:需要 Cursor 版本 0.45.6 及以上 如需获取最新配置说明,请参阅 Cursor 官方关于配置 模型上下文协议(MCP)服务器的文档: Cursor MCP 服务器配置指南 在 Cursor v0.48.6 中配置 Firecrawl MCP
  1. 打开 Cursor 设置
  2. 前往 Features > MCP Servers
  3. 点击 “+ Add new global MCP server”
  4. 输入以下代码:
    {
      "mcpServers": {
        "firecrawl-mcp": {
          "command": "npx",
          "args": ["-y", "firecrawl-mcp"],
          "env": {
            "FIRECRAWL_API_KEY": "YOUR-API-KEY"
          }
        }
      }
    }
    
在 Cursor v0.45.6 中配置 Firecrawl MCP
  1. 打开 Cursor 设置
  2. 前往 Features > MCP Servers
  3. 点击 “+ Add New MCP Server”
  4. 输入以下内容:
    • Name: “firecrawl-mcp”(或你偏好的名称)
    • Type: “command”
    • Command: env FIRECRAWL_API_KEY=your-api-key npx -y firecrawl-mcp
如果你使用的是 Windows 并遇到问题,尝试:cmd /c "set FIRECRAWL_API_KEY=your-api-key && npx -y firecrawl-mcp"
your-api-key 替换为你的 Firecrawl API 密钥。如果你还没有,可以创建账号并从 https://www.firecrawl.dev/app/api-keys 获取。 添加后,刷新 MCP 服务器列表以查看新工具。Composer 代理会在合适的情况下自动使用 Firecrawl MCP,但你也可以通过描述你的网页抓取需求来显式请求。通过 Command+L(Mac)打开 Composer,在提交按钮旁选择 “Agent”,然后输入你的查询。

在 Windsurf 上运行

将以下内容添加到你的 ./codeium/windsurf/model_config.json
{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "你的 API 密钥"
      }
    }
  }
}

使用 SSE 模式运行

要在本地使用服务器发送事件(SSE)运行服务器,而非默认的 stdio 传输方式:
env SSE_LOCAL=true FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
使用以下 URL:http://localhost:3000/v2/ssehttps://mcp.firecrawl.dev/{FIRECRAWL_API_KEY}/v2/sse

通过 Smithery 安装(旧版)

要通过 Smithery 为 Claude Desktop 自动安装 Firecrawl:
npx -y @smithery/cli install @mendableai/mcp-server-firecrawl --client claude

在 VS Code 中运行

如需一键安装,点击下方任一安装按钮… 在 VS Code 中使用 NPX 安装 在 VS Code Insiders 中使用 NPX 安装 如需手动安装,请将以下 JSON 块添加到 VS Code 的用户设置(JSON)文件中。你可以按下 Ctrl + Shift + P,输入 Preferences: Open User Settings (JSON) 即可。
{
  "mcp": {
    "inputs": [
      {
        "type": "promptString",
        "id": "apiKey",
        "description": "Firecrawl API 密钥"
        "password": true
      }
    ],
    "servers": {
      "firecrawl": {
        "command": "npx",
        "args": ["-y", "firecrawl-mcp"],
        "env": {
          "FIRECRAWL_API_KEY": "${input:apiKey}"
        }
      }
    }
  }
}
你也可以选择将其添加到工作区中的 .vscode/mcp.json 文件中,这样就能与他人共享该配置:
{
  "inputs": [
    {
      "type": "promptString",
      "id": "apiKey",
      "description": "Firecrawl API 密钥"
      "password": true
    }
  ],
  "servers": {
    "firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "${input:apiKey}"
      }
    }
  }
}

在 Claude Desktop 上运行

将以下内容添加到 Claude 的配置文件中:
{
  "mcpServers": {
    "firecrawl": {
      "url": "https://mcp.firecrawl.dev/{YOUR_API_KEY}/v2/sse"
    }
  }
}

在 Claude Code 上运行

使用 Claude Code CLI 添加 Firecrawl 模型上下文协议(MCP)服务器:
claude mcp add firecrawl -e FIRECRAWL_API_KEY=your-api-key -- npx -y firecrawl-mcp

配置

环境变量

云端 API 必需

  • FIRECRAWL_API_KEY:你的 Firecrawl API 密钥
    • 使用云端 API(默认)时必需
    • 在使用并配置了 FIRECRAWL_API_URL 的自托管实例时可选
  • FIRECRAWL_API_URL(可选):自托管实例的自定义 API 端点
    • 示例:https://firecrawl.your-domain.com
    • 如未提供,将使用云端 API(需要提供 API 密钥)

可选配置

重试配置
  • FIRECRAWL_RETRY_MAX_ATTEMPTS: 最大重试次数(默认:3)
  • FIRECRAWL_RETRY_INITIAL_DELAY: 首次重试前的初始延迟(单位:毫秒,默认:1000)
  • FIRECRAWL_RETRY_MAX_DELAY: 各次重试之间的最大延迟(单位:毫秒,默认:10000)
  • FIRECRAWL_RETRY_BACKOFF_FACTOR: 指数退避系数(默认:2)
额度使用监控
  • FIRECRAWL_CREDIT_WARNING_THRESHOLD: 额度使用警告阈值(默认值:1000)
  • FIRECRAWL_CREDIT_CRITICAL_THRESHOLD: 额度使用临界阈值(默认值:100)

配置示例

用于云端 API 的自定义重试与额度监控:
# 云端 API 必需
export FIRECRAWL_API_KEY=your-api-key

# 可选的重试配置
export FIRECRAWL_RETRY_MAX_ATTEMPTS=5        # 提高最大重试次数
export FIRECRAWL_RETRY_INITIAL_DELAY=2000    # 初始延迟 2 秒
export FIRECRAWL_RETRY_MAX_DELAY=30000       # 最长延迟 30 秒
export FIRECRAWL_RETRY_BACKOFF_FACTOR=3      # 更激进的退避策略

# 可选的额度监控
export FIRECRAWL_CREDIT_WARNING_THRESHOLD=2000    # 配额 2000 时预警
export FIRECRAWL_CREDIT_CRITICAL_THRESHOLD=500    # 配额 500 时严重警报
自托管实例:
# 自托管必需
export FIRECRAWL_API_URL=https://firecrawl.your-domain.com

# 自托管的可选身份验证
export FIRECRAWL_API_KEY=your-api-key  # 如果你的实例需要身份验证

# 自定义重试配置
export FIRECRAWL_RETRY_MAX_ATTEMPTS=10
export FIRECRAWL_RETRY_INITIAL_DELAY=500     # 以更短的间隔开始重试

在 Claude Desktop 中进行自定义配置

将以下内容添加到你的 claude_desktop_config.json
{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "在此填写你的 API Key",

        "FIRECRAWL_RETRY_MAX_ATTEMPTS": "5",
        "FIRECRAWL_RETRY_INITIAL_DELAY": "2000",
        "FIRECRAWL_RETRY_MAX_DELAY": "30000",
        "FIRECRAWL_RETRY_BACKOFF_FACTOR": "3",

        "FIRECRAWL_CREDIT_WARNING_THRESHOLD": "2000",
        "FIRECRAWL_CREDIT_CRITICAL_THRESHOLD": "500"
      }
    }
  }
}

系统配置

服务器包含多个可通过环境变量设置的参数。若未配置,默认值如下:
const CONFIG = {
  retry: {
    maxAttempts: 3, // 针对因速率限制受限的请求的重试次数
    initialDelay: 1000, // 首次重试前的初始延迟(毫秒)
    maxDelay: 10000, // 各次重试之间的最大延迟(毫秒)
    backoffFactor: 2, // 指数退避的倍率
  },
  credit: {
    warningThreshold: 1000, // 当额度使用达到该阈值时发出警告
    criticalThreshold: 100, // 当额度使用达到该阈值时发出严重告警
  },
};
这些配置用于控制:
  1. 重试行为
    • 因触发速率限制而失败的请求将自动重试
    • 采用指数退避以避免压垮 API
    • 示例:在默认设置下,重试的时间为:
      • 第 1 次重试:延迟 1 秒
      • 第 2 次重试:延迟 2 秒
      • 第 3 次重试:延迟 4 秒(延迟上限为 maxDelay)
  2. 额度使用监控
    • 跟踪云端 API 的额度消耗
    • 在设定阈值处发出警告
    • 帮助避免意外的服务中断
    • 示例:在默认设置下:
      • 剩余 1000 额度时发出警告
      • 剩余 100 额度时发出严重警报

速率限制与批处理

服务器利用 Firecrawl 内置的速率限制与批处理能力:
  • 采用指数退避自动处理速率限制
  • 高效并行处理批量任务
  • 智能请求排队与限流
  • 对瞬时性错误自动重试

可用的工具

1. Scrape 工具(firecrawl_scrape

使用高级选项从单个 URL 提取内容。
{
  "name": "firecrawl_scrape",
  "arguments": {
    "url": "https://example.com",
    "formats": ["markdown"],
    "onlyMainContent": true,
    "waitFor": 1000,
    "timeout": 30000,
    "mobile": false,
    "includeTags": ["article", "main"],
    "excludeTags": ["nav", "footer"],
    "skipTlsVerification": false
  }
}

2. 批量抓取工具 (firecrawl_batch_scrape)

通过内置的速率限制与并行处理,高效抓取多个 URL。
{
  "name": "firecrawl_batch_scrape",
  "arguments": {
    "urls": ["https://example1.com", "https://example2.com"],
    "options": {
      "formats": ["markdown"],
      "onlyMainContent": true
    }
  }
}
响应包含可用于状态检查的操作 ID:
{
  "content": [
    {
      "type": "text",
      "text": "批量操作已排队,ID:batch_1。使用 firecrawl_check_batch_status 查看进度。"
    }
  ],
  "isError": false
}

3. 检查批次状态 (firecrawl_check_batch_status)

检查批次操作的状态。
{
  "name": "firecrawl_check_batch_status",
  "arguments": {
    "id": "batch_1"
  }
}
在网络上搜索,并可选地从搜索结果中提取内容。
{
  "name": "firecrawl_search",
  "arguments": {
    "query": "你的搜索关键词",
    "limit": 5,
    "lang": "en",
    "country": "us",
    "scrapeOptions": {
      "formats": ["markdown"],
      "onlyMainContent": true
    }
  }
}

5. 爬取工具(firecrawl_crawl

使用高级选项启动异步爬取。
{
  "name": "firecrawl_crawl",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 2,
    "limit": 100,
    "allowExternalLinks": false,
    "deduplicateSimilarURLs": true
  }
}

6. 提取工具(firecrawl_extract

利用 LLM 从网页提取结构化信息。支持云端 AI 与自托管 LLM 的提取。
{
  "name": "firecrawl_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"],
    "prompt": "提取包含名称、价格和描述的商品信息",
    "systemPrompt": "你是一名高效的助手,负责提取商品信息",
    "schema": {
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false,
    "enableWebSearch": false,
    "includeSubdomains": false
  }
}
示例响应:
{
  "content": [
    {
      "type": "text",
      "text": {
        "name": "示例商品",
        "price": 99.99,
        "description": "这是该商品的示例描述"
      }
    }
  ],
  "isError": false
}

提取工具选项:

  • urls: 需要提取信息的 URL 数组
  • prompt: 用于 LLM 提取的自定义提示
  • systemPrompt: 用于引导 LLM 的系统提示
  • schema: 用于结构化数据提取的 JSON 架构
  • allowExternalLinks: 允许从外部链接提取
  • enableWebSearch: 启用网页搜索以获取更多上下文
  • includeSubdomains: 在提取中包含子域名
使用自托管实例时,将使用你配置的 LLM 进行提取。对于云 API,则使用 Firecrawl 托管的 LLM 服务。

7. 深度研究工具(firecrawl_deep_research)

针对查询,借助智能爬取、搜索与 LLM 分析开展深度网页研究。
{
  "name": "firecrawl_deep_research",
  "arguments": {
    "query": "碳捕集技术如何运作?",
    "maxDepth": 3,
    "timeLimit": 120,
    "maxUrls": 50
  }
}
Arguments:
  • query (string, required): 研究要探索的问题或主题。
  • maxDepth (number, optional): 抓取/搜索的最大递归深度(默认:3)。
  • timeLimit (number, optional): 本次研究会话的时间上限(单位:秒,默认:120)。
  • maxUrls (number, optional): 待分析的 URL 最大数量(默认:50)。
Returns:
  • 基于研究由 LLM 生成的最终分析。(data.finalAnalysis)
  • 还可能包含研究过程中使用的结构化操作和来源。

8. 生成 LLMs.txt 工具(firecrawl_generate_llmstxt)

为指定域名生成标准化的 llms.txt(可选生成 llms-full.txt)文件。该文件定义大型语言模型应如何与网站交互。
{
  "name": "firecrawl_generate_llmstxt",
  "arguments": {
    "url": "https://example.com",
    "maxUrls": 20,
    "showFullText": true
  }
}
参数:
  • url(string,必填):要分析的网站基础 URL。
  • maxUrls(number,可选):要包含的最大 URL 数量(默认:10)。
  • showFullText(boolean,可选):是否在响应中包含 llms-full.txt 的内容。
返回:
  • 生成的 llms.txt 文件内容,以及可选的 llms-full.txt(data.llmstxt 和/或 data.llmsfulltxt)

日志系统

服务器提供全面的日志记录:
  • 操作状态与进度
  • 性能指标
  • 额度使用监控
  • 速率限制跟踪
  • 错误情况
示例日志消息:
[INFO] Firecrawl MCP 服务器初始化成功
[INFO] 开始抓取 URL:https://example.com
[INFO] 批处理已入队,ID:batch_1
[WARNING] 额度使用已达到警戒阈值
[ERROR] 超出速率限制,2 秒后重试…

错误处理

服务器提供完善的错误处理:
  • 对瞬时错误自动重试
  • 采用退避策略的速率限制处理
  • 详细的错误信息
  • 额度使用警告
  • 网络抗扰性
错误响应示例:
{
  "content": [
    {
      "type": "text",
      "text": "错误:超过速率限制。2 秒后重试……"
    }
  ],
  "isError": true
}

开发

# 安装依赖
npm install

# 构建
npm run build

# 运行测试
npm test

参与贡献

  1. Fork 此仓库
  2. 创建功能分支
  3. 运行测试:npm test
  4. 提交 pull request

致谢贡献者

感谢 @vrknetha@cawstudios 完成初始实现! 感谢 MCP.so 和 Klavis AI 提供托管支持,亦感谢 @gstarwd@xiangkaiz@zihaolin96 集成我们的服务器。

许可

MIT 许可 — 详情请查看 LICENSE 文件