Dify 公式プラグイン: marketplace.dify.ai/plugins/langgenius/firecrawlDify チーム提供の公式プラグイン • 44,000 件以上のインストール • Chatflow & Agent アプリ対応 • 無料で利用可能
Dify 連携の概要
Chatflow & Workflow Apps
Firecrawl ノードでデータ抽出のためのビジュアルパイプラインを構築
Agent Applications
AI エージェントに、必要に応じて最新のウェブデータをスクレイプする機能を付与
Dify における Firecrawl ツール
Scrape
Scrape
任意の URL をクリーンで構造化されたデータに変換。生の HTML を実用的なインサイトに変換します。ユースケース: 製品データの抽出、記事コンテンツのスクレイピング、JSONモードでの構造化データ取得。
Crawl
Crawl
Web サイトやサブドメインを再帰的にクロールして、広範なコンテンツを収集します。ユースケース: サイト全体のコンテンツ抽出、ドキュメントのスクレイピング、複数ページにわたるデータ収集。
Map
Map
Web サイト上のすべての URL の完全なマップを生成します。ユースケース: サイト構造の分析、SEO 監査、バッチスクレイピングのための URL 発見。
Crawl Job
Crawl Job
ジョブ ID に基づいてスクレイピング結果を取得、または進行中のタスクをキャンセルします。ユースケース: 長時間実行のクロールの監視、非同期スクレイピングのワークフロー管理、必要に応じた操作のキャンセル。
はじめに
1
Firecrawl プラグインをインストール
Dify Plugin Marketplace にアクセスし、Firecrawl ツールをインストールします
2
Firecrawl の API キーを取得
Firecrawl API Keys にアクセスして、新しい API キーを作成します
3
Dify で認証
Plugins > Firecrawl > To Authorize に移動し、API キーを入力します
4
ワークフローに追加
Firecrawl ツールを Chatflow、Workflow、または Agent アプリケーションにドラッグ＆ドロップします
5
設定とテスト
パラメーターを設定し、ワークフローをテストします
利用パターン
- Chatflow Apps
- Workflow Apps
- Agent Apps
ビジュアルパイプライン統合
- パイプラインに Firecrawl ノードを追加
- アクションを選択（Map、Crawl、Scrape）
- 入力変数を定義
- パイプラインを順次実行
一般的なユースケース
ライブデータ対応のAIチャットボット
ライブなウェブサイトのコンテンツをスクレイプし参照するRAG搭載チャットボットを構築
コンテンツ分析エージェント
複数ソースをスクレイピング・分析してトピックを調査するエージェント
競合モニタリング
競合サイトを監視し、変更を通知する自動化ワークフロー
データエンリッチメントパイプライン
ウェブサイトからデータを抽出・整備し、構造化データベースに取り込む
Firecrawl アクション
| ツール | 説明 | 最適な用途 |
|---|---|---|
| Scrape | 単一ページのデータ抽出 | コンテンツの素早い取得 |
| Crawl | 複数ページの再帰的クロール | サイト全体の抽出 |
| Map | URL の発見とサイトマップ化 | SEO 分析、URL リスト作成 |
| Crawl Job | 非同期ジョブ管理 | 長時間実行タスク |
ベストプラクティス
Agent Apps
- スクレイピングの実行タイミングはエージェントに委ねる
- 自然言語で指示を記述する
- LLMの設定でツール呼び出しを有効にする
- 大規模なスクレイプではトークン消費を監視する
Workflow Apps
- 大規模サイトでは Crawl の前に Map を使う
- 適切なクロール上限を設定する
- エラーハンドリング用ノードを追加する
- まずは小規模なデータセットでテストする
Dify と他プラットフォームの比較
| 機能 | Dify | Make | Zapier | n8n |
|---|---|---|---|---|
| タイプ | LLMアプリプラットフォーム | ワークフロー自動化 | ワークフロー自動化 | ワークフロー自動化 |
| 最適 | AIエージェントとチャットボット | ビジュアルワークフロー | 手早い自動化 | 開発者主導の制御 |
| 料金 | オープンソース + クラウド | オペレーション数ベース | タスク単位 | 月額固定 |
| AIネイティブ | あり | 部分的 | 部分的 | 部分的 |
| セルフホスト | 可 | 不可 | 不可 | 可 |
プロのコツ: Dify は、エージェントが動的なウェブアクセスを必要とする AIネイティブアプリの構築に最適です。ライブデータを扱うチャットボット、リサーチアシスタント、AIツールにぴったりです。