Dify 公式プラグイン: marketplace.dify.ai/plugins/langgenius/firecrawlDify チーム提供の公式プラグイン • 44,000 件以上のインストール • Chatflow & Agent アプリ対応 • 無料で利用可能
Dify 連携の概要
Chatflow & Workflow Apps
Firecrawl ノードでデータ抽出のためのビジュアルパイプラインを構築
Agent Applications
AI エージェントに、必要に応じて最新のウェブデータをスクレイプする機能を付与
Dify における Firecrawl ツール
Scrape
Scrape
任意の URL をクリーンで構造化されたデータに変換。生の HTML を実用的なインサイトに変換します。ユースケース: 製品データの抽出、記事コンテンツのスクレイピング、JSONモードでの構造化データ取得。
Crawl
Crawl
Web サイトやサブドメインを再帰的にクロールして、広範なコンテンツを収集します。ユースケース: サイト全体のコンテンツ抽出、ドキュメントのスクレイピング、複数ページにわたるデータ収集。
Map
Map
Web サイト上のすべての URL の完全なマップを生成します。ユースケース: サイト構造の分析、SEO 監査、バッチスクレイピングのための URL 発見。
Crawl Job
Crawl Job
ジョブ ID に基づいてスクレイピング結果を取得、または進行中のタスクをキャンセルします。ユースケース: 長時間実行のクロールの監視、非同期スクレイピングのワークフロー管理、必要に応じた操作のキャンセル。
はじめに
1
Firecrawl プラグインをインストール
Dify Plugin Marketplace にアクセスし、Firecrawl ツールをインストールします
2
Firecrawl の API キーを取得
Firecrawl API Keys にアクセスして、新しい API キーを作成します
3
Dify で認証
Plugins > Firecrawl > To Authorize に移動し、API キーを入力します
4
ワークフローに追加
Firecrawl ツールを Chatflow、Workflow、または Agent アプリケーションにドラッグ＆ドロップします
5
設定とテスト
パラメーターを設定し、ワークフローをテストします
利用パターン
- Chatflow Apps
- Workflow Apps
- Agent Apps
ビジュアルパイプライン統合
- パイプラインに Firecrawl ノードを追加
- アクションを選択（Map、Crawl、Scrape）
- 入力変数を定義
- パイプラインを順次実行
一般的なユースケース
ライブデータ対応のAIチャットボット
ライブなウェブサイトのコンテンツをスクレイプし参照するRAG搭載チャットボットを構築
コンテンツ分析エージェント
複数ソースをスクレイピング・分析してトピックを調査するエージェント
競合モニタリング
競合サイトを監視し、変更を通知する自動化ワークフロー
データエンリッチメントパイプライン
ウェブサイトからデータを抽出・整備し、構造化データベースに取り込む
Firecrawl アクション
ベストプラクティス
Agent Apps
- スクレイピングの実行タイミングはエージェントに委ねる
- 自然言語で指示を記述する
- LLMの設定でツール呼び出しを有効にする
- 大規模なスクレイプではトークン消費を監視する
Workflow Apps
- 大規模サイトでは Crawl の前に Map を使う
- 適切なクロール上限を設定する
- エラーハンドリング用ノードを追加する
- まずは小規模なデータセットでテストする