Langflow のワークフローでウェブデータを同期する
Firecrawl バンドルのインストール
Firecrawl ブロックはlfx-firecrawl バンドルで提供されていますが、このバンドルは Langflow のデフォルトのインストールには含まれていません。Langflow と同じ環境にインストールしてから、Langflow を再起動してください。
Data として返します。各パラメータの詳細については、Langflow Firecrawl バンドルのドキュメントを参照してください。
Firecrawl ブロックでのスクレイピング
- Firecrawl アカウントにログインして API キーを取得し、ブロックに入力するか、ワークフローの別の箇所から渡します。
- 単一ページを取得するには、Firecrawl Scrape API ブロックを追加します。
- スクレイピング対象の URL を入力するか、ワークフローの別の箇所から渡します。
- 取得したい Web サイトやデータに応じて、出力フォーマットやメインコンテンツのみを返すかどうかなどのスクレイピングのオプションを設定します。これらはワークフローの別の箇所から渡すこともできます。
- (任意) ページから構造化 JSON を取得するには、抽出オプション を設定します。
- データをワークフローで活用します。
クローリング、マッピング、検索
- Firecrawl Crawl API は、指定した URL とそのサブページをクロールします。上限やパスは Crawler Options で、ページごとの設定は スクレイピングのオプション で指定します。
- Firecrawl Map API は、1 つ以上のサイトの URL 一覧を返します。
- Firecrawl Search API は、クエリに基づいてウェブを検索します。任意で、結果の件数上限 (Limit) とロケーション (Location) を指定できます。