メインコンテンツへスキップ
Elixirアプリケーションから、単一ページのスクレイピング、サイト全体のクロール、URLのマッピングを行えます。SDKは実行時に NimbleOptions ですべてのパラメータを検証し、HTTP には Req を使用しているため、リクエストが送信される前に、タイプミスや無効なオプションを明確なエラーとして確認できます。 すべての関数には、{:error, ...} タプルを返す代わりに、エラー時に例外を発生させる bang (!) 版があります.

インストール

mix.exs の依存関係に firecrawl を追加し、APIキーを設定します。
Elixir
または、リクエストごとにAPIキーを渡すこともできます。
Elixir

使い方

  1. firecrawl.dev でAPIキーを取得します
  2. アプリケーションの設定にAPIキーを設定するか、任意の関数にオプションとして渡します。
Elixir

URL のスクレイピング

scrape_and_extract_from_url を使用して、単一の URL をスクレイピングします。ページのコンテンツは、Markdown、メタデータ、その他リクエストしたフォーマットを含む構造化データとして返されます。
Elixir

Web サイトをクロールする

Web サイトをクロールするには、crawl_urls を使用します。開始 URL と、ページ数の上限、許可ドメイン、出力形式などの任意のパラメータを指定できます。
Elixir

クロールを開始する

クロールジョブを開始し、完了を待たずにジョブIDを取得します。
Elixir

クロールのステータスを確認する

get_crawl_status を使って、クロールジョブのステータスを確認します。
Elixir

クロールのキャンセル

cancel_crawl でクロールジョブをキャンセルできます。
Elixir

Web サイトをマッピングする

map_urls を使用して、Web サイトから URL のリストを生成します。
Elixir
ウェブを検索し、必要に応じて結果をスクレイピングします:
Elixir

バッチスクレイプ

1つのバッチジョブで複数のURLをスクレイピングします:
Elixir

Agent

エージェントによるデータ抽出タスクを開始します:
Elixir

ブラウザ

クラウド上のブラウザセッションを起動し、リモートでコードを実行します。

セッションを作成

Elixir

コードの実行

Elixir

プロファイル

セッションをまたいでブラウザの状態 (Cookie、localStorage など) を保存し、再利用します:
Elixir

セッションの一覧表示と終了

Elixir

セルフホスト型インスタンス

セルフホスト型の Firecrawl インスタンスを使用するには、base_url オプションを指定します:
Elixir

エラーハンドリング

bang なしの関数は {:ok, response} または {:error, exception} を返します。bang バリアントは、エラー時に例外を送出します。NimbleOptions はリクエスト送信前にすべてのパラメータを検証するため、タイプミス、必須フィールドの不足、型エラーを即座に検出できます。
Elixir

利用可能な関数一覧

上記のすべての関数には、エラータプルを返す代わりに例外を発生させるbang (!) 付きのバリアント (例: scrape_and_extract_from_url!) があります。 API の完全なドキュメントは、hexdocs.pm/firecrawl を参照してください。