メインコンテンツへスキップ

前提条件

セットアップ

pip install flask firecrawl-py
.env に API キーを追加します。
FIRECRAWL_API_KEY=fc-YOUR-API-KEY

アプリを作成

app.py を作成します:
import os
from flask import Flask, request, jsonify
from firecrawl import Firecrawl

app = Flask(__name__)
firecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])


@app.post("/search")
def search():
    data = request.get_json()
    results = firecrawl.search(data["query"], limit=data.get("limit", 5))
    return jsonify([{"title": r.title, "url": r.url} for r in results.web])


@app.post("/scrape")
def scrape():
    data = request.get_json()
    result = firecrawl.scrape(data["url"])
    return jsonify(markdown=result.markdown, metadata=result.metadata)


@app.post("/interact/start")
def interact_start():
    data = request.get_json()
    result = firecrawl.scrape(data["url"], formats=["markdown"])
    return jsonify(scrape_id=result.metadata.scrape_id)


@app.post("/interact")
def interact():
    data = request.get_json()
    response = firecrawl.interact(data["scrape_id"], prompt=data["prompt"])
    return jsonify(output=response.output)


@app.post("/interact/stop")
def interact_stop():
    data = request.get_json()
    firecrawl.stop_interaction(data["scrape_id"])
    return jsonify(status="stopped")


if __name__ == "__main__":
    app.run(debug=True)

実行してみる

flask run

試してみる

# ウェブを検索する
curl -X POST http://localhost:5000/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping", "limit": 5}'

# ページをスクレイピングする
curl -X POST http://localhost:5000/scrape \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

# インタラクティブセッションを開始する
curl -X POST http://localhost:5000/interact/start \
  -H "Content-Type: application/json" \
  -d '{"url": "https://www.amazon.com"}'

次のステップ

スクレイピングのドキュメント

フォーマット、アクション、プロキシなど、すべてのスクレイピングのオプション

検索ドキュメント

Web を検索してページ全体のコンテンツを取得

Interact ドキュメント

クリックやフォーム入力で動的コンテンツを抽出

Python SDK リファレンス

crawl、map、async などを含む SDK リファレンス