# pip install firecrawl-py
from firecrawl import Firecrawl
firecrawl = Firecrawl(api_key="YOUR_API_KEY")
# まずは basic プロキシで試す
try:
content = firecrawl.scrape("https://example.com")
# エラーのステータスコードかを確認
status_code = content.get("metadata", {}).get("statusCode")
if status_code in [401, 403, 500]:
print(f"ステータスコード {status_code} を受け取りました。stealth プロキシで再試行します")
# stealth プロキシで再試行
content = firecrawl.scrape("https://example.com", proxy="stealth")
print(content["markdown"])
except Exception as e:
print(f"エラー: {e}")
# 例外発生時は stealth プロキシで再試行
try:
content = firecrawl.scrape("https://example.com", proxy="stealth")
print(content["markdown"])
except Exception as e:
print(f"stealth プロキシでも失敗しました: {e}")