メインコンテンツへスキップ
Amazonは最もスクレイピング対象となるECサイトの一つです。このガイドでは、Firecrawlの強力な機能を使って、商品データ、価格、レビュー、検索結果を効果的に抽出する方法を解説します。

​
セットアップ

npm install @mendable/firecrawl-js zod

​
概要

Amazonをスクレイピングする際は、通常次のようなことを行います:
  • 商品情報（タイトル、価格、在庫状況）の抽出
  • カスタマーレビューと評価の取得
  • 価格の変動監視
  • プログラムによる商品検索
  • 競合出品のトラッキング

​
JSONモードでスクレイピング

Zodスキーマを使って構造化された商品データを抽出します。 
import FirecrawlApp from '@mendable/firecrawl-js';
import { z } from 'zod';

// Zodスキーマを定義
const ProductSchema = z.object({
    title: z.string(),
    price: z.string(),
    rating: z.number(),
    availability: z.string(),
    features: z.array(z.string())
});

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://www.amazon.com/dp/B0DZZWMB2L', {
    formats: [{
        type: 'json',
        schema: z.toJSONSchema(ProductSchema)
    }],
});

// Zodでパースして検証
const jsonData = typeof result.json === 'string' ? JSON.parse(result.json) : result.json;
const validated = ProductSchema.parse(jsonData);

console.log('✅ 検証済み商品データ:');
console.log(validated);
Amazonで商品を探します。 
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const searchResult = await firecrawl.search('gaming laptop site:amazon.com', {
    limit: 10,
    sources: [{ type: 'web' }], // { type: 'news' }, { type: 'images' }
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(searchResult);

​
Scrape

Amazon の商品ページを1件スクレイピングします。 
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://www.amazon.com/ASUS-ROG-Strix-Gaming-Laptop/dp/B0DZZWMB2L', {
    formats: ['markdown'], // 例: html, links など
    onlyMainContent: true
});

console.log(result);

​
Map

Amazon の商品ページやカテゴリーページ上の利用可能な URL をすべて発見します。注: Map は URL のみを返し、コンテンツは含みません。 
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const mapResult = await firecrawl.map('https://www.amazon.com/Best-Sellers-Electronics/zgbs/electronics');

console.log(mapResult.links);
// コンテンツを含まないURL配列を返す

​
クローラー

Amazonのカテゴリや検索結果から複数ページをクロールします。 
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const crawlResult = await firecrawl.crawl('https://www.amazon.com/s?k=mechanical+keyboards', {
    limit: 10,
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(crawlResult.data);

​
バッチスクレイプ

複数の Amazon 商品URLを同時にスクレイプします。 
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

// 完了を待つ
const job = await firecrawl.batchScrape([
    'https://www.amazon.com/ASUS-ROG-Strix-Gaming-Laptop/dp/B0DZZWMB2L',
    'https://www.amazon.com/Razer-Blade-Gaming-Laptop-Lightweight/dp/B0FP47DNFQ',
    'https://www.amazon.com/HP-2025-Omen-Gaming-Laptop/dp/B0FL4RMGSH'],
    {
        options: {
            formats: ['markdown']
        },
        pollInterval: 2,
        timeout: 120
    }
);


console.log(job.status, job.completed, job.total);

console.log(job);