メインコンテンツへスキップ
Etsyは、ユニークでクリエイティブな商品のグローバルマーケットプレイスです。このガイドでは、Firecrawlを使って商品リスト、ショップ情報、レビュー、トレンド商品を抽出する方法を紹介します。

セットアップ

npm install @mendable/firecrawl-js zod

概要

Etsy をスクレイピングする際は、通常、次のような処理を行います:
  • 商品リストとバリエーションの抽出
  • ショップ情報と評価の取得
  • トレンドのアイテムやカテゴリの監視
  • 価格や売上データの追跡
  • カスタマーレビューの抽出

JSONモードでスクレイピング

Zodスキーマを使って、構造化されたリスティングデータを抽出します。
import FirecrawlApp from '@mendable/firecrawl-js';
import { z } from 'zod';

// Zodスキーマを定義
const ListingSchema = z.object({
    title: z.string(),
    price: z.string(),
    shopName: z.string(),
    rating: z.number()
});

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set', {
    formats: [{
        type: 'json',
        schema: z.toJSONSchema(ListingSchema)
    }],
});

// Zodでパースして検証
const jsonData = typeof result.json === 'string' ? JSON.parse(result.json) : result.json;
const validated = ListingSchema.parse(jsonData);

console.log('✅ 検証済みリスティングデータ:');
console.log(validated);
Etsyマーケットプレイスで商品を検索します。
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const searchResult = await firecrawl.search('handmade jewelry site:etsy.com', {
    limit: 10,
    sources: [{ type: 'web' }], // { type: 'news' }, { type: 'images' }
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(searchResult);

スクレイプ

単一の Etsy 商品リスティングをスクレイピングします。
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set', {
    formats: ['markdown'], // 例: html, links など
    onlyMainContent: true
});

console.log(result);

Map

Etsyのショップまたはカテゴリ内の利用可能なすべてのURLを発見します。注意: MapはコンテンツではなくURLのみを返します。
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const mapResult = await firecrawl.map('https://www.etsy.com/shop/YourShopName');

console.log(mapResult.links);
// コンテンツなしでURLの配列を返す

クロール

Etsyのショップまたはカテゴリーから複数のページをクロールします。
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

const crawlResult = await firecrawl.crawl('https://www.etsy.com/c/jewelry', {
    limit: 10,
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(crawlResult.data);

バッチスクレイプ

複数のEtsy商品リスティングのURLを同時にスクレイピングします。
import FirecrawlApp from '@mendable/firecrawl-js';

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

// 完了を待つ
const job = await firecrawl.batchScrape([
    'https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set',
    'https://www.etsy.com/market/handmade_jewelry',
    'https://www.etsy.com/market/jewelry_handmade'],
    {
        options: {
            formats: ['markdown']
        },
        pollInterval: 2,
        timeout: 120
    }
);


console.log(job.status, job.completed, job.total);

console.log(job);