Firecrawl と AI SDK で作る AI リサーチアシスタント

import FirecrawlApp from "@mendable/firecrawl-js";
import { tool } from "ai";
import { z } from "zod";

const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });

export const scrapeWebsiteTool = tool({
  description: '任意のウェブサイトURLからコンテンツをスクレイピング',
  inputSchema: z.object({
    url: z.string().url().describe('スクレイピング対象のURL')
  }),
  execute: async ({ url }) => {
    console.log('スクレイピング中:', url);
    const result = await firecrawl.scrape(url, {
      formats: ['markdown'],
      onlyMainContent: true,
      timeout: 30000
    });
    console.log('スクレイピング済みコンテンツのプレビュー:', result.markdown?.slice(0, 200) + '...');
    return { content: result.markdown };
  }
});

export const searchWebTool = tool({
  description: 'Firecrawlを使用してウェブを検索',
  inputSchema: z.object({
    query: z.string().describe('検索クエリ'),
    limit: z.number().optional().describe('結果件数'),
    location: z.string().optional().describe('ローカライズ結果の地域'),
    tbs: z.string().optional().describe('時間フィルター (qdr:h, qdr:d, qdr:w, qdr:m, qdr:y)'),
    sources: z.array(z.enum(['web', 'news', 'images'])).optional().describe('結果タイプ'),
    categories: z.array(z.enum(['github', 'research', 'pdf'])).optional().describe('フィルターカテゴリー'),
  }),
  execute: async ({ query, limit, location, tbs, sources, categories }) => {
    console.log('検索中:', query);
    const response = await firecrawl.search(query, {
      ...(limit && { limit }),
      ...(location && { location }),
      ...(tbs && { tbs }),
      ...(sources && { sources }),
      ...(categories && { categories }),
    }) as { web?: Array<{ title?: string; url?: string; description?: string }> };

    const results = (response.web || []).map((item) => ({
      title: item.title || item.url || '無題',
      url: item.url || '',
      description: item.description || '',
    }));

    console.log('検索結果:', results.length);
    return { results };
  },
});