Raspando a Wikipédia - Firecrawl Docs

Aprenda a raspar a Wikipédia de forma eficaz para pesquisa, extração de conhecimento e criação de aplicações de IA.

Configuração

npm install firecrawl zod

Casos de uso

Automação de pesquisa e verificação de fatos
Construção de grafos de conhecimento
Extração de conteúdo em vários idiomas
Agregação de conteúdo educacional
Extração de informações sobre entidades

Fazer scraping no modo JSON

Extraia dados estruturados de artigos da Wikipédia usando schemas do Zod.

import { Firecrawl } from 'firecrawl';
import { z } from 'zod';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://en.wikipedia.org/wiki/JavaScript', {
    formats: [{
        type: 'json',
        schema: z.object({
            name: z.string(),
            creator: z.string(),
            firstAppeared: z.string(),
            typingDiscipline: z.string(),
            website: z.string()
        })
    }]
});

console.log(result.json);

Busca

Encontre artigos na Wikipédia.

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

const searchResult = await firecrawl.search('quantum computing site:en.wikipedia.org', {
    limit: 10,
    sources: [{ type: 'web' }], // { type: 'news' }, { type: 'images' }
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(searchResult);

scraping

Faça o scraping de um único artigo da Wikipédia.

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

const result = await firecrawl.scrape('https://en.wikipedia.org/wiki/Artificial_intelligence', {
    formats: ['markdown'], // ex.: html, links, etc.
    onlyMainContent: true
});

console.log(result);

Map

Descubra todas as URLs disponíveis em um portal ou categoria da Wikipédia. Observação: Map retorna apenas URLs, sem conteúdo.

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

const mapResult = await firecrawl.map('https://en.wikipedia.org/wiki/Portal:Computer_science');

console.log(mapResult.links);
// Retorna array de URLs sem conteúdo

Crawl

Rastreie várias páginas de documentação ou categorias na Wikipédia.

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

const crawlResult = await firecrawl.crawl('https://en.wikipedia.org/wiki/Portal:Artificial_intelligence', {
    limit: 10,
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(crawlResult.data);

scraping em Lote

Faça scraping de várias URLs da Wikipédia simultaneamente.

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });

// Aguarda a conclusão
const job = await firecrawl.batchScrape([
    'https://en.wikipedia.org/wiki/Machine_learning',
    'https://en.wikipedia.org/wiki/Artificial_intelligence',
    'https://en.wikipedia.org/wiki/Deep_learning'],
    {
        options: {
            formats: ['markdown']
        },
        pollInterval: 2,
        timeout: 120
    }
);


console.log(job.status, job.completed, job.total);

console.log(job);

​Configuração

​Casos de uso

​Fazer scraping no modo JSON

​Busca

​scraping

​Map

​Crawl

​scraping em Lote