A forma mais simples de ir de uma única URL para um mapa de todo o site. Isso é extremamente útil para:
- Quando você precisa pedir ao usuário final que escolha quais links devem ser coletados
- Quando você precisa saber rapidamente quais links existem em um site
- Quando você precisa coletar páginas de um site relacionadas a um tópico específico (use o parâmetro
search)
- Quando você só precisa coletar páginas específicas de um site
Usado para mapear uma URL e obter as URLs do site. Retorna a maioria dos links presentes no site.
# pip install firecrawl-py
from firecrawl import Firecrawl
firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")
from firecrawl import Firecrawl
firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")
res = firecrawl.map(url="https://firecrawl.dev", limit=50, sitemap="include")
print(res)
{
"success": true,
"links": [
{
"url": "https://docs.firecrawl.dev/features/scrape",
"title": "Scrape | Firecrawl",
"description": "Turn any url into clean data"
},
{
"url": "https://www.firecrawl.dev/blog/5_easy_ways_to_access_glm_4_5",
"title": "5 Easy Ways to Access GLM-4.5",
"description": "Discover how to access GLM-4.5 models locally, through chat applications, via the official API, and using the LLM marketplaces API for seamless integration i..."
},
{
"url": "https://www.firecrawl.dev/playground",
"title": "Playground - Firecrawl",
"description": "Preview the API response and get the code snippets for the API"
},
{
"url": "https://www.firecrawl.dev/?testId=2a7e0542-077b-4eff-bec7-0130395570d6",
"title": "Firecrawl - The Web Data API for AI",
"description": "The web crawling, scraping, and search API for AI. Built for scale. Firecrawl delivers the entire internet to AI agents and builders. Clean, structured, and ..."
},
{
"url": "https://www.firecrawl.dev/?testId=af391f07-ca0e-40d3-8ff2-b1ecf2e3fcde",
"title": "Firecrawl - The Web Data API for AI",
"description": "The web crawling, scraping, and search API for AI. Built for scale. Firecrawl delivers the entire internet to AI agents and builders. Clean, structured, and ..."
},
...
]
}
Título e descrição nem sempre estão presentes, pois depende do site.
search no Map permite procurar URLs específicas dentro de um site.
curl -X POST https://api.firecrawl.dev/v2/map \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer SUA_CHAVE_DE_API' \
-d '{
"url": "https://firecrawl.dev",
"search": "docs"
}'
{
"status": "sucesso",
"links": [
{
"url": "https://docs.firecrawl.dev",
"title": "Docs do Firecrawl",
"description": "Documentação do Firecrawl",
},
{
"url": "https://docs.firecrawl.dev/sdks/python",
"title": "SDK do Firecrawl para Python",
"description": "Documentação do SDK do Firecrawl para Python"
},
...
]
}
location no corpo da requisição com as seguintes propriedades:
country: código de país ISO 3166-1 alfa-2 (por exemplo, ‘US’, ‘AU’, ‘DE’, ‘JP’). Padrão: ‘US’.languages: um array de idiomas e localidades preferenciais para a requisição, em ordem de prioridade. Padrão: o idioma da localização especificada.
from firecrawl import Firecrawl
firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")
res = firecrawl.map('https://example.com',
location={
'country': 'US',
'languages': ['en']
}
)
print(res)
