CrawlForge
DescubrimientoRápido2 credits

map_site

Descubra y analice rápidamente la estructura de un sitio web usando sitemaps, robots.txt y descubrimiento inteligente de URL. Ideal para auditorías SEO y para comprender la arquitectura del sitio.

Casos de uso

Auditorías SEO

Analice la estructura del sitio, los patrones de URL y la calidad del sitemap para optimizar el SEO

Planificación de la arquitectura del sitio

Comprenda cómo organiza el contenido la competencia antes de crear su propio sitio

Inventario de contenido

Descubra rápidamente todas las páginas de un sitio sin rastrear cada una

Validación de sitemap

Verifique que sitemap.xml esté completo y con el formato correcto

Planificación de migraciones

Mapee la estructura del sitio antiguo antes de migrar a una nueva plataforma

Análisis competitivo

Comprenda la estructura del sitio y la organización del contenido de la competencia

Endpoint

POST/api/v1/tools/map_site
Auth Required
2 req/s en el plan Free
2 credits

Parameters

NameTypeRequiredDefaultDescription
url
stringRequired-
URL base a mapear (sitemap.xml se detectará automáticamente)
Example: https://example.com
includeSitemap
booleanOptionaltrue
Analizar sitemap.xml si se encuentra
Example: true
maxUrls
numberOptional1000
Cantidad máxima de URL a descubrir (100-10000)
Example: 5000
groupByPath
booleanOptionaltrue
Agrupar las URL por estructura de ruta
Example: true
includeMetadata
booleanOptionalfalse
Incluir lastmod, priority y changefreq del sitemap
Example: true
excludePatterns
string[]Optional-
Omitir las URL que coincidan con estos patrones regex
Example: ["/admin/.*", ".*\\.(pdf|zip)$"]

Ejemplos de solicitud

terminalBash

Ejemplo de respuesta

200 OK3,450ms
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "totalUrls": 1247,
    "sitemapFound": true,
    "sitemapUrls": [
      "https://example.com/sitemap.xml",
      "https://example.com/sitemap-posts.xml"
    ],
    "groups": {
      "/": [
        {
          "url": "https://example.com",
          "priority": 1,
          "lastmod": "2025-09-15"
        }
      ],
      "/blog": [
        {
          "url": "https://example.com/blog/post-1",
          "priority": 0.8,
          "lastmod": "2025-09-28"
        },
        {
          "url": "https://example.com/blog/post-2",
          "priority": 0.8,
          "lastmod": "2025-09-27"
        }
      ],
      "/products": [
        {
          "url": "https://example.com/products/item-1",
          "priority": 0.9,
          "lastmod": "2025-09-20"
        },
        {
          "url": "https://example.com/products/item-2",
          "priority": 0.9,
          "lastmod": "2025-09-19"
        }
      ]
    },
    "statistics": {
      "totalGroups": 15,
      "avgUrlsPerGroup": 83,
      "largestGroup": "/blog",
      "largestGroupSize": 420,
      "sitemapCoverage": 0.95
    },
    "metadata": {
      "robotsTxtFound": true,
      "sitemapIndexFound": true,
      "totalSitemaps": 3,
      "oldestUpdate": "2024-01-15",
      "newestUpdate": "2025-09-28"
    }
  },
  "credits_used": 2,
  "credits_remaining": 998,
  "processing_time": 3450
}
Field Descriptions
data.totalUrlsTotal de URL únicas descubiertas
data.sitemapFoundSi se descubrió sitemap.xml
data.groupsURL organizadas por estructura de ruta
data.statistics.sitemapCoveragePorcentaje de URL del sitemap frente a las descubiertas
data.metadataInformación adicional del sitio
credits_used2 credits fijos por mapeo de sitio
processing_timeSuele tardar entre 2 y 5 segundos en la mayoría de los sitios

Manejo de errores

No se encontró sitemap (200 OK con advertencia)

El sitio no tiene sitemap.xml. La herramienta intentará métodos alternativos de descubrimiento.

Formato de sitemap no válido (400 Bad Request)

Existe sitemap.xml pero está mal formado o es XML no válido. Revise la sintaxis del sitemap.

Límite de URL superado (200 OK con truncamiento)

El sitio tiene más URL que el límite de maxUrls. Los resultados se truncaron. Aumente el límite si es necesario.

Sitio inaccesible (500 Internal Server Error)

No se puede conectar con el sitio. Compruebe que la URL sea correcta y que el sitio esté accesible.

Consejo profesional: map_site es 10 veces más rápido que crawl_deep para descubrir sitios, ya que usa sitemaps en lugar de rastrear. Use map_site primero para obtener las URL y luego batch_scrape para extraer el contenido de páginas específicas.

Costo en credits

2 credits
2 credits por sitio
Costo fijo sin importar el tamaño del sitio ni la cantidad de URL descubiertas. Mucho más económico que rastrear.

Comparación de costos:

map_site (1000 URL): 2 credits

crawl_deep (1000 páginas): 1,000 credits

Ahorro: 99.8% menos credits con map_site

Recomendaciones por plan:

Plan Free: 1,000 credits de prueba por única vez = 500 sitios mapeados

Plan Hobby: 5,000 credits = 2,500 sitios mapeados ($19/mo)

Plan Professional: 50,000 credits = 25,000 sitios mapeados ($99/mo)

Herramientas relacionadas

crawl_deep
Rastreo completo del sitio para sitios sin sitemaps (1 credit por página)
batch_scrape
Haga scraping de las URL descubiertas en paralelo (1 credit por URL)
extract_links
Extraiga enlaces de páginas específicas (1 credit)
analyze_content
Analice la calidad SEO de las páginas descubiertas (3 credits)
¿Listo para probar map_site? Regístrese gratis y obtenga 1,000 credits para empezar a crear.