CrawlForge
发现快速2 credits

map_site

利用站点地图、robots.txt 和智能 URL 发现快速了解并分析网站结构。非常适合 SEO 审计和理解站点架构。

使用场景

SEO 审计

分析站点结构、URL 模式和站点地图质量，以进行 SEO 优化

站点架构规划

在构建自己的站点之前，了解竞争对手如何组织内容

内容盘点

无需逐一爬取即可快速发现站点上的所有页面

站点地图验证

验证 sitemap.xml 是否完整且格式正确

迁移规划

在迁移到新平台之前映射旧站点结构

竞品分析

了解竞争对手的站点结构和内容组织方式

Endpoint

POST/api/v1/tools/map_site
Auth Required
Free 计划 2 req/s
2 credits

Parameters

NameTypeRequiredDefaultDescription
url
stringRequired-
要映射的基础 URL（会自动发现 sitemap.xml）
Example: https://example.com
includeSitemap
booleanOptionaltrue
如果找到则解析 sitemap.xml
Example: true
maxUrls
numberOptional1000
最多发现的 URL 数量（100-10000）
Example: 5000
groupByPath
booleanOptionaltrue
按路径结构对 URL 进行分组
Example: true
includeMetadata
booleanOptionalfalse
包含站点地图中的 lastmod、priority 和 changefreq
Example: true
excludePatterns
string[]Optional-
跳过匹配这些正则表达式的 URL
Example: ["/admin/.*", ".*\\.(pdf|zip)$"]

请求示例

terminalBash

响应示例

200 OK3,450ms
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "totalUrls": 1247,
    "sitemapFound": true,
    "sitemapUrls": [
      "https://example.com/sitemap.xml",
      "https://example.com/sitemap-posts.xml"
    ],
    "groups": {
      "/": [
        {
          "url": "https://example.com",
          "priority": 1,
          "lastmod": "2025-09-15"
        }
      ],
      "/blog": [
        {
          "url": "https://example.com/blog/post-1",
          "priority": 0.8,
          "lastmod": "2025-09-28"
        },
        {
          "url": "https://example.com/blog/post-2",
          "priority": 0.8,
          "lastmod": "2025-09-27"
        }
      ],
      "/products": [
        {
          "url": "https://example.com/products/item-1",
          "priority": 0.9,
          "lastmod": "2025-09-20"
        },
        {
          "url": "https://example.com/products/item-2",
          "priority": 0.9,
          "lastmod": "2025-09-19"
        }
      ]
    },
    "statistics": {
      "totalGroups": 15,
      "avgUrlsPerGroup": 83,
      "largestGroup": "/blog",
      "largestGroupSize": 420,
      "sitemapCoverage": 0.95
    },
    "metadata": {
      "robotsTxtFound": true,
      "sitemapIndexFound": true,
      "totalSitemaps": 3,
      "oldestUpdate": "2024-01-15",
      "newestUpdate": "2025-09-28"
    }
  },
  "credits_used": 2,
  "credits_remaining": 998,
  "processing_time": 3450
}
Field Descriptions
data.totalUrls发现的唯一 URL 总数
data.sitemapFound是否发现了 sitemap.xml
data.groups按路径结构组织的 URL
data.statistics.sitemapCoverage来自站点地图的 URL 与发现的 URL 的占比
data.metadata站点的附加信息
credits_used每次站点映射固定 2 credits
processing_time对于大多数站点通常为 2-5 秒

错误处理

未找到站点地图（200 OK 并附带警告）

站点没有 sitemap.xml。该工具将尝试其他发现方法。

无效的站点地图格式（400 Bad Request）

sitemap.xml 存在但格式错误或为无效的 XML。请检查站点地图语法。

超出最大 URL 数（200 OK 并截断）

站点的 URL 数量超过 maxUrls 限制。结果已被截断。如有需要请提高限制。

站点无法访问（500 Internal Server Error）

无法连接到该站点。请检查 URL 是否正确以及站点是否可访问。

专业提示： 在站点发现方面，map_site 比 crawl_deep 快 10 倍，因为它使用站点地图而非爬取。先用 map_site 获取 URL，然后用 batch_scrape 从特定页面提取内容。

credits 费用

2 credits
每个站点 2 credits
无论站点规模或发现的 URL 数量如何，费用固定。比爬取更具成本效益。

成本对比：

map_site（1000 个 URL）： 2 credits

crawl_deep（1000 个页面）： 1,000 credits

节省： 使用 map_site 可减少 99.8% 的 credits

计划推荐：

Free 计划： 1,000 个一次性试用 credits = 映射 500 个站点

Hobby 计划： 5,000 credits = 映射 2,500 个站点（$19/mo）

Professional 计划： 50,000 credits = 映射 25,000 个站点（$99/mo）

相关工具

crawl_deep
针对没有站点地图的站点进行完整爬取（每页 1 credit）
batch_scrape
并行抓取已发现的 URL（每个 URL 1 credit）
extract_links
从特定页面提取链接（1 credit）
analyze_content
分析已发现页面的 SEO 质量（3 credits）
准备好试用 map_site 了吗？免费注册并获得 1,000 credits 开始构建。