网站诊断工具 - 怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b815d740ffac.html
📄
网站诊断工具 - 怎样判断采集是否遗漏
判断采集是否遗漏，不能只看抓取总量，而要把“网站诊断工具给出的抓取记录”与“站内已有的全部可访问URL”做对照。如果工具抓到的URL集合小于站内实际可访问集合，差值就是遗漏候选。接下来要确认这些差值是否本应被抓取，再决定是内容问题、链接问题还是配置问题。
先明确对照的两份清单
一份来自网站诊断工具的抓取结果，例如已抓取URL列表、抓取状态码、抓取时间。另一份来自站内可访问URL总表，可以从以下来源汇总：
- 站内链接遍历结果：从首页出发，沿可点击链接逐层展开。
- XML站点地图中列出的URL。
- 服务端访问日志中返回200状态码的路径。
- 内容管理系统里已发布且允许访问的页面清单。
两份清单的口径必须一致：都只统计可返回正常内容的页面，排除参数页、重复页、登录后页面和已删除页面。口径不一致时，差值会把正常排除项误判成遗漏。
用差集定位遗漏候选
把站内可访问URL总表减去工具已抓取URL列表，得到差集。差集中的每一项都要单独判断：
- 该URL是否返回200状态码且内容可访问。
- 该URL是否被robots.txt禁止抓取。
- 该URL是否设置了noindex或canonical指向其他页面。
- 该URL是否至少有一个站内可点击链接指向它。
- 该URL是否出现在XML站点地图中。
如果前两项都正常，后三项中任意一项缺失，就属于“本应被抓取但未被抓取”的遗漏。如果该URL本身被robots.txt禁止或设置了noindex，则不属于遗漏，而是主动排除。
区分三类常见遗漏原因
链接结构问题。页面存在但没有站内链接指向，只能通过站点地图或外部链接发现。检查方法：在站内搜索该URL路径，看是否有其他页面链接到它。判断结果：无任何站内入链，说明抓取路径缺失。
抓取预算分配问题。工具抓取总量有限时，会优先抓取重要页面。检查方法：对比已抓取URL的层级深度和更新频率。判断结果：如果遗漏页面全部位于深层目录且长期未更新，可能是抓取优先级被降低，而不是页面本身有问题。
技术拦截问题。服务端对诊断工具返回403、429或超时。检查方法：在访问日志中筛选诊断工具的用户代理，查看对应状态码。判断结果：若日志中该用户代理的请求大量返回非200，说明是服务端拦截或限流，需要调整规则后重新抓取。
可执行的验证步骤
以假设站点为例：站内可访问URL共500条，诊断工具抓取到420条，差集80条。逐项检查后发现：
- 30条被robots.txt禁止，属于主动排除，不计入遗漏。
- 20条无任何站内入链，属于链接结构遗漏。
- 15条服务端对诊断工具返回429，属于技术拦截遗漏。
- 15条位于站点地图但未被抓取，属于抓取优先级遗漏。
此时真正的遗漏是50条。下一步应优先为无入链页面添加入口链接，再检查服务端限流规则是否误伤诊断工具，最后重新运行抓取并对比差集是否缩小。
验收标准与下一步
验收时看两个指标：差集中“本应被抓取”的URL数量是否下降；工具抓取状态码中非200的比例是否回到正常范围。如果差集仍然存在，按上述三类原因逐项复查，不要只增加站点地图条目，因为站点地图不能替代站内链接和可访问性。
下一步：从站内可访问URL总表中随机抽取20条遗漏候选，按本文的检查项逐条记录状态码、robots规则、canonical和入链情况，形成一份可复查的遗漏清单。
