23 · 检查索引配置、站点地图和规范地址

本页为文字教程；视频与配套媒体仍以实际发布状态为准。

返回课程总览 · 返回模块

本课交付：逐 URL 的索引与规范配置表

这一课不从复制一份万能 robots.txt 开始。先列出工具页、公开教程、私人结果、测试页和带追踪参数的同内容地址，分别说明是否公开、是否希望索引、正式地址是什么，以及谁负责维护。配置只有与页面目的对应，才有正确与否可言。

本课所有路径是教学样例。你要在自己的站点核对实际响应与源码，不因示范出现某个目录就直接修改未知服务，更不能为了索引把用户资料开放。

跟做一：把隐私与索引分开

Google 的 robots.txt 介绍说明，它主要控制爬虫可访问的 URL，不是隐藏网页或保护资料的机制。Introduction to robots.txt | Google 所以，私人初稿必须由身份与资源权限保护，不能只把路径写入 robots 文件，再认为知道地址的人也无法访问。

对于可以公开访问、但不希望出现在搜索中的页面，可以按实际目的使用索引规则。Google 的 noindex 文档说明，规则需要被爬虫读取，因此与抓取阻止存在重要关系。Block Search indexing with noindex | Google 不要把 robots 禁止和 noindex 简单叠加后，假定它们能共同产生任何你想要的结果。先写清希望实现的状态，再选择机制。

跟做二：检查返回内容而不只查配置文件

打开公开教程，查看响应头与 HTML，确认没有遗留测试环境的 noindex 或其他限制。再查看 robots 文件是否针对了错误路径。配置文件里看起来正确，还要确认线上服务实际使用的是这份版本，CDN 或构建产物没有返回旧设置。

对私有结果，用未登录会话请求，确认无法取得正文与私有媒体地址。即使它没有进入搜索，这条权限测试仍然必要。对公开但不索引的测试页，记录规则与用途，并避免在正式导航误导用户。不能用“搜索里搜不到”替代访问控制验收。

跟做三：确定重复地址的规范方向

假设教程可以通过正式路径与带跟踪参数的路径访问。先判断它们是否真的相同，再安排一致的规范方向。Google 的 canonical 文档介绍重定向、规范链接与地图等信号，并说明信号的作用强弱。How to specify a canonical URL | Google 它们表达选择偏好，不是保证搜索引擎必然采用的命令。

不要把不同任务或不同语言的真实页面仅因排版相近就全部指向首页。也不要让页面 canonical 指向一个不存在、被限制或跳转到别处的地址。规范页需要能被访问，站内链接和地图应尽量保持同一方向，避免不同层面互相矛盾。

跟做四：生成只包含正式公开内容的地图

Google 的站点地图文档说明地图帮助发现重要地址，但不保证抓取与索引。Learn about sitemaps | Google Search Central 从权威内容来源取得已经发布、希望索引的页面，排除草稿、私人结果、错误页和无意义变体。后台下架或改路径后，地图也要随之更新，不能长期列出已经失效的地址。

更新时间反映真实内容修改，而不是每次访问或每天定时全部刷新。小站也应保持清楚导航，不能依赖地图作为唯一入口。若生成地图失败，保留可理解的错误与监控，避免返回一份看起来成功、实际内容为空的文件。

跟做五：在表格中检查信号是否冲突

每行写出状态码、是否有正文、访问权限、robots、noindex、canonical、地图与站内链接。对于公开教程，目标是这些信号共同支持正式内容；对于私人结果，首先满足权限，不以索引为目标；对于重复参数页，明确规范与可访问策略。

发现冲突时，先修一个能够解释的问题，再独立读回。不要一口气清空全部规则，也不要为了某个页面放开整个后台。保留修改前后，让未来维护者知道为什么存在这条配置，而不是将它视为可以随手删除的历史残留。

加练：解释一组看起来矛盾的设置

设想一张公开测试页同时被 robots 禁止抓取，又在正文里写了 noindex。你的作业不是直接删除其中一项，而是先说明希望实现的是控制抓取、避免搜索展示还是保护资料。若要保护资料，应采用权限；若要让索引规则被读取，就检查抓取是否允许。

再检查这张页有没有被站点地图和正式导航推荐。不同机制如果表达相反方向，应依据页面目的统一，而不是把工具报告中的每一个提示都逐条“消红”。不要在生产站随意试错，可先用隔离页面演练。

把最终决定和原因写进配置表，让下次维护者理解边界。只有知道某条规则为什么存在，才不容易在解决另一个页面问题时误伤它。

独立作业与验收

至少提交公开、私有和重复地址三类检查。为每个目标状态附上真实证据或明确的待执行项；尚未接入 Search Console 时，也可以先核对服务器与页面信息，但不能宣布索引已成功。

再用一个刻意错误的示例自测：把草稿误放入地图，或让 canonical 指向错误页，在隔离环境确认检查能够发现，然后恢复正确配置。作业的价值是证明你理解各机制的边界，而不是交付一份所有项目都一样的文件。后续配置 Search Console 时，这张表会成为排查依据。