noindex 与 robots.txt：禁止索引和禁止抓取的区别
先读结论
Robots.txt 控制抓取；noindex 在 Google 能读取指令时控制索引。先决定网址应公开可搜索、公开但排除，还是必须认证，再配置对应控制。核查实际返回内容，不能只看源码模板。
适用条件
适用于误阻塞公开页、测试站和需要退出索引的页面。私人数据不能仅靠这些规则保护。
打开报告前，先准备这些
准备准确主机的 robots.txt、页面 HTML 与响应头，并确定目标是保护隐私还是退出搜索。
先带一个具体 URL 或报告来检查；共享记录中不要放账号凭据与私有访客数据。
操作与验证
检查实际交付的各层限制
读取最终页的 robots meta 和 X-Robots-Tag，再查准确协议、主机和端口的 robots.txt。检查跳转与渲染，避免漏掉代理或另一条路径添加的限制。
保存真实指令与期望状态，CMS 勾选不是部署证据。PDF 等非 HTML 响应应核对支持的 HTTP 头，不能在其中找 HTML 标签。
修复误排除的公开页面
应被搜索找到的正文，从源头移除错误 noindex，并让相应 robots 规则允许抓取页面和必要资源。共用模板或 CDN 导致问题时，复测代表 URL。
确认最终响应有实际正文和一致 canonical。实时修复能证明当前访问与指令，后续还要用 URL 检查确认索引版本是否更新。
排除公开内容时，让指令可被读取
公开但应退出索引的页面使用支持的 noindex，并允许抓取读取；单用 Disallow，已知网址仍可能无正文地显示。紧急搜索移除与网站长期改动分别处理。
账号数据和私有环境必须用认证、授权保护。Noindex、nofollow 和公开 robots 路径都不能阻止人访问。测试环境的排除策略也不能误带到生产。
同时复测公开、排除和保护路径
上线后，用未登录请求分别测应索引公开页、有意排除页和私有路径，核对正文、响应头及 robots 匹配，保留改动前后配置和回滚位置。
不能为提高索引总数删除全部限制。验收是控制与每个 URL 的真实用途一致；搜索移除或重新索引仍需后续独立证据。
容易犯的错误： noindex 写在 robots.txt
Google 不支持用该方式设置页面 noindex，应使用支持的 HTML 或 HTTP 头。
遇到不同情况，怎么决策
先将实际观察与分支对应，再决定修改。无法对应时先补证据，不强行套用。
| 你看到的情况 | 下一步 | 如何确认 |
|---|---|---|
| 公开重要页误 noindex | 查 HTML 与响应头来源 | 正式页可读取并已移除 |
| 退出索引页被 robots 阻止 | 按目标规划可抓取 noindex | Google 能读取该指令 |
| 私有账户页 | 使用认证和访问控制 | 不依赖爬虫自愿遵守 |
抓取被阻止，就不能可靠读取 noindex
教学场景：名称、URL 与数字用于解释方法，不是客户或网站实测结果。
- 看到什么
- 示例：公开页面被 robots.txt 阻止，同时含 noindex；团队却预期 noindex 立即被读取。
- 能说明什么
- 抓取被阻止时，Google 可能无法读取页面上的 noindex；URL 仍可能通过链接被知晓。
- 接下来怎么做
- 公开页需要退出索引时，规划可抓取的 noindex 响应。私有信息用认证或移除源内容，不为控制索引临时开放秘密。
怎样才算核实了结果
核对实际 URL 的 HTML 与响应头策略，再分别验证搜索排除。爬虫指令不是访问控制测试。
必需检查失败时，保留错误并回到对应决策分支。记录留空代表未核实，不代表通过。
读完应留下核实结果，而不是另一句泛泛建议
- 本页应交付什么
- 每URL控制决定及公开、排除、认证路径测试。
- 遇到这类情况先停下
- 不把noindex或robots当私有记录保护。
在下面检查记录中写明缺失证据。未解决检查本身有价值，留空不代表通过。
本页检查单
填写自己的检查结果，再决定下一步。空白代表尚未核实，不代表正常。内容仅保存在本机当前会话，不会提交给服务器或 AI。
常见问题
nofollow 能保护账户数据吗？
不能。它不是认证或权限控制。
HTML 之外哪里还可能设置 noindex？
检查 X-Robots-Tag 响应头及产生它的模板或服务器规则。只修可见 meta 标签，不会移除冲突响应头。
官方资料与使用边界
本页提供操作判断与检查方法，不展示客户成功案例。计算例子与请求样例属于教学材料，不是实际网站指标。Google 的报告、条件与界面可能变化，请以当前官方说明为准。
阅读对应 Google 官方说明用对应工具继续处理
在工作区记录 HTML、响应头观察和预期排除方式；页面不可访问不能证明 Google 已读取 noindex。
查看操作与能力范围 →