网址已被 robots.txt 屏蔽：核对规则与目标网址
先读结论
先核对准确协议和主机的 robots 文件，再区分获取成功、解析与规则匹配。原生报告显示 Google 取得的版本，当前线上文件可能更新。Robots 是抓取指令，不是认证，也不是可靠移除方法。
适用条件
适用于爬虫阻塞、文件获取失败与规则变更。
打开报告前，先准备这些
准备完整 URL、各相关 robots.txt 响应，以及正在核对的爬虫组与规则。
先带一个具体 URL 或报告来检查；共享记录中不要放账号凭据与私有访客数据。
操作与验证
找对主机与版本
按异常页面协议和主机得到 robots 地址，例如 https://shop.example.com/robots.txt，根域文件不会被其他子域继承。在符合条件的域级属性查看报告，保留获取时间和结果。
打开线上文件，与报告版本比较。目录前缀属性缺少该报告，不证明文件失败。有意无文件，应与服务器失败或错误应用兜底区分。
用具体正反路径测试规则
列重要 HTML、必要资源和应限制路径，对适用爬虫组测试，并保存匹配规则。/private/ 与 / 的影响完全不同，广泛模板改动应测试多个路径。
解析成功不证明目标允许访问。查看 Google 取得文件的警告与错误，并比较线上实际响应。不得往 robots 放秘密，文件公开且不执行权限保护。
发布并验证策略变化
备份原文件，部署局部修正，再测应允许和应排除路径。公开页的必要资源保持可达，私有内容继续认证，检查 CDN 是否留住旧响应。
关键获取或规则故障修复后，需要时用原生重抓选项，并记录是否取得新版本。这不保证立即抓取或索引放行页。完成时交付版本、路径测试及已观察 Google 状态。
容易犯的错误： 把 private 路径写进 robots 就认为安全
规则公开且并不强制所有访问者遵守，私有资源需要认证。
遇到不同情况，怎么决策
先将实际观察与分支对应，再决定修改。无法对应时先补证据，不强行套用。
| 你看到的情况 | 下一步 | 如何确认 |
|---|---|---|
| 根域与 www 文件不同 | 分别核对主机配置 | 测试对应 URL 规则 |
| CSS/JS 被误阻止 | 允许需要的渲染资源 | 移动正文实际可呈现 |
| 报告仍是旧版本 | 检查部署与缓存 | 记录 Google 获取时间 |
检查实际服务 URL 的主机与协议
教学场景：名称、URL 与数字用于解释方法，不是客户或网站实测结果。
- 看到什么
- 示例：example.com/robots.txt 允许某路径，www.example.com/robots.txt 却阻止；受影响页面在 www。
- 能说明什么
- 一个主机的规则不能证明另一个主机的规则；上线后的报告与缓存时间也可能造成差异。
- 接下来怎么做
- 检查实际页面源站与适用爬虫组的 robots 响应，另行检查所需 CSS/JS，确保 HTML 允许后仍可渲染。
怎样才算核实了结果
保留规则原文、响应状态和上线时间，再比较 Google 后续获取时间，不假定缓存立即更新。
必需检查失败时，保留错误并回到对应决策分支。记录留空代表未核实，不代表通过。
读完应留下核实结果，而不是另一句泛泛建议
- 本页应交付什么
- 准确主机版本记录及规则正反路径测试。
- 遇到这类情况先停下
- 不认为修改根域文件会被全部子域继承。
在下面检查记录中写明缺失证据。未解决检查本身有价值，留空不代表通过。
本页检查单
填写自己的检查结果，再决定下一步。空白代表尚未核实，不代表正常。内容仅保存在本机当前会话，不会提交给服务器或 AI。
常见问题
可以用它禁止索引吗？
它控制抓取，不是可靠的索引移除方法。
robots.txt 是法律或安全访问限制吗？
不是。它描述爬虫规则；私有资源需要真正的访问控制。
官方资料与使用边界
本页提供操作判断与检查方法，不展示客户成功案例。计算例子与请求样例属于教学材料，不是实际网站指标。Google 的报告、条件与界面可能变化，请以当前官方说明为准。
阅读对应 Google 官方说明用对应工具继续处理
在 AISEO Site 记录改动规则和准确测试 URL，核对线上 robots 文件与预期访问后再关闭任务。
查看操作与能力范围 →