GSC 中文知识库
GSC 抓取与发现教程与排查指南
检查 sitemap、robots 与主机响应,让重要页面有稳定发现路径。按具体问题选择教程,逐项核对操作、限制与验证结果。
检查 Google 实际能够抓取什么
先准备什么
准备准确的 sitemap 与 robots.txt 地址、响应头、近期服务器错误和通往受影响页面的内链。浏览器打开一次只是一个观察。
| 你的情况 | 先做什么 | 对应指南 |
|---|---|---|
| sitemap 提交成功,页面仍未收录 | 检查处理与上次读取状态,再核对其中的规范页及发现链接。 | Sitemap:提交、处理、索引是三个状态 |
| Google 无法抓取 sitemap | 检查准确响应、XML 和重定向链,排除登录页或挑战响应。 | Sitemap 无法抓取:先看 Google 得到什么 |
| 抓取量变化或主机有错误 | 结合服务器日志检查主机可用性与响应趋势,不把请求减少直接当作惩罚。 | 抓取统计:主机故障优先于抓取量 |
| robots 规则可能屏蔽路径 | 核对相应 user-agent 的实际规则并测试具体路径。抓取屏蔽不等于 noindex。 | robots.txt 报告:核对主机与实际规则 |
何时停止修改并验收
抓取返回预期内容,重要页面有稳定且可抓取的链接。sitemap 获接受本身不能证明已经抓取。
抓取与发现
检查 sitemap、robots 与主机响应,让重要页面有稳定发现路径。
Sitemap:提交、处理、索引是三个状态
Sitemap 提供发现提示,不是收录命令。建立真实规范页清单,核验公开文件和目标,再分别跟踪提交、Google 处理及页面索引。Lastmod 应代表实质变化,不能由脚本每天刷新日期。
步骤 · 错误分支 · 检查单Sitemap 无法抓取:先看 Google 得到什么
出现“无法抓取”,先确定 Google 尝试读取的准确文件及实际响应,区分网络访问失败与 XML 解析失败。浏览器返回 200 仍可能是验证码或 HTML 错误;重复提交不能修复这些问题。
步骤 · 错误分支 · 检查单抓取统计:主机故障优先于抓取量
先查主机可用性和失败响应,不以抓取次数判断好坏。次数增长可能来自重复资源或重复 URL。把原生抓取统计与带日期的发布、服务器证据结合,确认重要正文是否真正可访问。
步骤 · 错误分支 · 检查单robots.txt 报告:核对主机与实际规则
先核对准确协议和主机的 robots 文件,再区分获取成功、解析与规则匹配。原生报告显示 Google 取得的版本,当前线上文件可能更新。Robots 是抓取指令,不是认证,也不是可靠移除方法。
步骤 · 错误分支 · 检查单指南与产品能力分别核对
SEO运营新增有界技术检查、保存索引版本读取、实验室记录与人工内容审校。Google原生安全、Discover、News及增强报告仍需对应工具。指南说明方法,不代表所有报告都已接入。
查看真实产品能力