先确定问题发生在哪一步
选一个真实需要收录的正式网址检查,不要只搜索品牌名或用“site:”查询推断整个网站的索引情况。Search Console的URL检查分为索引中的历史结果和实时测试:前者说明Google上次处理的情况,后者主要验证当前能否访问与解析;实时通过不等于已经收录,也不能预测Google最终选择的canonical。Google URL检查说明
| 看到的状态 | 先检查什么 | 下一步 |
|---|---|---|
| Google尚不知道此URL | 站点地图与页面入口 | 从相关栏目增加正常链接,确认正式URL已列入sitemap。 |
| 已发现,尚未编入索引 | 服务器稳定性、站点重复页面及入口质量 | 记录发现时间与日志;没有具体故障时,保持页面稳定并观察。 |
| 抓取失败或服务器错误 | 响应码、DNS、TLS、CDN和应用日志 | 先恢复稳定访问,再运行实时测试。 |
| 已抓取,尚未编入索引 | 实际正文、重复内容、搜索问题是否被解决 | 审查页面与同站内容的差异,不把“再加几个关键词”当作修复。 |
| 重复网页或Google选择其他规范网页 | 声明的canonical与Google选择的canonical | 统一站内链接、重定向和站点地图中的首选版本。 |
每次保留检查日期、完整URL、报告原因、最后抓取时间和截图,避免把旧报告当作刚部署页面的实时状态。
第一步:确认服务器返回了真正的页面
检查最终URL是否返回200,并且正文确实是目标文章。不能只看浏览器地址栏能打开:登录页、验证码页和“暂时没有内容”也可能返回200。持续5xx或429需要结合反向代理、应用和限流日志处理;错误内容配上200可能被识别为软404。Google对HTTP状态码的处理
下面是只读检查示例,将示例域名和路径换成待查页面。Windows可使用curl.exe;命令会在当前目录保存响应头和正文供查看。
curl -sS -D page-headers.txt -o page.html "https://example.com/services/example"
curl -sS -L -o /dev/null -w "final=%{url_effective} code=%{http_code}\n" "https://example.com/services/example"
第二条示例适用于Linux/macOS,Windows将/dev/null换为NUL。第一条看原始响应,第二条看跟随跳转后的终点。检查HTTP与HTTPS、带www与不带www、带尾斜杠与不带尾斜杠是否落到同一个正式页面。不存在的路径应有真实404,不能全部跳回首页。
第二步:分别检查robots.txt与noindex
robots.txt管理抓取,noindex管理索引。打开域名根目录的robots.txt,查看适用的User-agent组中是否误封服务或博客目录,也检查CSS、JavaScript和必要图片是否可访问。robots.txt不是可靠的“禁止出现在搜索结果”手段。robots.txt的用途与限制
再查看保存的HTML与HTTP响应头,搜索noindex、name="robots"、name="googlebot"和X-Robots-Tag。需要收录的正式页面不应残留测试站的noindex。若被robots.txt禁止抓取,Google可能无法读取页面里的索引指令;两种规则不能互相替代。noindex官方说明
第三步:让canonical、301和内链表达同一意图
独立且需要收录的文章通常声明自身正式URL。典型误配置是把所有文章的canonical复制成首页:即使标题不同,也会给出错误的合并信号。还要检查服务器是否通过HTTP Link头发送另一条canonical。
<link rel="canonical" href="https://example.com/blog/example-guide">
如果旧页面已被新页面完整替代,建立对应的永久跳转,同时更新站内链接与sitemap;不要让链接指向旧URL、canonical指向新URL、站点地图又保留另一个版本。canonical是信号,Google可能选择不同版本,最终选择应以索引数据为准。规范网址与重复页面处理
第四步:检查sitemap与可抓取的入口
站点地图应能公开读取,包含需要索引的正式200页面,不混入旧301地址、404或noindex页面。提交成功说明系统接收或读取了站点地图,不保证每个URL被抓取和收录。Sitemap官方说明
从栏目页、对应服务页和相关内容增加有意义的<a href="...">链接,让用户不依赖搜索框也能进入文章。只有JavaScript点击事件、没有href的按钮,不应作为重要内容的唯一入口。可抓取链接规范
第五步:核对移动端渲染与页面价值
在实时测试中查看渲染截图和HTML,确认标题、正文、图片说明与主要链接已经出现。若只有加载动画,继续查接口鉴权、资源403、JavaScript错误及超时。对于公开营销内容,可采用静态生成或服务端渲染,让初始HTML提供重要正文;不要给爬虫另做一套内容。JavaScript SEO基础
技术检查通过后,比较同站相似页面:这篇是否解决一个独立问题?是否只有标题变了、正文重复?是否缺少实际步骤、边界条件或判断依据?合并明显重叠的内容,并保留相关旧网址的对应跳转。对真正不存在的内容返回404,对可恢复的有效页面补齐正文,不用关键词段落填补空页。
修复后怎样验证和记录
- 重测受影响URL,保存响应码、canonical和可见正文结果。
- 在Search Console运行实时测试,核对错误是否消失。
- 必要时请求索引,并确认sitemap仍只包含正式URL。
- 后续记录最近抓取时间、索引状态、获得展示的页面及查询词。持续没有变化时再根据日志和页面证据深入排查。
若问题同时影响很多页面,或涉及CDN规则、框架渲染、迁移与重复URL,可以先做网站索引与技术SEO诊断。交付应包含问题证据、修复项和复测结果,不能以“已提交”代替“已收录”。
常见问题
已发现但尚未索引,就说明网站程序有错误吗?
不一定。这是一个待分析的处理状态。应先核对抓取日志、稳定性、入口与重复页面,有明确异常再修复;不能仅凭这句话判断程序故障。
实时测试通过后,需要每天重复申请索引吗?
没有必要把重复申请当作日常优化。实时通过只说明当前可访问和解析,应优先关注后续抓取与索引记录;新增或修复重要页面时合理申请即可。
参考与核对依据
实施记录:本站建设与技术SEO改造案例(自有项目)。
