这篇文章用于帮助你自己判断问题和整理需求。不同服务器、代码框架和第三方平台配置可能不同，生产环境修改前应先备份并验证。
先确认不是“只对你可用”
- 从不同网络访问，并检查 DNS、IPv4/IPv6 和证书链。
查看服务器日志
- Googlebot/AdsBot 请求有没有到服务器、返回什么状态码、是否被 WAF 或限速。
检查 robots.txt 和资源
- 重要 CSS/JS 被禁止会让搜索引擎看到与用户不同的页面。
不要按 UA 给爬虫特殊内容
- 为了“放行爬虫”而展示与用户不同的内容可能带来更大问题；正确做法是让正常页面本身可抓取。
常见问题
可以白名单 Googlebot IP 吗？
部分高安全环境可能需要，但应正确验证 Google 爬虫来源，不要只信 User-Agent 字符串。
Cloudflare 会阻止 Googlebot 吗？
配置不当的 WAF、Bot Fight 或挑战规则可能影响抓取，需要结合日志确认。