简单解决 GoogleBot 无法访问国内网站问题 12月21日
Google 是目前全球最大的搜索引擎。
对于国人来说或许觉得 Google 的收录不重要,但是你要知道如果没了 GG,你也就没了 PR
近期许多国内网站都有出现过 GoogleBot 访问不了网站无法抓取的问题,今天就顺便一提吧。
造成 GoogleBot 无法访问网站的原因有很多,其中一个例子就是使用了 dnspod。
一、因 dnspod 造成的 GoogleBot 问题解决方法:
1、没有特殊要求的话可以使用 dnspod 国际版。
2、需要搜索引擎之类的线路可以使用网站卫士、安全宝。
3、更换更多其他的 dns 或者购买付费版。
二、因自身防火墙规则造成的 GoogleBot 问题解决方法( iptables ):
wget https://www.zntec.cn/wp-content/uploads/google-spider.sh;sh google-spider.sh
直接执行如上命令导入规则,如下图:
为了防止重启后规则丢失,CentOS 的用户可以使用:service iptables save 保存规则。
三、因主机商原因禁止 GoogleBot 访问的解决方法:
有的小内存主机商可能会禁止时不时疯狂的 GoogleBot,这非常的愚蠢,但是也有办法解决。没错、那就是使用 CDN 了,使用 CDN 后虽然可能会因为多节点的原因导致收录下降,但是起码比没收录好。
小结
今天的第二篇文章,哟、我又机智的水了一篇。
目前有23条回应
Comment
Trackback
Loading ....
- 本篇文章没有Trackback
偶尔碰到,网站管理工具 提示
不过收录还算正常
国内也真够啃爹
从来没有遇到这种问题
在过去 24 小时内,Googlebot 在尝试连接您的网站时遇到了 47 个错误。您网站的总体连接故障率为 27.5%。
都是DNS错误,换成DNSPOD国际版后就再也没收到过了……
我的目前还是 dnspod 国内,因为国际版不能分国内线路解析 。。
更改一下 目标地理区域 为天朝, 应该就可以了吧, 目前是半个月没出现dns错误了。
我的目标地理区域一直是天朝啊 。。。目前大约半个月出现一次错误,都想换网站卫士的 dns 了 。。
国际版会不会影响解析速度啊
水的好~
没觉得dnspod拦截GoogleBot 啊,真的假的
dnspod 官方给出的解释就是“付费版是国内外多节点,免费版只有国内节点,所以google漂洋过海访问国内节点ns的网站,难免会出错”
我用电脑版Chrome访问的时候为神马突然变为WP Touch版的了~~~~~不明觉厉
估计是识别 UA 有问题,可能是 Super Cache 的影响。
脚本挺有用
那个就是加了 GoogleBot IPs 到 iptables 的允许的规则中,但是如果是手动 drop 的话还是可以拉黑的 。。。所以上次那个防 CC 的脚本还需要改进一下才行 。。
最近在用DNSPOD,没怎么出现Google Bot无法访问的问题,其实很想换,就是不知道谁家的DNS好
用 dnspod 国际版 。。。
我也通过自己的几个域名做了测试,现在我知道的就是dnspod和新网的域名肯定会拦截Googlebot,而万网的DNS和resellerclub的域名都没有这种情况。当然我是用自己的域名测试的,也不能算是绝对。主机商的原因不是很大,主要还是域名商的原因。
@炜昸: 还有,我有的站就算google提示googlebot抓取错误,但是一样收录,但是有的站是一点都不收录,不知道原因到底在哪
可以看看访问日志,看看 GoogleBot 是否真的访问得到。有的可能只是部分 Bot 无法访问。
我觉得是 dns 提供商故意搞的不让 GoogleBot 访问的样子 。。
@Tomas: dnspod如此做有情可原,毕竟是免费服务。新网这么搞有啥意思,欺骗消费者么? 💡
国内的服务商,欺骗消费者也不奇怪啊
@Tomas: 唉,好东西到了国内也会被糟蹋了,这些黑心商