Google 是目前全球最大的搜索引擎。

对于国人来说或许觉得 Google 的收录不重要,但是你要知道如果没了 GG,你也就没了 PR

2013122101

近期许多国内网站都有出现过 GoogleBot 访问不了网站无法抓取的问题,今天就顺便一提吧。

造成 GoogleBot 无法访问网站的原因有很多,其中一个例子就是使用了 dnspod。


一、因 dnspod 造成的 GoogleBot 问题解决方法:

1、没有特殊要求的话可以使用 dnspod 国际版。
2、需要搜索引擎之类的线路可以使用网站卫士、安全宝。
3、更换更多其他的 dns 或者购买付费版。

二、因自身防火墙规则造成的 GoogleBot 问题解决方法( iptables ):

wget https://www.zntec.cn/wp-content/uploads/google-spider.sh;sh google-spider.sh

直接执行如上命令导入规则,如下图:

2013122102

为了防止重启后规则丢失,CentOS 的用户可以使用:service iptables save 保存规则。

三、因主机商原因禁止 GoogleBot 访问的解决方法:

有的小内存主机商可能会禁止时不时疯狂的 GoogleBot,这非常的愚蠢,但是也有办法解决。没错、那就是使用 CDN 了,使用 CDN 后虽然可能会因为多节点的原因导致收录下降,但是起码比没收录好。


小结

今天的第二篇文章,哟、我又机智的水了一篇。

目前有23条回应
Comment
Trackback
Loading ....
  • 子曰去哪 回应于2014/01/15 21:21 回复TA

    偶尔碰到,网站管理工具 提示

    不过收录还算正常

    国内也真够啃爹

  • Kunr 回应于2014/01/04 10:27 回复TA

    从来没有遇到这种问题

  • ★Extreme★ 回应于2013/12/29 15:41 回复TA

    在过去 24 小时内,Googlebot 在尝试连接您的网站时遇到了 47 个错误。您网站的总体连接故障率为 27.5%。
    都是DNS错误,换成DNSPOD国际版后就再也没收到过了……

    • Tomas 回应于2014/01/01 17:45 回复TA

      我的目前还是 dnspod 国内,因为国际版不能分国内线路解析 。。

  • 疯子 回应于2013/12/29 11:17 回复TA

    更改一下 目标地理区域 为天朝, 应该就可以了吧, 目前是半个月没出现dns错误了。

    • Tomas 回应于2013/12/29 12:43 回复TA

      我的目标地理区域一直是天朝啊 。。。目前大约半个月出现一次错误,都想换网站卫士的 dns 了 。。

  • Jsx 回应于2013/12/29 09:35 回复TA

    国际版会不会影响解析速度啊

  • pang 回应于2013/12/27 11:32 回复TA

    水的好~

  • 阿水 回应于2013/12/26 08:34 回复TA

    没觉得dnspod拦截GoogleBot 啊,真的假的

    • Tomas 回应于2013/12/26 08:41 回复TA

      dnspod 官方给出的解释就是“付费版是国内外多节点,免费版只有国内节点,所以google漂洋过海访问国内节点ns的网站,难免会出错”

  • 烟花易冷 回应于2013/12/22 15:53 回复TA

    我用电脑版Chrome访问的时候为神马突然变为WP Touch版的了~~~~~不明觉厉

    • Tomas 回应于2013/12/22 15:58 回复TA

      估计是识别 UA 有问题,可能是 Super Cache 的影响。

  • 不给力的面条 回应于2013/12/22 13:09 回复TA

    脚本挺有用

    • Tomas 回应于2013/12/22 15:57 回复TA

      那个就是加了 GoogleBot IPs 到 iptables 的允许的规则中,但是如果是手动 drop 的话还是可以拉黑的 。。。所以上次那个防 CC 的脚本还需要改进一下才行 。。

  • Jimmy 回应于2013/12/22 01:30 回复TA

    最近在用DNSPOD,没怎么出现Google Bot无法访问的问题,其实很想换,就是不知道谁家的DNS好

    • Tomas 回应于2013/12/22 01:33 回复TA

      用 dnspod 国际版 。。。

  • 炜昸 回应于2013/12/21 22:04 回复TA

    我也通过自己的几个域名做了测试,现在我知道的就是dnspod和新网的域名肯定会拦截Googlebot,而万网的DNS和resellerclub的域名都没有这种情况。当然我是用自己的域名测试的,也不能算是绝对。主机商的原因不是很大,主要还是域名商的原因。

    • 炜昸 回应于2013/12/21 22:10 回复TA

      @炜昸: 还有,我有的站就算google提示googlebot抓取错误,但是一样收录,但是有的站是一点都不收录,不知道原因到底在哪

      • Tomas 回应于2013/12/22 00:32 回复TA

        可以看看访问日志,看看 GoogleBot 是否真的访问得到。有的可能只是部分 Bot 无法访问。

    • Tomas 回应于2013/12/22 00:21 回复TA

      我觉得是 dns 提供商故意搞的不让 GoogleBot 访问的样子 。。

      • 炜昸 回应于2013/12/22 11:47 回复TA

        @Tomas: dnspod如此做有情可原,毕竟是免费服务。新网这么搞有啥意思,欺骗消费者么? 💡

        • Tomas 回应于2013/12/22 11:55 回复TA

          国内的服务商,欺骗消费者也不奇怪啊

          • 炜昸 回应于2013/12/22 11:57 回复TA

            @Tomas: 唉,好东西到了国内也会被糟蹋了,这些黑心商

  • 本篇文章没有Trackback
你目前的身份是游客,请输入昵称和电邮!