解决了百度蜘蛛迷路的问题

被百度K了

无意中用百度搜索了一下关键词,发现所有的已收录链接都没了,疑惑中。寻思我最近也没干什么伤天害理的事,百度为什么要K我。于是开始查找原因。

首先想到的是网站内容是否有违反百度规定的,经过排查发现内容基本就是生活琐事,这点屁事也入不了百度的法眼。

那么可能就是网站访问问题了,经过多地IP测试,访问都是正常的,这就奇怪了。

开始使用搜狗、360等搜索引擎逐一测试,发现其他大部分都被K了。

仔细排查发现某搜索引擎的最新收录停留在去年12月份,那么12月份我做了什么事呢?还真忘记了。

使用百度抓取诊断工具查看,抓取失败。并发现一个问题,百度获取到的网站IP是源站IP,并不是CDN IP。

打开CDN设置,发现我开启了搜索引擎优化功能,应该是这个功能使蜘蛛直接去访问源站了,不经过CDN的中转(不得不说,这个很坑)。

然后查看源站防火墙设置,规则只允许了CDN的IP段访问443端口。

看到这里找到问题了,应该是前段时间为了增加安全性随手设置的这个规则导致了蜘蛛被拒绝在门外。

修改规则,允许所有IP都可以访问443端口,然后再次使用百度抓取诊断工具测试,抓取成功。问题解决。

补救措施

既然已经被百度大哥K了,那就尽量补救吧,话说百度蜘蛛这脾气还是挺大的,不就是半个月进不来嘛,直接把以前的收录都给我清了。

于是手动提交了一下sitemap,坐等蜘蛛大哥光临。

The End

1 + 9 =
2 评论
    我是大傻逼Chrome 87Windows 10
    January 8th, 2021 at 08:28 pm 回复

    丢人,喜闻乐见。
    不过被百度K了,重新收录有难度了,慢慢养吧

      奕奕Chrome 87Windows 10
      January 8th, 2021 at 08:29 pm 回复

      @我是大傻逼 慢慢来吧,佛系

新年
快乐