Robots.txt 一直提示百度封禁，怎么处理？

这两天有很多SEO小伙伴都遇到这样一个问题：就是当自己新网站上线之前，很多SEO运营习惯性的利用robots.txt进行封禁搜索引擎蜘蛛，特别是百度蜘蛛访问。

而当自己的网站相关内容调整好之后，在对其进行恢复，可在恢复的过程中，近段时间，总是遇到这样的问题。

https://www.batmanit.com/p/434.html

那么，Robots.txt 一直提示百度封禁，怎么处理？

根据以往SEO实战经验，蝙蝠侠IT，将通过如下内容阐述：

什么是百度封禁？

简单理解：就是你的页面由于之前操作robots.txt的问题，而导致采用命令屏蔽了百度搜索引擎的抓取。

如下图：

你可能在百度搜索资源平台下面，看到这样的反馈结果。

很明显，如果你的重要页面长期处于这样的情况，是很难得到有效索引的，因此，我们有必要去分析一下原因。

1、错误屏蔽

经常有很多SEO小伙伴问题为什么我的网页长时间不收录，也没有任何排名，在某种程度上我们第一时间就建议大家去百度搜索资源平台做抓取诊断。

特别是对于企业新网站而言，很长时间节点都是因为错误的配置了robots.txt文件，而出现低级性错误。

因此，你第一件事情需要做的就是：检测robots.txt正确性。

如下图：

然后看看是否配置正确，比如：

我们会看到系统反馈没有错误，然后接下来我们可以测试一下内页和重要页面的可访问性。

如果显示的都是允许反馈，那么就证明没有问题。

后续我们在做抓取诊断的时候，问题不大。

2、故意屏蔽

故意屏蔽搜索引擎抓取，经常是新网站上线之前，采用的一个策略，而当网站调整好之后，在将robots.txt文件中屏蔽的网址进行解封。

这是我们常规操作策略，而就在近段时间，很多SEO运营，发现在百度搜索资源平台这么操作之后，虽然robots.txt文件更新，相关页面是允许访问的。

而在抓取诊断的时候，仍然存在页面robots.txt被封禁的情况，这让很多SEO运营，感到不知所措。

面对这个问题我们给出两个方法：

① 停止服务器重启

一般情况下，robots.txt变更之后，仍然显示封禁的状态可能是这个文件存在一定的缓存，但对于SEO运营而言很多SEO小伙伴并不清楚怎么更新页面缓存。

特别是一些虚拟主机，因此我们统一建议大家简单粗暴，停止关机，重启服务器。

在查看是否得到解决。

如果有CDN服务的，一定要在CDN更新这个文件。

② 反馈给百度搜索资源平台

如果上面那个方法你已经使用过了，还是存在这个问题，那么我们建议你等几天，看看百度搜索资源平台是否更新，如果实在还没有解决，直接反馈给官方。

总结：目前这个问题，相对比较尴尬，因此，在测试新网站的时候，我们还是建议在自己主机搭建的环境中测试吧，然后直接上线，就不需要在用robots.txt屏蔽测试了。

文章来源：蝙蝠侠IT公众号