由于该网站的robots.txt文件存在限制指令，怎么办

由于该网站的robots.txt文件存在限制指令的解决办法找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。