Robots检测工具有哪些，Robots文件如何屏蔽抓取页面呢?
在了解这个之前我们先来了解下什么是Robots?
简单的说，就是在百度进来抓取，告诉百度蜘蛛哪些东西是可以看的，哪些东西是不能看的。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。【易云智能yyzn.com】易云智能企业QQ: 800800257
说白了就是在做网站优化的时候，我们可以使用Robots文件来对搜索引擎进行屏蔽，可以选择那些页面让蜘蛛爬去，那些不让蜘蛛爬去。
Robots文件如何屏蔽抓取页面呢?
禁止所有搜索引擎访问网站
User-agent: *
Disallow: /
允许所有搜索引擎访问网站
User-agent: *
Allow: /
Robots检测工具有哪些?
Robots检测工具一、Robots-站长工具
工具网址：【易云智能yyzn.com】易云智能企业QQ: 800800257
工具介绍：
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
4. 如需检测未验证站点的robots设置，请点击此处进行检测。
