robots.txt文件里面怎样屏蔽蜘蛛

    robots.txt文件，是每个网站都可以用来跟，遵循robots协议的搜索引擎蜘蛛，进行对话的一段代码。

我们常用的代码包括：User-agent、Disallow、Allow以及Crawl-delay等。我们先来看一个列子，让搜索引擎抓取所有的内容，代码如下：

User-agent: *
Allow: /
其中User-agent后面跟的是蜘蛛的名字，如果是所有的蜘蛛都遵守的话，那么就可以用*来代替所有的蜘蛛，如果只是针对某一蜘蛛的话，
那么只需要列出来这个蜘蛛的名字即可。如果不想让蜘蛛来爬取，那么只需要将Allow修改为Disallow，禁止爬取即可，/后面跟的内容就是
禁止或允许爬取的内容。

而有时候蜘蛛爬取过于频繁，那么我们需要添加Crawl-delay这个代码，他的意思是告诉蜘蛛延时多少秒以后再来爬取，我们可以看下实例：

User-agent: *
Crawl-delay: 500
前面的内容都一样，不同的是Crawl-delay后面只能跟数字，而且只能是正整数。