Robots.txt元标签的使用

    很多朋友知道怎样在robots.txt文件中使用robots元标签，但是针对某个网页的使用还不是很清楚。

    robots.txt元标签跟其他元标签一样都是在<meta name="" content="">里面使用的，不同的是他的使用可以有多种组合。具体的有下面几种：

一、屏蔽搜索引擎索引，同时也不让蜘蛛爬取页面的链接<meta name="robots" content="noindex,nofollow">

二、不屏蔽搜索引擎索引，也允许蜘蛛爬取页面的链接<meta name="robots" content="index,follow">

三、屏蔽搜索引擎的索引，允许蜘蛛爬取页面的链接<meta name="robots" content="noindex,follow">

四、不屏蔽搜索引擎，但不允许蜘蛛爬取页面的链接<meta name="robots" content="index,nofollow">

 以上四种组合中，第一、四种是我们做SEO的需要注意的，因为如果对方将上述代码添加到网页，而那个网页恰巧是我们交换友情链接的页面的话，那么我们留在那个页面的链接将不被爬取，那样的话友情链接就是去了他的价值。