首先在这里鳌述一下Robots的作用，它可以用来干什么。Robots是网站和搜索引擎之间的一个协议。用来避免搜索引擎抓取那些我们不想被搜索引擎索引的内容。我们可以用它来庇护一些隐私的内容，屏蔽死链接和无内容页面和重复页面。

这个协议对所有的搜索引擎对有效，它不是一个命令，而是一个指令，它不会马上生效，短的几天便可以生效，时间长的4周以上才能生效。谷歌相对百度来讲，生效时间较快一些;常见语法的定义：User-agent:定义搜索引擎。如果想定义所有搜索引擎请用*;Disallow:制止搜索引擎抓取，“/”暗示根目录，代表网站的所有目录。Allow: 是允许的意思，这里只简单的做一下描述，具体的操作写法请参考百度文库;下面来谈一下常见的问题和用法。

一，屏蔽死链接

死链接是网站不克不及避免的难题，如果被搜索引擎收录了，这样的死链接势必会影响用户体验，这个时候就需要对这个页面进行robots屏蔽。常见的几种毛病如下：

1，站内毛病，网站的操作人员呈现误操作或删除某些具体页面。

2，法度毛病，因为网站改版，改换法度造成的死链接。

3，外链引起的死链接，通常是由于输入毛病而致使形成你网站的死链接。

二，屏蔽无内容页面和重复页面

1，无内容页面和重复页面会严重影响站内页面的质量，如果站内存在年夜量的这种无意义和重复的页面就会造成网站的降权;比如一些注册页面，登岸页面，会话ID，加载页面，商城的购物蓝页面，这些都要进行屏蔽。

2，屏蔽多路径的同一个页面，很多网站的首页城市存在这样一个问题，举例说明一下，当阳热线：*** ,这个网址是常常使用的登录体例，因为法度和路径不统一的原因，造成首页有二个路径都被收录，*** /index.php,近似这样的，我们就要给网站统一一个标准的入口，直接用robots进行屏蔽操作。

搜索引擎优化原本就是一个堆集的过程，以上的几点，希望对新手站长朋友对网站进行优化有所帮忙，上面没有详细说明Robots的具体写法，具体写法可以查看百度Robots优化指南;这里只对它的作用和用途进行了说明，希望可以查缺补漏吧。感激444100 站长投稿!