据笔者不雅察，很多的小我站都对404页面和ROBOT文件不是很重视，因为年夜部分小我站长都感觉这两个是无关紧要的，可是笔者感觉这两个文件对优化也是有影响的，特别是404页面，如果网站呈现了无效链接，那么可以通过404页面留住用户，使之返回网站继续阅读。而ROBOT文件则是让蜘蛛更好的收录网站的可收录页面，对网站收录量的凹凸有很是年夜的影响。好了，现在回归正文，下面起头讲授这两个文件的设置。

404页面的作用

年夜部分站长知道的404页面多是为了引导用户在阅读到某个无效页面时，可以通过404页面提供的链接返回到网站，并且年夜部分站长认为404页面就这么一个作用罢了。其实不然，404页面还有其他的作用。比如当用户长时间阅读网站时，会呈现麻木性的点击，当点击到无效链接时就会产生退出的心理，而这时候如果网站没有404页面引导的话，那么用户自然就会封闭网站，很容易就造成用户的流失了。可是通过设置比较新颖的404页面可让用户缓冲一下严重的情绪，就像卢哥的404页面设置一个FLASH小游戏一样，当产生了无效链接时，用户可以通过玩玩小游戏来缓冲一下情绪，这样自然就会更容易的重新返回网站继续阅读了。

所以说，404页面不单是为了屏蔽无效的链接，还可以操纵404页面缓冲用户的阅读麻木性，这对激起用户再次阅读网站具有很是年夜的帮忙，如果你不信，可以设置一个比较新颖的404页面，不雅察一下其跳出率和PV值吧。

404页面的设置体例

对上文说的404页面的作用，那么站长如何设置有效的404页面呢？主要有几个别例：

1、404界面气概要新颖。界面和蔼概都比较新颖的404页面可让用户阅读到无效链接时，也不会对网站失去了兴趣，并且可使用户不会为网站呈现无效链接而对网站产生思疑。就像的404页面，就比较奇异了。

2、404页面要有停马上间。这点对用户和搜索引挚都很是重要，不要把404页面停留的时间设置太短，比如1－3秒之间的就对用户和蜘蛛都不友好。最低保持在5秒以上。

3、404页面不要直接返回顾页。如果404页面直接跳转到首页的话，那么就会让蜘蛛爬行时，把它当作是一个自力页面收录，这样对后期的优化其实不友好。

4、404页面要给用户选择跳转。其实这点是笔者最近才发现的，许多的404页面只留下一个跳转到首页的链接，这样使得用户无法选择自己要返回的页面，自然对用户体验就不是那么友好了，所以，在404页面中，不单要有跳转首页的链接，还要设置返回其他页面的链接，比如返回上一页、返回之前的分类页等，这些城市让用户感触感染到网站的人性化。

5、404页面需要屏蔽失落。在ROBOTS文件中，要把404页面的地址屏蔽起来，这样即便是呈现以上的情况也不会让搜索引挚爬行到，也不会呈现无效链接也被收录了。

ROBOTS文件的作用

百度百科中ROBOTS文件的诠释就是奉告蜘蛛法度在办事器上什么文件是可以被查看的。就按笔者的理解，ROBOTS文件就是为了奉告蜘蛛哪些页面可以抓取，哪些页面不成以抓取。现在很多站长说自己明明设置了制止抓取的页面，可是搜索引挚也一样收录这些页面，起头思疑ROBOTS文件是不是没作用了。其实不是，设置了还被抓取那说明你的ROBOTS语法毛病了，ROBOTS设置不当使得文件底子就不起作用。其实说白了ROBOT文件的作用就是把自己需要被收录的页面提供给蜘蛛爬行，而不想被收录的，那么通过ROBOTS文件进行屏蔽，不让蜘蛛爬行这些页面，这样就不会造成页面被抓取了。所以说，ROBOTS在网站优化中的作用就是让晦气于搜索引挚收录的页面实行屏蔽，通过ROBOTS文件引导蜘蛛可以爬行哪些页面和不成爬行哪些页面。

ROBOT文件的设置体例

那么新手在学习网站优化中，怎么才能正确的设置ROBOTS文件呢，使之具有引导蜘蛛爬行自己允许的页面呢？主要有几个设置体例：

1. 整站屏蔽设置体例。如果你的网站不想被全部的搜索引挚收录的话，那么可以这样写：

User-agent: *

Disallow: /

2. 屏蔽某个文件。比如我不让搜索引挚抓取ADMIN这个文件夹，自然需要用ROBOTS文件屏蔽ADMIN这个文件了，写法：

User-agent:*

Disallow:/ADMIN/

3. 制止某个搜索引挚抓取网站页面。比如制止谷歌机械人收录网站的任何页面，写法：

User-agent:谷歌bot