Disallow:*

4. 允许一个文件中的某个文件夹被抓取，比如允许FLIMS文件夹中的INDEX2.html文件被抓取，那么就应该这样写：

User-Agent:*

Disallow:/FLIMS/

Allow:/FLIMS/INDEX2.html

其他近似的体例也以此类推，新手在设置ROBOTS文件时，可以多点参考百度优化指南中的相关介绍，这样对网站收录量凹凸可以更容易掌握，并且也利于自己知道哪些页面被收录，哪些页面自己制止被收录了。

在设置404页面，站长应该以用户体验为参考对象，如果自己是网站用户的话，当点击到无效链接时，什么样的404对自己更有吸引力。而ROBOTS文件主要是针对搜索引挚的，所以，只要设置正规，自然就不会影响到网站优化的效果，可是如果设置不当的话，可能会呈现网站不被收录的哦，或自己不想被收录的页面竟然收录了，自已想被收录的页面却没有被收录。所以，今天笔者简单阐发了404页面和ROBOTS文件的设置体例，希望新手在学习网站优化的过程中，可以设置出适合自己网站的404和ROBOTS。本文就到这里，由丰胸产品（.fengxiong77/）独家供稿，转载请注明，谢谢！