做网站也做了这么长时间，站长们能遇到的事情都遇到过了，最常见无非就是网站被降权，网站快照不更新网站主要关头字排名下降，，外链数量削减等等，这些问题往往就是由于网站早期准备工作没准备好就上线的成果，致使后期改换网站板块或频繁修改其它蜘蛛常常爬行的文件所引起的，今天小编和年夜家探讨一下修改robots文件后对网站的影响及一些搜索引擎的反应。

第一次修改robots文件后百度百度谷歌反应

快照更新了，发现了是4天一周期，每天流量很年夜，可是用户都在我屏蔽的/user/文件里，蜘蛛无法抓取，最年夜的流量就是用户中心，我就试着把robots文件修改下，让蜘蛛可以拜候那个文件。 以前谷歌收录12万，记得很深刻的一次是修改robots.txt文件后，谷歌那时是收录已经逾越12万，第二天没事继续以每天1000多收录的速度抓取，再看百度这方面，也没事。但不幸的事情仍是产生了... 快照更新后再一次的site:域名发现，谷歌收录6万(原来是12万多)，百度这方面也是变了，原来的3万5千600到更新快照后的4万9千整的收录，那时修改的是把robots文件写入屏蔽团购的页面(那个是挪用的)，那时感触感染不知道是什么原因致使谷歌收录年夜减，百度收录年夜增的，但继续测试，才发现致命的原因...

二次修改robots文件惹怒蜘蛛，谷歌直接K站

刚起头站不是成立好久总是喜欢修改这修改那的，把首页都动起来了，我的站的保安robots也是被我“装饰”得极其丰富，事情产生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(那时搜狗地痞抓取得致使网站流量不敷)，修改后的第三天，从谷歌收录本一路下跌的淘宝广东站直到那天的6万多到1200条收录，看了心都那时凉了一截了，至今谷歌都不年夜抓取网站了，收录在1000上下徘徊。

小编还有一个秒收的博客站也是因为修改了robots文件，谷歌直接K站，那时那个站修改robots文件太过频繁，致使适得其反的效果，百度也延续一周没更新快照，蜘蛛对robots文件极端敏感，这是新站不克不及碰的优化地雷区。

建站早期应当全面设置好robots文件，避免后期更改

后期对robots的修改是对各年夜搜索引擎的一种不友好的表示，特别是谷歌，随着引擎的人性化，搜索引擎也是有“脾气”的，当在你的网站产生了一种习惯时，你网站的稍微改动很有可能会引起搜索引擎的反感，就像修改了robots一样，robots的修改不但对内容的收录有影响，对网站的权重也有不成轻忽的影响。修改robots会引起网站快照不更新，收录削减，外链数目下降，网站主要关头字下降甚至前几百名找不到关头字排名。

蜘蛛来你站首先就是看网站根目录的robots文件，蜘蛛的时间也是很紧急的，像谷歌这样的全球搜索引擎公司每天要去不计其数的站点抓取网页内容，频繁地修改robots文件就是修改了你网站与蜘蛛之间的协议，为了网站平安，一般的蜘蛛城市遵守robots协议，按照你制定的法则来抓取允许的网页文件及内容。

经太小编几个月的实战成果我建议：robots文件是在建站早期应该制定好，不要在网站收录很多或权重上来了的时候想修改就去修改，除非你不在乎从搜索引擎来的那些流量。

开店省钱网叶蔚卿原创文章 .yeweiqing/ 本文版权归叶蔚卿@开店省钱网所有，欢迎转载，转载请注明作者和出处。谢谢