在我们的优化之路中有一些问题一直困扰着我们,例如:我们发的外链是否起到效果?我们买的空间是否能够稳定?蜘蛛对我们的那些页面比较喜欢而对哪些不喜欢?蜘蛛什么时候抓取我们的网站频繁,我们需要什么时候更新内容?而这些问题其实我们可以通过我们的办事器IIS日志可以简单的阐发出来,作为一个合格的搜索引擎优化,真正的会阐发IIS日志才可以而不是简单的去看状态码,在这提醒一下年夜家买空间的时候一定要买能够下载IIS日志的,不克不及下载的买都不要买,下面给年夜家介绍几点通过IIS日志阐发出的网站问题。
一、IIS日志的重要作用
1.通过IIS日志可以体会蜘蛛对网站的根基爬取情况,可以知道蜘蛛的爬取轨迹和爬取量,通过我们的IIS日志,外链的多和少和网站蜘蛛的爬取量是有直接影响的,我们所说的链接诱饵就是如果你做了一个外链,蜘蛛在爬取这个外链页面并把页面放出来时,蜘蛛可以通过你留的这个链接来爬取你的网站,而IIS日志正是会记实下蜘蛛的这次爬取行动。
2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关,一般来讲更新频率越高,蜘蛛的抓取频率越高,而我们网站的更新不但仅只是新内容的添加同时还有我们的微调操作。
3.我们可以按照IIS日志的反应情况,对我们的空间的某些事情和问题提前进行预警,因为办事器如果出问题的话在IIS日志中会第一时间反应出来,要知道办事器的稳定速度和打开速度二者城市直接影响我们的网站。
4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,同时我们还能发现有一些蜘蛛由于是过度爬取对我们的办事器资源损耗是很年夜的,我们要进行屏蔽工作。
2、如何下载日志及日志设置注意事项
1.首先我们的空间要支持IIS日志下载,这一点是很重要的,在我们采办空间之前必须要先问好支不支持IIS日志下载,因为有的办事商是不提供这项办事的,如果支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地便可以,办事器的话可以设置将日志文件下载到指定路径。
2.这里有个很重要的问题,IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或年夜型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的年夜,我们有时电脑打开是会造成死机,设置的话找空间商协调设置便可。
三、IIS日志的阐发
1.日志的后缀名是log的我们用记事本打开,选择格局里的自动换行这样看起来便利,同时用搜索功能搜索百度Spider和谷歌bot这两个蜘蛛。
例如:
百度蜘蛛
2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / - 80 - 220.181.51.144 百度spider-favo+(+.百度/search/spider.htm) 200 0 0 15256 197 265
谷歌机械人
2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt - 80 - 222.186.24.26 谷歌bot/2.1+(+.谷歌/bot.html) 200 0 0 985 200 31
我们分段来诠释
2012-03-13 00:47:10 蜘蛛爬取的日期和时间点
W3SVC177 这个是机械码这个是惟一的 我们不去管它
116.255.169.37 这个IP地址是办事器的IP地址
GET 代表事件
GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页
80 是端口的意思
220.181.51.144 这个IP则是蜘蛛的IP,这里奉告年夜家一个辨别真假百度蜘蛛的体例,我们电脑点击起头运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的办事器IP而假蜘蛛则没有。
如图
上面是真蜘蛛,下面是假蜘蛛
如果网站中呈现了年夜量的假蜘蛛则说明有人冒充百度蜘蛛来收集你的内容,你就需要注意了,如果太跋扈獗那会很占用你的办事器资源,我们需要屏蔽他们的IP.
200 0 0这里是状态码 状态码的意思可以在百度里搜索下