互联网上阐发IIS的东西却是很多,不过我没有遇见能够适合我要求的,一般的都是只能查询IIS日志内的蜘蛛爬行的次数罢了。
下面说个比较简单且很是实用的体例,通过EXCEL的一些简单的公式做出想取得的一系列数据,例如时间距离,爬行页面,返回状态码,网址参数,蜘蛛类型,蜘蛛IP等,通过以上数据可 以进行对网站的问题的排查,更正。
首先必须有自己的办事器或能够查看IIS日志的权限,通过FTP将iis日志文件从空间中下载到本地办事器获得IIS日志的体例:打开IIS,点击要查询网站>右键>属性>网站选项卡>属性>便可看到如图 如果是空间的话有些空间办事上会将日志文件放在网站根目录的。如果没有的话可以向办事商索取。
然后按照路径进行查找相应的文件夹然,可以看到文件夹下有很多.log文件就是日志文件,然后通过FTP下载到本地。
如果文件过年夜操作起来可能不方面,可使用UltraEdit打开,筛查你想取得的数据(具体自己下载一个研究下)。文件不是很年夜可使用记事本直接打开后复制到EXCEL。
然后将前4行删除,选择A列,点击excel数据>排列>朋分符号
下一步>其他>输入空格>下一步>完成。这样第一步就完成了。
然后选择A1列>右键>插入 然后将C,D,E,I列删除。在第一行别离输入:日期,时间,网页,参数,端口,IP,蜘蛛,状态码 别的说明一下参数,参数这个是动态网页面问号(?)后面的部分。.***/jiaju/chufang /5309_3.html 这个路径后面的参数值为3,那么组合之后真是的URL就是.***/jiaju/chufang /5309_3.html?3 因此说明蜘蛛仍是可以辩白参数的,有些网站投放告白后面常常城市带上参数进行统计,但颠末抓取后参数城市被去除的。所以尽可能不要在内容页使用此类的URL。
选中G列>数据>筛选>点击G列箭头>文本筛选>包含
输入百度pider 点击确定。便可看到所有百度蜘蛛拜候的数据,这样的话年夜致的数据已经显现出来了,如果查看谷歌在筛选时候输入谷歌bot便可以了。随后制作一个简单的数据透视表便于阐发。 一次顺序:插入>数据透视表>数据透视表>确定 在右侧按先后顺序勾选网页,蜘蛛,时间。然后点击蜘蛛后面的小三角,
点击标签筛选>包含>输入百度pider。既可以筛选出最终要看的网页的spider爬行时间详细数据,当然可以依照其他组合进行筛选各类数据,就不演示了。
本文由Luigi‘s blog原创,转载请注明.item搜索引擎优化/432.html 谢谢