今天在查网站收录的时候，看到了一个历来没有在收录上看到的一个网址，如下图：

因为历来没有在收录里看到过有robots.txt这样的网址，所以就查阅了一下资料，搜索到谷歌早就奉告了我们哪些文件类型会编入索引，只是我没有碰到过没有意识到罢了!在这里我引用谷歌的一篇文章给年夜家参考一下，正文如下：

谷歌 可将哪些文件类型编入索引?

谷歌 可将年夜大都类型的网页和文件内容编入索引。我们最常编入索引的文件类型包含：

Adobe Flash (.swf)

Adobe 便携式文档格局 (.pdf)

Adobe Postscript (.ps)

Autodesk Design Web Format (.dwf)

谷歌 地球(.kml、.kmz)

GPS 互换格局 (.gpx)

Hancom Hanword (.hwp)

HTML(.htm、.html、其他文件扩大名)

Microsoft Excel(.xls、.xlsx)

Microsoft PowerPoint(.ppt、.pptx)

Microsoft Word(.doc、.docx)

OpenOffice 演示文稿 (.odp)

OpenOffice 电子表格 (.ods)

OpenOffice 文本文件 (.odt)

富文本格局(.rtf、.wri)

可缩放矢量图形 (.svg)

TeX/LaTeX (.tex)

文本文件(.txt、.text、其他文件扩大名)，包含采取常常使用编程语言的源代码：

Basic 源代码 (.bas)

C/C++ 源代码(.c、、.cpp、.cxx、.h、.hpp)

C# 源代码 (.cs)

Java 源代码 (.java)

Perl 源代码 (.pl)

Python 源代码 (.py)

无线标识表记标帜语言(.wml、.wap)

XML (.xml)

如果您在 谷歌 搜索中使用的是 filetype: 运算符(例如，filetype:xml galway)，那么 谷歌 会搜索扩大名为 .xml 的文件，而不是文件类型为 XML 的文件。

并不是所有网址或网页的文件扩大名都是 .html。某些网页(如 .谷歌)底子就没有扩大名，而某些网页的扩大名与其文件类型其实不匹配。只搜索特定的文件类型会返回具有相应文件扩大名的网页，但返回的相关成果可能较少。

引述文章来自：http://support.谷歌/webmasters/bin/answer.py?hl=zh-Hans&answer=35287

看完这篇帮忙文章我就测验测验着搜索看看是不是真的是那样的，我们用查找文件命令来搜索，filetype:txt，取得如下成果：

可以看到排在第一位的是美国地区的一个网站，打开看如图：

按照TXT文本文件的搜索成果，是不是可以联系到我们的robots文件也是文本格局呢?是不是一样会被索引呢?谜底是必定滴!

让我们来搜索一下robots.txt是不是真的如我们上面说的那样会被索引。我们在搜索 框输入 robots filetype:txt ，意思就是查找被索引的robots txt文件。搜索成果如下：

搜索成果证实，我起初对“搜索引擎对robots.txt文件会收录吗?”这个疑虑现在有了明确的谜底，那就是：搜索引擎对robots.txt文件会收录!

今天和年夜家就分享到这里，如有不合不雅点可以和我讨论哈!