谷歌网站入门，什么是Robots.txt？
在网站中，我们可以控制谁可以对我们的网站进行爬网和索引，甚至可以深入到各个具体的页面。要想对此进行控制，我们需要利用到robots.txt文件。
Robots.txt是一个简单的文本文件，位于我们网站的根目录中，它告知搜索引擎派遣的机器人哪些页面要抓取，哪些页面要忽略。我们可以以他们希望的方式，向Google展示我们的网站。如果正确使用Robots.txt，可以提高抓取频率，对于我们进行SEO有很大的好处。
那什么是Robots.txt文件？
早在互联网诞生初期，它就有能力做很多事情，开发人员设计了一种方法来对网络上的新鲜页面进行爬取和索引。他们称这些为“机器人”或“蜘蛛”。
有时候，这些“机器人”或“蜘蛛”会进入到不希望被爬网和建立索引的网站上，例如正在维护的网站。世界上第一个搜索引擎的创建者Aliweb推荐了一种解决方案，每个机器人必须遵循各种路线图。该路线图由一批精通互联网的技术专家于1994年6月最终确定为“机器人排除协议”。
robots.txt文件是该协议的执行。该协议描述了每个真实的机器人（包括Google机器人）必须遵循的准则。根据定义，某些非法机器人（例如恶意软件，间谍软件等）在这些规则之外运行。我们可以通过输入任何URL并在末尾添加：/robots.txt来窥视任何网站。
