Robots.txt生成器(由Ann Smarty设计)是一个简单易用的工具，可以创建适合你的网站的Robots.txt指令。当搜索引擎蜘蛛浏览一个网站时，他们通常会先在根域级别识别Robots.txt文件。在识别过程中，爬虫会读取文件指令来识别可以被阻止的目录和文件。被阻止的文件可以通过robots generator.txt来创建；这些文件在某种程度上来说，与网站的网站地图相反，当搜索引擎扫描一个网站时，通常会包含一些页面。 要下载一个现有的文件并预装生成器，请在提供的文本框中输入或复制/粘贴根域名URL，然后选择下载。请注意，默认设置为 "允许"。要在你的列表中应用一个新的指令，请点击 "添加指令"。要指定一个或多个特定的搜索引擎爬虫的替代指令，选择 "用户代理 "复选框，默认情况下显示(*)，以指定机器人。