3.12.1 robots文件检查

整个网站不能收录或某个目录下所有页面都不能收录，经常是因为robots.txt文件差错引起的。站长工具抓取部分robots文件测试工具，如图3-34所示。

图3-34 Google站长工具robots文件测试工具

站长可以在这里测试robots文件指令是否正确，输入一个网址，点击“测试”按钮，看输入的网址是否可以被抓取或是被禁止，以及被哪一行指令禁止，如图3-35所示。

图3-35 在Google站长工具测试页面是否被robots文件禁止爬行

robots文件中的任何一个字母差错都可能造成致命影响。有了这个工具，站长可以确保robots文件中的每一行代码正确，不会错误禁止应该被抓取的文件或目录。