You can test whether a directory has been blocked correctly using either the Fetch as Googlebot or test robots.txt features in Webmaster Tools.
你可以使用网站管理员工具中的“像Googlebot一样抓取”或者“测试robots . txt”功能来检查目录是否被正确拦截。
If you haven't been using this great tool yet, login to the Google Webmaster Tools, then add and verify your site.
如果你还没有使用这个强大的工具，登录到Google Webmaster Tools，然后添加并检验你的网站。
Detecting and removing invalid URLs using Google WebMaster tools.
使用Google网站管理员工具检测并移除无效链接。
应用推荐