查找错误页面的途径有很多，首先可以从谷歌管理员工具中的“Crawl Errors（抓取错误）”着手（Crawl->Crawl Errors）。在新站点重新上线几周后，我发现了下图中的几个问题：
基于1个网页-相关网页
从你的网站管理员工具账户中删除抓取错误。
我的简单爬虫软件包含三个视图可以爬行的过程，检查细节，并查看抓取错误。
My simple crawler contains three views that can follow the crawling process, check the details, and view the crawling errors.
寻找重定向页面在抓取设置中保持“视重定向为错误Treat redirections as errors”。
Find redirected pages keep "Treat redirections as errors" in the crawl preferences.
应用推荐