网络抓取错误报告

显示网址： HTTP ‎(0)‎ - 受 robots.txt 限制 ‎(0)‎ - 在 Sitemap 中 ‎(42)‎ - 找不到 ‎(6,085)‎ - 无法访问 ‎(249)‎ - 无法追踪 ‎(0)‎ - 超时 ‎(0)‎

找不到 ‎(6,085）：详细资料：404 （找不到）。

404页面就是当用户输入了错误的链接时，返回的页面。
404页面的目的是：告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。

404对seo的影响
　　自定义404错误页面是增强用户体验的很好的做法，但在应用过程中往往并未注意到对搜索引擎的影响，譬如：错误的服务器端配置导致返回“200”状态码或自定义404错误页面使用Meta Refresh导致返回“302”状态码。正确设置的自定义404错误页面，不仅应当能够正确地显示，同时，应该返回“404”错误代码，而不是 “200”或“302”。虽然对访问的用户而言，HTTP状态码究竟是“404”还是“200”来说并没有什么区别，但对搜索引擎这则是相当重要的。比如我的这个酷狗下载站，自定义错误页面以后，很多抓取错误都已经解决！
　　通常来说，搜索引擎蜘蛛在请求某个URL时得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除，当然，删除过程有可能需要很长时间；而当搜索引擎得到“200”状态码时，则会认为该url是有效的，便会去索引，并会将其收录到索引数据库，这样的结果便是这两个不同的url具有完全相同的内容：自定义404错误页面的内容，这会导致出现复制网页问题。而且我要提醒各位站长的是：轻则被搜索引擎降权，重则会Ｋ掉网站。

那么我们应该如何实现一个良好的404页面呢？
虽然改变服务器默认错误页面就可以达到效果。下面是一些可以使得访客轻松实现正常访问的建议。
所要遵循的理念：
　　提供简明的问题描述，消除访客的挫败感。
　　提供合理的解决方案，辅助访客完成访问目标。
　　提供个性化的友好界面，提升访问体验。
404页面一些错误的设置方法：
　    1. 对于存在的网页内容由于路径改变而导致访问不了时，可在IIS 中定义404错误指向一个动态页面，这样用户在访问时，在页面里面使用301永久重定向跳转到新的地址，此时服务器返回301状态码。
　　2、设置404指向一个设计好的html 文件，此时页面返回的404状态码。 现在的idc提供商基本都提供404设置的功能，直接上传文件设置即可。如果是个人服务器，在IIs中设置方法：打开IIS管理器-->点击要设置自定义404的网站的属性-->点击自定义错误选项-->选中404页-->选中并打开编辑属性-->设置成 URL --> URL 里填写“/err404.html”-->按确定退出再把做好的err404.html 页面上传到网站根目录下。此处在“消息类型”中一定要选择“文件”或“默认值”，这一点非常的重要，而不要选择“URL”，不然，将导致返回“200”状态码。
　　3、404指向一个动态页面，比如error.asp,如果不在页面里面进行设置，仅仅是返回提示的HTML 代码，将导致页面返回200 状态码，这是不正确的，我们可以在显示完提示内容后，增加语句： Response.Status="404 Not Found" ，这样就保证页面返回404状态码。 这个方法实现起来效果很明显。
　　4、Apache下设置404错误页面。为Apache Server设置404错误页面的方法很简单，只需在.htaccess 文件中加入如下内容即可，ErrorDocument 404 /notfound.php

总之，404页面的设置，不仅仅是出于SEO的考虑，更是对用户体验的负责，请各位站长能足够的重视。更多内容请访问：酷狗2010或者kugou论坛。