如何确保抓取蜘蛛顺利抓取网站信息?来自elliance.com的图表向我们说明要如何保证蜘蛛的道路畅通无阻。
orphan pages:孤立页面
unfriendly seo-cms system:不友好的seo-cms系统;(cms是content management system的缩写,意为“内容管理系统”;seo 是英文search engine optimization的缩写,其中文意思是搜索引擎优化)
bad server configuration:糟糕的服务器配置;
cloaking:障眼法;(指对某一个网页制作了两个版本,让搜索引擎和浏览者分别看到不同的网页内容。搜索引擎抓取这个网页时,获得的是纯粹为了优化 某些关键词而组织的内容,而网页浏览者看到的是另一个截然不同的内容。cloaking-障眼法是典型的seo作弊,搜索引擎一旦识别就会对网站进行严厉 惩罚。)
session-based coding:基于会话的编码;
no error handling:缺少故障处理。