今日热议主题
--James Qi 2008年10月27日 (二) 22:01 (CST)
近一年来，网站多次出现负载超高的情况，严重的时候甚至导致根本无法访问，以前还以为是有无聊的人进行攻击，后来仔细研究发现基本上都是一些设计不良的搜索引擎蜘蛛（又称搜索引擎爬虫、搜索引擎机器人）频繁到访造成的。
后来采取了一些办法，例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法，总体来说有一些改善，但偶尔还是会遇到突发性负载增高的情况，最后不得不还是采取封IP的办法来保持网站正常运行。
但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后，得不到相应的收录从而影响网站流量，所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。于是在网上查了一些资料，现在收集整理如下：
以上内容将会逐步添加、修改，希望对遇到同样问题的朋友有帮助。
如果您也知道一些以上没有记录的IP地址段，欢迎留言，谢谢
近一年来，网站多次出现负载超高的情况，严重的时候甚至导致根本无法访问，以前还以为是有无聊的人进行攻击，后来仔细研究发现基本上都是一些设计不良的搜索引擎蜘蛛（又称搜索引擎爬虫、搜索引擎机器人）频繁到访造成的。
后来采取了一些办法，例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法，总体来说有一些改善，但偶尔还是会遇到突发性负载增高的情况，最后不得不还是采取封IP的办法来保持网站正常运行。
但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后，得不到相应的收录从而影响网站流量，所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。于是在网上查了一些资料，现在收集整理如下：
| 蜘蛛名称 | IP地址 |
| Baiduspider | 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* |
| YodaoBot | 202.108.7.215 202.108.7.220 202.108.7.221 |
| Sogou web spider | 219.234.81.* 220.181.61.* |
| Googlebot | 203.208.60.* |
| Yahoo! Slurp | 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* |
| Yahoo ContentMatch Crawler | 119.42.226.* 119.42.230.* |
| Sogou-Test-Spider | 220.181.19.103 220.181.26.122 |
| Twiceler | 38.99.44.104 64.34.251.9 |
| Yahoo! Slurp China | 202.160.178.* |
| Sosospider | 124.115.0.* |
| CollapsarWEB qihoobot | 221.194.136.18 |
| NaverBot | 202.179.180.45 |
| Sogou Orion spider | 220.181.19.106 220.181.19.74 |
| Sogou head spider | 220.181.19.107 |
| SurveyBot | 216.145.5.42 64.246.165.160 |
| Yanga WorldSearch Bot v | 77.91.224.19 91.205.124.19 |
| baiduspider-mobile-gate | 220.181.5.34 61.135.166.31 |
| discobot | 208.96.54.70 |
| ia_archiver | 209.234.171.42 |
| msnbot | 65.55.104.209 65.55.209.86 65.55.209.96 |
| sogou in spider | 220.181.19.216 |
如果您也知道一些以上没有记录的IP地址段，欢迎留言，谢谢