专栏观察

腾讯因作弊被世界三大杀软测试机构处罚

  5月5日,世界最著名的三大权威杀毒软件测试机构德国的AV-TEST、奥地利的AV-Comparatives和英国的Virus Bulletin联合发布声明,公开谴责了中国软件厂商腾讯,称腾讯电脑管家明显存在针对测试的作弊行为。三大机构宣布撤销腾讯今年以来获得的所有认证和奖项,并且会在今后的测试中对参加测评厂商提出更严格的要求,以保证用户获得最准确的信息。

  三大机构联合发布的声明中称:经过深入调查,我们确定腾讯在AV-TEST性能测试中做出针对性调整以优化成绩,这些调整对普通用户没有任何意义,而且会降低产品实际的防护能力。这些行为已经证实存在于腾讯测试产品近期的公开下载版本中。

  包括AV-TEST、AV-C、Virus Bulletin在内的三家测评机构,将对参加测评厂商提出更为严格的要求,以防止厂商在测评中使用欺诈手段,并决定取消腾讯产品在2015年测评中获得的认证和奖项。​

  

 

  图1:AV-Test声明  

 

  图2:VB100声明

 

  图3:AV-C声明

  记得在不久前,腾讯电脑管家获得了VB100的认证,为此,腾讯甚至用右下角弹窗的方式来庆祝,时隔两个月左右,腾讯在安全领域却遭此“横祸”,这就不得不让人怀疑,腾讯在之前的三大机构测评当中,是不是采取了作弊造假行为?

  对此存疑,AV-TEST调查报告给了我们一个答案:腾讯电脑管家在14个月内评测成绩大幅提升,经调查发现腾讯针对测试环境进行“优化”,通过作弊手段提升测试成绩,降低安全性。

  AV-TEST调查报告称,在过去14个月里,腾讯是拥有最大标准偏差的产品,标准偏差为3.36,而平均值为1.3。这表现了腾讯的产品在这段时间内结果的巨大差异,尤其是从8.10版本到10.4过度过程中,变化非常明显。而12月的测试仅显示轻微改善,但是在2015年1月开始又出现一个巨大的进步,直到3月腾讯的性能几乎没有影响。

  基于此,AV-TEST开始检查腾讯8.10版本和10.4版本之间的差异。AV-TEST发现一个文件名为“av.dat”的某种设置文件。它不是一个可读文件格式,但可以很容易地进行解密。解密后发现,列出的程序和文件名都是被用于AV-TEST的性能测试的程序。而在进一步调查后发现,1月和3月也曾出现了类似情况。

  而这些现象表明了什么现象呢?AV-TEST方面给出的分析解释称,假设这些属性是用来告诉产品在那些文件被存取的时候可以跳过扫描或是检查,这对于性能测试是重要的。因为,如果产品不需要扫描这些文件,就可以省下很多时间进而在这些文件的测试上得到好的性能成绩。

  腾讯在产品中使用Avira和他们自己的云引擎,而且这些属性只会影响他们的云引擎。这些配置在av.dat的文件名不会被腾讯的云引擎检查但依然会被Avira引擎检查。为了验证这个说法,必须找到不会被Avira检出但会被腾讯云引擎检出的文件。AV-TEST为保证调查的严谨性重命名这些文件,为AdbeRdr.exe来检查这些文件是否会被报出。

  最终测试结果显示,这些重命名的文件不再被检出了,很明显的,腾讯的云引擎不会去扫描带有特定的文件名或是数字签名的文件。这是一个以牺牲整体防护能力为代价,操纵AV-TEST性能测试结果的产品。

  正式因为追求成绩,腾讯选择降低整体防护能力来适应测试环境,这种做法与作弊无异。而腾讯也将因自身的盲目而付出代价。

 

希望看到您的想法,请您发表评论x