专栏观察

手机厂商们的真假AI相机

美国消费电子协会首席经济学家肖恩•杜布拉瓦茨在他那本《数字命运》中提到了这样一个观点:

数字技术和设备的蓬勃发展,预示着一个人类新时代的开始。除了数字硬件的风靡,人类未来十年的生活将以“全数字化”和“物联网”为特色。数字化所带来的数据浪潮将以闻所未闻的量级席卷我们的世界,渗透进我们的生活。

可不是,多数人想不到的我们一张自拍照的背后,都在不断融入数字化和AI。

2017年谷歌在Pixel 2代手机上加入了自研AI单元,首次实践“AI计算拍照”。此后,用AI改善拍照质量似乎就成了手机厂商们的共识。

谷歌此举甚至还在“倒逼”华为海思、联发科等厂商在最新的SoC硬件上提供AI组件,方便手机厂商进行AI相关的功能开发。

一股芯片级AI相机的潮流席卷而来,不同流派、不同公司在标准、技术之间相互争鸣,共同推动了技术的演进。

AI相机流派

营销也好,实打实的进步也好,为了追赶AI这个概念,手机厂商、处理器厂商都在打AI牌。以至于芯片甚至在相机这个点上都在拼AI。不过,出于成本考量,AI相机正在形成不同流派。

1、APP算法加强派。算法加强派只能算是营销噱头,主要集中在千元机上。

和美图秀秀这类应用通过算法修改图片差不多,可以理解为手机相机APP自带算法调整功能。红米Note5、vivo X21这类市面上的“千元双摄”大多用的是是这种方式。

APP自带算法调节的确可以让照片增强对比度或是通过算法加强景深。问题在于,本身硬件有限,芯片和摄像头里都没有专门的AI处理单元,一到夜晚就会导致画质不佳,原图成像不佳,APP也很难有太大的作为。

2、摄像头+云计算派,在摄像头区域里有一颗专用图像处理协处理器。

即ImageProcessing Unit (IPU),专门用来结合云计算与算法集群处理AI拍照与视频任务,谷歌Pixel 2就是最典型的案例,这也是为什么Pixel 2单摄像头就能搞定其他双摄像头背景虚化的主要原因。

这颗IPU是一颗可编程处理器,共有8个核心,每个核心有512算术逻辑单元(ALU)。在移动设备上,ALU每秒能进行超过3万亿次运算。ALU主要是用Halide来进行图像处理,用TensorFlow处理机器学习。

从营销的角度来看,这套技术基本只有谷歌能用,能实现的功能及支持的第三方应用有限,须要搭载谷歌自研芯片也增加额外成本,基本上只会被Pixel的极客用户认可。国产手机厂商的双摄、三摄、四摄可以在直接观感上征服用户,何必用单摄。

3、芯片处理器派,也就是在芯片处理器中,加入了一颗用于AI计算的芯片。

华为、苹果、三星接连在处理器中加入了独立神经网络处理单元,称作为NPU——比如华为麒麟980。

联发科其实比高通、三星都走得更快一些。早在2018年3月,联发科就改进加强了AI硬件处理单元,将其称之为APU。当时发布的Helio P60直接加入了双核APU——也就是两个独立AI处理单元。这样的处理单元专门用于应付拍照、视频操作。2018年底发布的Helio P90,其中AI专核已升级为APU2.0,为手机提供了强大的边缘AI算力。

联发科在这几个派别的争论中还提出了真AI相机的标准,实现芯片级的真AI相机——从图像传感器sensor尺寸、AI性能、ISP技术三个维度为用户打造真正的AI相机。

高通依旧执着于CPU/GPU/DSP模式期间,联发科已经迭代了三代APU产品,已经在芯片中采用了提升AI性能,改善用户相机体验的策略。

在APU 2.0 架构的支持下,当手机在多核多线程处理AI 任务时,手机反应速度能更快、更省电。AI运算效率提升了,功耗和所需的带宽更少了。

芯片派的崛起

在2018年年末,APP算法加强派基本已经被主流手机厂商淘汰,至少是在旗舰机上淘汰。摄像头+云计算派太过小众,而且不适应国内营销环境,同样没能成为主流。芯片处理器派则是跃升为了所有手机厂商的第一选择。

原因很简单,手机相机硬件、用户应用需求以及相机自身玩法越来越多样了,很多问题只能靠硬件来解决。

就像过去手机处理器“核战”的年代,双核、四核、八核、十核就是带动性能的最佳方式。用AI芯片这种硬件思路面对所有用户问题,同样是最简单、最直接、最干脆也最有效,但也需要技术积累的作法。

1、手机相机成像的整体升级

手机相机CMOS有个核心参数,是CMOS的整体尺寸,俗话说“底大一级压死”,好的旗舰机Sensor像素尺寸≥1.55μm,大底往往在暗光环境中可以捕捉到更多信号,画面更纯净,噪点也更少,夜晚表现往往非常突出。目前市场上符合这一标准的传感器有MIX586,MIX378,MIX380等。

大底当然也有坏处——它需要处理的数据更多。过去原本做ISP影像处理的相机DSP在Sensor像素尺寸≥1.55μm的大底上就会显得相对吃力,容易导致相机发热,功耗增加。除非手机性能真的足够强劲,才能带得动≥1.55μm的大底。

(高通骁龙845的图像处理策略)

未来≥1.55μm的大底必然是中高端手机的标配,想要施展人工智能的作用,必须要有强大的AI性能支撑。同时,芯片上的ISP带来强劲图像处理能力可以提升画质表现。联发科提出的“真AI相机”概念:CMOS Sensor传感器像素≥1.55μm,AI性能跑分≥21000分,Imagiq 三核ISP技术,三个指标加持,才是“真AI相机”,的确是保障手机AI相机的功能性和成像表现的基础。

联发科Helio P90的三核ISP技术带来了强劲的图像处理能力,可以提升画质表现,能够轻而易举带动≥1.55μm的大底。所以你可以看到,2018年年末,高通在骁龙720以及骁龙855上都加入了NPU模块,目的就是跟上行业潮流。

2、短视频、直播创作的风潮

短视频、直播的风潮同样在侧面壮大了AI芯片派。2018年,互联网行业最热的概念除了AI,就是短视频——抖音、快手、微博、微信都在加强短视频功能。用户通过短视频创作内容、分享生活已经成了一股潮流。短视频社交甚至也在成为巨头们发力的方向。今日头条推出了多闪,微信则是在推出即刻视频。

不过,我们不得不说,现在大部分视频都是“AV画质”。不仅分辨率不够高,画面抖动也太厉害。原因就在于大部分手机的摄像头没办法处理如此大体量的数据,而且受到了网络带宽的影响。

随着2019年5G手机的发布,未来用户使用短视频的需求只会愈加庞大。芯片厂商也不得不跟进——加上了专门的摄像头AI处理单元。

像联发科Helio P90这样的处理器,因为具备AI智能ROI区域侦测技术,可以实现重点区域编码,提升视频码率和压缩质量,直播画面时可以更清晰。在多个直播平台都有明显的画面质量提升。5G时代即将到来,视频必将是内容层面的主流趋势,这项技术抓住了视频平台的痛点。

我们可以断言,2019年-2020年,AI处理单元的视频处理能力会成处理器标配。

3、相机的玩法越来越丰富多样

事实上,相机的玩法也越来越多样丰富,比如说苹果的FaceID和Animoji等一系列功能。甚至连百度输入法之类的第三方软件也在安卓机上照搬Animoji。

Animoji的原理是通过一个ARKit应用来记录实时更新的面部网格。使用深度映射来绘制脸部的二维纹理。最终的效果十分逼真,模仿出3A级游戏中的那种动画效果。玩过3A级游戏的用户都知道,游戏画面渲染对处理器要求非常高。挪到手机上拍摄时同样如此——这对相机处理的能力要求也极高。

另外,安卓厂商还在探索其他玩法,比如实时虚拟化身、实时多物识别、焦点直播、人像留色、人脸侦测、AI降噪抓拍、AI降噪夜拍——这些都需要芯片级的AI处理能力来支撑,联发科 P90这样的处理器恰恰具备这些功能,能够过往旗舰机上才具备的功能,搬运到中高端手机上,让大众都能享受这些玩法。

新的超车赛道

过去芯片处理器市场是个简单的上下游关系——上游处理器厂商供货,下游手机厂商采购。在这种关系之中,处理器厂商往往掌握了话语权,一款芯片采购量、采购价,基本都是由处理器厂商说了算。

但是在今天,处理器的CPU+GPU性能已经不再是评价一款芯片的唯一因素。在处理器甚至还要考虑AI处理器的性能。

像在AI Benchmark上的跑分中:麒麟980为21526分,联发科Helio P90为25645分,刚刷新的高通骁龙855为27356分,位居榜首。

可以说,AI芯片正在成为处理器战场的超车赛道。过去芯片厂商在和手机厂商的关系,在生态链中的地位是绝对领头羊,掌握了垄断式的话语权。但现在已经不是单个厂商自娱自乐,控制CPU、GPU性能就能左右手机厂商时代了。

因为芯片厂商不仅仅需要根据手机厂商的需求去提升AI算法、算力,还需要和互联网巨头以及人工智能公司合作,推进AI的生态发展。因为很多AI应用也需要处理器厂商和第三方互联网厂商共同合作实现。

比如说AI处理器的人体姿态识别这样的技术,并不是靠处理器厂商一家实现的,它需要旷视这样的厂商作支撑。旷视科技就和芯片厂商共同合作开发出了包含安全人脸识别解锁、先进影像处理、单镜头背景虚化、智能物体以及手势识别、智能相册分类等AI 应用。

在类似这样的合作中,产业链是个相对平等互动、携手共进的关系,它更像是一个开放合作的生态,而不是过去垄断打压的一言堂。真AI相机,并不是靠一家厂商自己闷头开发而成的,而是更多厂商共同合作、对接、制定标准形成的。联发科在这方面恰恰比一些垄断性巨头姿态更平,做得更好。

垄断、霸权,在AI产业链与手机芯片日益融合的环境下,对用户、对自身并没有太多好处,甚至还在阻碍行业的进步。开放、合作,才是保持行业进步的动力。

----------------------------------------------

作者:深几度,独立撰稿人。微信号852405518,公众号“深几度”,欢迎署名转载。

作者系钛媒体2015年、2016年、2018年度作者;

新浪创事记2018年十大作者;品途网2016年度十大作者;腾讯科技2015年度最具影响力自媒体;

ZAKER新闻2018年卓越媒体榜星级观察员。

关注人工智能、移动互联、数码家电的产业融合,文章在界面新闻、今日头条、搜狐、腾讯、新浪、网易等40余平台发布。

希望看到您的想法,请您发表评论x