不知道大家有没有发现,我们手机后面的摄像头正在变得越来越多,像素越来越高,而我们的日常拍摄效果也越来越好。比如超广角镜头、微距镜头等手机摄像头的增加,不仅可以让我们能玩得转更多拍摄场景,而且像双主摄这样的组合,能实实在在提升成像素质。
但是,为什么我们在夜晚拍摄或拍视频时依然觉得手机成像还不行,还是没有单反等专业机器拍出来的好呢?当然,这和拍摄者的拍摄技巧有很大关系。但是排除这些要素,手机究竟要怎样提升,才能拍好夜晚和视频场景?
面对复杂场景,手机该如何提升拍摄质量?
我们都知道硬件是手机影像的基础,手机影像硬件配置决定了我们手机成像素质的上限。关键的手机影像硬件有三部分:透镜系统、图像传感器和图像信号处理器。
手机的成像过程大致可以这样描述:当我们举起手机拍下一张照片,拍摄的景物首先要通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过ISP加工处理,再被送到手机处理器中进行处理,最终转换成手机屏幕上能够看到的图像。
拆解这个过程我们发现,影响手机成像最关键的三个硬件分别是:镜头、图像传感器和ISP(图像信号处理器)。
摄影是讲究用光的艺术。所以,负责将光学图像转换成电信号的图像传感器就特别重要。也因此摄影师圈子里流传着一个不变真理“底大一级压死人”。这里的“底”,指的就是传感器,而大底就是说传感器的尺寸很大。传感器面积越大,可以处理的光信号就越多;光信号越多,意味着可呈现的内容就越多,因此成像效果也越好。
传感器尺寸之外,影响成像最关键的要素就是像素。我们见到的每一张图像都是由“色点”组成的,每一个色点就称为像素。一张图片由50万个色点组成,那么这张图片的像素就是50万。毫无疑问,相同条件下,像素越高,图片的清晰度也就越高,成像效果也越好。不过,像我们现在发展到1亿甚至过一段时间2亿像素都会出来了,实际上1亿像素和2亿像素的成像差距也并不是很大了,至少来说完全没有从百万像素到千万像素的提升那么明显。
而由于手机尺寸的限制,传感器尺寸和像素都不可能无限发展,并且另一方面,像素这东西越发展到后期,其实对于我们日常拍摄的提升幅度越小。所以,要想进一步显著提高手机拍摄的成像质量,就得另谋出路。
于是,镜头和ISP就进入了手机厂商的视野。而把这两个方面的硬件素质双双提到目前行业顶尖水平的手机厂商,就是vivo。
vivo为什么要自己研发ISP芯片?
9月9日,vivo X70系列正式发布。这次vivo在影像上带来了两大影像硬件突破:自主研发的V1芯片以及vivo蔡司联合影像实验室带来的光学镜头突破。有很多人说,为什么vivo不直接造SoC芯片,反而去造一个不怎么被看好的ISP芯片呢?今天,我们不妨来说说。
我们上面说到,ISP是手机影像的三大关键硬件。这次vivo自主研发ISP芯片V1,其在影像上持续攀高的决心不可谓不大。不过,在说这个ISP芯片在影像上带来的功效之前,我们还得看看vivo的首款芯片V1有什么意义?
芯片被卡脖子一直以来是国产手机的阵痛。无论是反思前辈华为芯片被卡脖子之后市场份额的急速下滑,还是考虑到自家以后长远的发展,手机厂商们都有理由在造芯上放手一搏。
但是,造芯并不是“请客吃饭”,一次流片失败,就要损失上千万,稍有不慎就会倒闭破产。所以,相比造SoC这种复杂芯片,ISP这种功能比较纯粹,制造难度相较SoC芯片要简单一些,这是vivo选择造ISP芯片的关键原因。
对于手机厂商来说,制造ISP芯片是一个比较现实的选择。由易到难,造好ISP芯片,以后积累了更多经验,再徐徐图之。而且,ISP芯片相比于SoC中的其他部分,胜在更容易被用户感知。这很好理解,ISP负责拍摄时成像的处理,如果效果好就会直接表现在拍摄效果上,直接呈现在用户发朋友圈九宫格的点赞数量上。
影像功能是消费者关注的重点,vivo无论是要给消费者带来优异的影像体验,还是想在影像大战中胜出,光靠堆积像素和攒摄像头肯定不行,所以ISP成为了实现差异化的关键之一。而且vivo手机出货量巨大,自研芯片如果成功最终可以转化为整机的成本优势。
不过,相比这些,目前我还是最关注ISP在vivo X70系列上带来的影像提升效果。
ISP最大的特点是可编程性,经过不同方式调试后的新算法会和集成原厂算法拉开差距。目前市面上绝大部分手机都使用的SoC芯片自带的集成式ISP,很少有像vivo这样的独立ISP芯片。所以,光是有了这款独立芯片,就已经和其他手机在成像上拉开了差距。
还别说,vivo过去也有过定制芯片的经验。在vivo X1和XPlay上定制的Hi-Fi芯片,以及vivo X9 Plus上的DSP图像芯片,都带来了不错的效果。
V1芯片的最大特点是带来了影像算力的跨越式升级。
我们前面提到,手机像素越来越大,摄像头数量越来越多,导致集成在SoC里的ISP芯片需要同时处理的数据量越来越大。但是,手机厂商们的旗舰机除了依靠高通、联发科每年发布的一两款芯片来解决这个问题,便束手无策了。
这一方面造成高端旗舰做不出差异化的影像功能,另一方面即便是配备上了更多的镜头、更高的像素,但是集成ISP提供的算力并不能很好地支持如此大的运算量,特别是在短视频、Vlog越来越流行的今天,视频流对于ISP除了有画质的要求之外,最大的挑战就是实时性。要实时处理4K甚至8K视频的海量数据,呈现完美的影像效果,处理器性能是一大瓶颈。
所以,这次vivo V1芯片通过自研影像芯片与主芯片软件算法协作,实现软硬结合,来改善用户的影像体验。
V1芯片这次带来的最大效果就是算力呈指数级提升。在主芯片ISP强大成像能力基础上,叠加V1内计算成像算法,得到1+1>2的成像效果,既可以像我们日常使用的CPU一样高速处理复杂运算,也可以像GPU和DSP一样,完成数据的并行处理。
可以说,由于V1就是专为这种实时高负载设计,所以天生就具有高算力、低延时这两个特点。为了实现同期处理能力最大化,vivo创新的优化了数据在芯片内部的储存架构和高速读写电路,实现等效32MB的超大缓存,全片上储存。超越了目前旗舰级桌面电脑处理器16MB到24MB的数量级,读写速度高达35.84Gbps。
不过,让V1脱颖而出的,是V1不仅能做到高性能,而且还有低功耗的特点,可以说是具有很高的能效比。相比软件实现的方式,V1的专用算法硬件电路功耗降低了50%。可以说是“能力更强,功耗反而更低”。
写在最后
vivo作为国产智能手机四巨头之一,它加入造芯,毫无疑问会对我国半导体产业产生巨大影响。通过vivo庞大的智能手机出货量拉动半导体相关产业需求,进一步帮助提高我国半导体产业水平。
而此次vivo V1芯片在X70系列上首次搭载,加上vivo蔡司联合影像实验室带来的光学镜头,使得vivo在光学镜头和ISP这个对于成像至关重要的两大硬件上,开创了一个行业新局面,让影像发展上升到了新的台阶。