关于手机里的芯片及其组成，我们比较熟知的有CPU、GPU、基带、NPU和ISP，甚至连射频芯片和PMIC也都有人听过。但其实除此以外，有一类芯片正在手机中扮演重要角色，那就是视觉处理器。

而之所以会催生这样一个芯片需求，源于当下手机芯片架构和有限的性能提升已经无法满足手机应用（尤其是游戏）高速发展对硬件性能的迫切需求。


视觉处理器，弥补手机性能差距

回看智能手机过去十几年的发展，厂商除了在显示分辨率和性能上持续更新以外，拍照能力以及音频表现力在近年也成为了大家关注的焦点。虽然在有些消费者看来，现在的手机性能过剩，但其实在视觉方面，手机厂商们正在面临一个新的挑战——手机游戏。

正如逐点半导体COO白农先生在日前的一个演讲中指出，现在的移动设备领域兴起了一个新的趋势，那就是游戏开发者也正在努力把桌面级的3A游戏搬到智能手机等移动设备上。随之而来的问题就是，传统的手机系统面临严峻的挑战。

“如果我们再往前看，网络的内容很快也会进入3D化，再加上空间计算的内容和未来AI大模型提供的内容会更加丰富，对系统的要求就会更高。”白农进一步指出。

逐点半导体CEO熊挺先生也在同场的演讲中说道，游戏在很多场合正在成为一个手机性能的标杆。随着手游精品化的发展，其在算力方面会对手机的CPU和GPU提出一个比较高的算力要求，这也将体现在在空间分辨率（图像分辨率）和时间分辨率（帧率）方面，还有细节的呈现以及画质调优等等诸多的方面。

据熊挺所说，近来一些高负载的技术（包括光追也逐渐得到应用），对手机的渲染算力要求越来越大。他同时也坦言，在一个系统中，游戏体验的提升永远聚焦在算力、功耗、散热及续航能力等几个方面的取舍和博弈。例如，受限于手机本身的尺寸限制，更强的GPU，往往会带来更大的发热，而手机的散热面积有限，这必然会引致性能的下降。也正是因为这些制衡，使得手机旗舰芯片和PC独立显卡之间算力的差距高达24倍。

于是，如何弥补手机上的这个差距，就成为了行业的工作重点。而在熊挺看来，在手机视觉处理的计算架构上做出改变会是一个不错的答案。

熊挺表示，在多年前，逐点半导体就率先地提出了系统级的分布式计算概念。简而言之，就是GPU仅处理少部分的渲染运算,具体做法就是基于模型的渲染，输出一个相对低帧率的图像。然后，再利用渲染加速引擎做一个基于图像渲染的二级处理。“这种渲染具备低功耗和高效率的特性，让整个系统的功耗得到了降低。”熊挺强调。

其中，渲染加速引擎正是逐点半导体近年来专注的方向之一，公司也推出了多代的视觉处理器来更高效地提升手游的渲染效率。

提升手游体验的唯一办法

“直接影响移动游戏体验的有四个维度。”完美世界游戏副总裁徐丹指出，“第一个是比较直观的帧率，包括交互的流畅性。第二个是画质和效果。第三个是续航和待机。对于长时间玩游戏的玩家来说，握持稳控也非常重要。”

这四个维度之下，是对手机SoC处理能力以及功能的要求。随着手游市场的快速增长，手机SoC的性能也在不断升级，特别是旗舰级手机SoC，大幅升级CPU和GPU，还增加光线追踪以实现媲美PC端和游戏机的游戏体验。

与此同时，手游制作也呈现了精品化的趋势，空间分辨率，时间的分辨率（帧率）更高，光线追踪的应用，都需要更强的CPU和GPU。

“图像的处理最终会变成像素级的处理，涉及大量的数据。手游制作的越来越精良，屏幕的素质越来越高，即便手机SoC的GPU有很强的并行能力，也面临很大压力。”逐点半导体资深市场总监房军表示，“我们公司专门做视频和图像处理，看待这个事情的角度和传统的CPU、GPU、手机应用处理器公司不太一样。”

“我们没有包袱，要以一个全新的视角解决这个问题。”房军进一步表示，“我们提出的渲染加速就是要对像素并行处理，利用我们的算法，加上固化的芯片，整个计算的范式不太一样，可以实现效率的大幅提升。”

以最新发布的逐点X7 Gen 2视觉处理器来看，集成了三大引擎，包括第四代的运动引擎、人工智能超分引擎以及多层画质引擎，能够提供4倍的帧率，4倍空间分辨率，以及更精准的色彩表现和身临其境的HDR效果。

X7 Gen 2视觉处理器是逐点首次引入基于高效神经网络算法的AI游戏超分技术。

“这个引擎建立在我们多年对运动、图像处理的认知之上，自主研发了高效的深度学习架构，内置神经网络处理器，通过模型的训练得到AI超分的效果。”熊挺特别强调，“三个引擎可以同时打开，效果也非常显著，可以让手机SoC上的CPU和GPU只需要做1/16的渲染工作，大幅节省功耗。”

在当下非常流行的某大型沉浸式游戏上面一个简单的测试，在1080P分辨率和60帧的帧率下，在逐点X7 Gen 2视觉处理器的渲染加速支持下，整机的功耗可以节省2瓦，2瓦对于非常在意功耗的手机来说是一个非常大的数字。


愈发明确的市场现状

索尼在2020年5月推出了两款“智能视觉传感器”——IMX500与IMX501。该公司宣称，这是全球最早加入了AI处理能力的图像传感器。这两颗芯片的传感器部分，是比较典型的背照式CMOS；而集成的边缘AI处理部分，包含了DSP的逻辑芯片，也包括了AI模型所需的临时存储空间，属于比较典型的边缘AI系统。更严谨地说，IMX500/501恐怕不应仅定义为“传感器”。

这两颗芯片在配合云服务的情况下，在数据处理阶段仅获取元数据作为输出，这样能够降低数据传输延迟，减少功耗与通讯的成本。这类设计的本质是：将部分“后处理”的能力集成到图像传感器上。这样一来，录制视频时就能进行更高精度、实时的对象追踪。目前，这两款传感器主要应用于零售、工业设备。

2020年中，Yole Developpement发布了一份题为《2019图像信号处理器与视觉处理器市场与技术趋势》的报告。该报告明确提到：“AI彻底改变了视觉系统中的硬件，对整个行业都造成了影响。”

“图像分析增加了很多价值。图像传感器供应商们开始对将软件层集成到系统中感兴趣。如今图像传感器必须跳出单纯的捕获图像这一能力之外，再对图像做分析。”

“但要跑这样的软件，就意味着高算力和存储需求，也就有了视觉处理器的出现。ISP市场2018-2024年的年复合增长率稳定在3%，即ISP的市场价值到2024年会达到42亿美元。与此同时，视觉处理器市场也会迎来爆发增长，2018-2024年的年复合增长率为18%，到2024年，其市场价值会达到145亿美元。”

这个值当然仍未达到COMS年度总价值，上述两个市场相加才大约超过今年的COMS市场规模（今年COMS行业产值预计为172亿美元）。这还需要注意，COMS市场的增速正在放缓以及此处并未考虑视觉处理芯片配套的软件市场。起码索尼认定，其长期的市场发展潜力大于COMS市场本身。Yole Developpement的预测数据显示，ISP在市场中所占比重将逐步降低，而更注重计算的视觉处理器显然更为紧俏。

值得注意的是，很多传统的行业参与者，在应对AI趋势时显得比较局促。这也让其他更多参与者加入到业务竞争中，比如苹果、华为，Mobileye这样的初创公司，甚至其他领域的企业，像是英伟达。这是成像市场扩展了纵深的表现。