随着通信和互联网技术的进步，特别是智能定位器的普及以及4G、5G移动通信技术的成熟和发展，***、视频游戏等各种视频娱乐方式层出不穷，普通用户对视频的消费需求也越来越大。《2018思科视觉网络指数报告》预测，到2022年，82%的互联网流量将由视频创造。

除了日常生活中的娱乐和交流，视频也在更多的行业场景中大显身手。比如以视频技术为核心的安防领域，智能工厂对工人行为的视频监控和识别，辅助和自动驾驶中摄像头记录的视频图像的实时检测环境，以及近年来越来越多的明星也参与其中的视频直播营销，等等。同时，随着计算机视觉(CV)技术在AI领域的蓬勃发展，CV+视频的技术组合将在越来越多的应用场景中发挥不可或缺的作用。

然而，海量的视频数据给视频的传输、存储等处理带来了巨大的挑战。视频压缩、编码和解码等视频处理技术变得非常重要。用户在观看视频时，希望体验更高的画质和流畅度，这些都依赖于更高效的视频处理技术。多年来，计算机中的视频解码大多是由CPU来完成的，虽然好用，但效率不是很高。使用GPU解码视频是另一种选择。随着短视频等应用的兴起，在具有特殊解码单元的***等移动终端上进行实时视频解码成为一个新的发展方向，对视频直播等实时视频业务具有重要意义。

同时，随着人工智能领域深度神经网络的发展，越来越多的企业在探索如何用神经网络为自己的产品赋能。骁龙SoC中的AI引擎完全集成了神经网络能力，其中硬件组件Hexagon vector处理器支持8位定点加速神经网络运算，软件组件骁龙神经处理(SNP)SDK支持CNN、LSTM和自定义层。

旗舰SoC骁龙888集成的第六代高通AI引擎，实现了26 TOPS的AI计算能力。神经网络处理SDK带来了一系列改进，增加了对RNN模型的支持，帮助定位器端到端AI的性能迈上新台阶。

那么，有没有可能将AI engine所蕴含的巨大计算能力更广泛、更深入地应用到视频领域呢？最近，高通在这方面做了更多的尝试，使用骁龙888内置的AI引擎和CPU来解码视频。结果表明，基于神经网络的神经视频解码效果良好。

高通研究院的新工作实现了业界首个基于软硬件结合的神经视频***，在商用智能定位器上实时运行，对分辨率接近720p高清的视频实现了30 fps以上的实时解码。

从软硬解码到AI神经视频解码

视频编解码作为一项重要的视频处理技术，广泛应用于通信、计算机和广播电视领域，并催生了网络电视、广播电视、数字电影、远程教育和会议电视等一系列实际应用。

就主要功能而言，视频编解码技术是在可用的计算资源内追求尽可能高的视频重建质量和压缩比，以满足带宽和存储容量的要求。视频编***是一种可以压缩或解压缩数字视频的程序或设备。

长期以来，基于CPU的软件编解码技术(也称为软解码)一直主导着市场，例如英特尔在其CPU中内置的视频编解码引擎和开源软件FFmpeg中的libavcodec***。虽然好用，但是会占用CPU资源，增加功耗，而且编解码效率不高，容易造成卡顿、花屏等异常现象，影响其他应用的正常运行。

因此，使用GPU或专用处理器对视频进行编解码(也叫硬解码)成为了另一种选择。比如NVIDIA推出的基于GPU的硬件解码模块NvCodec，不仅可以达到很好的编码性能，而且使用显卡编码不会占用太多系统资源，不会影响应用性能。

然而，日益增长的视频消费需求对未来的视频编***提出了更高的要求，视频编***应具有以下功能:

比特率和感知质量指标的直接优化简化的编***开发内在的大规模并行性高效执行和更新已部署硬件的能力可下载的编***更新

随着深度神经网络(DNN)技术的显著进步及其在计算机视觉和通信系统中的广泛应用，基于神经网络的视频编***有可能提供上述所有期望的功能。具体来说，这种视频编***不仅可以运行在为其他AI应用开发的AI硬件加速器上，还可以实现更高效的熵编码并行化。

在这种潜力的驱动下，神经网络视频编解码成为过去几年的研究热点，如2017年Google提出的Hyperprior自编码器，18年上海交通大学等机构提出的端到端深度视频压缩框架，2020年Google研究院感知团队提出的面向端到端优化视频压缩的Scale-Space Flow。这种神经视频编***显示出显著的压缩性能，并缩小了与传统编***的差距。

基于AI的压缩有绝对优势。

但也需要注意的是，将AI研究从实验室带到实际应用场景往往并不容易。这也意味着neurovideo编***的实际部署面临巨大挑战。相关研究大多使用具有壁驱动浮点计算的高端GPU，神经网络模型架构往往没有针对快速推理进行优化。因此，对于具有固定计算、功率和温度约束的移动设备，在这种神经网络***模型上运行实时推理是不切实际或不可行的。

在骁龙888 SoC的商用智能***上，高通AI研究院基于软硬件结合的神经网络视频***取得了新的突破。

利用骁龙888的CPU和AI引擎，实现了30+fps的高清视频解码

凭借在节能人工智能方面的专业知识和骁龙888平台强大的人工智能计算能力，高通在商用智能定位器上实现了实时帧内神经视频编码。高效视频编码(HEVC)中的帧内编码可以看作是高端视频编码(***C)的扩展，采用空之间的采样预测进行编码。帧内编码和帧间编码的共同部分包括转换、量化、熵编码等。为此，高通AI研究院在以下几个方面进行了优化:

重新设计网络架构以降低复杂性；

在人工智能推理机上量化和加速神经网络；

使用并行熵编码。

基于上述优化，高通在骁龙888移动平台上利用CPU和AI引擎开发了一种基于软硬件结合的神经视频***，可以在没有视频解码单元任何帮助的情况下，以超过30fps的速度解码分辨率为1280×704的高清视频。骁龙888集成了第六代高通人工智能引擎。作为一套完整的处理器协作系统，这一代AI引擎包括重新设计的Hexagon 780处理器，实现了速度通信、专业图像、游戏体验等各方面的AI。

具有高效解码性能的8位模型

***架构优化、并行熵解码(PEC)和AIMET量化感知训练是高通AI研究院在智能定位器上实现高效神经编码的三个重要步骤。

在第一步中，基于SOTA帧对压缩网络，通过修剪信道和优化网络操作来实现***架构优化。它由骁龙888内置的人工智能引擎加速，降低了计算复杂度。

其次，创建一个快速并行熵解码算法。该算法可以利用数据级和线程级的并行性，从而获得更高的熵编码吞吐量。在高通方案中，骁龙888的CPU用于处理并行熵解码。

第三，将优化模型的权重和激活度量化为8比特，然后通过量化感知训练来恢复率失真带来的损失。这里，使用了高通创新中心的AI模型效率工具包(AIMET)。这个工具于2020年5月推出，是开源的。它是一个支持神经网络模型训练的高级量化和压缩技术库。

通过这三个步骤，高通人工智能研究院构建了一个具有高效解码性能的8位模型。

AI解码的效果

在演示设置中，高通人工智能研究院选取了一段分辨率为1280×704(接近720p高清)的视频，通过离线运行***网络，熵解码，生成压缩比特流。然后，压缩后的比特流由运行在骁龙888移动设备(商用智能定位器)上的并行熵解码和***网络处理，其中并行熵解码运行在CPU上，***网络在第六代高通AI引擎中加速。

最终，高通AI研究院得到了一种神经解码算法，在1280×704分辨率的视频中实现了每秒30帧以上的解码速度。下面是一个商用智能定位器上的neurovideo解码的动态演示，右上角是视频解码速度(Speed)和同一视频帧的迭代次数(Loop)，右边是运行时间内的平均比特率(Bits per Pixel per Frame，BPF)。

在Demo演示中，视频和解码参数设置为高质量，并选择了一系列具有挑战性和精细纹理的自然场景。在实现30帧以上解码速度的同时，神经解码网络精确地保留了丰富的视觉结构和纹理，实现了非常好的场景再现。比特率符合全帧内配置和选择的质量，表明这种神经视频***能够支持高质量视频流所需的数据吞吐量。

因为基于AI的编***可以生成比特流中没有的视觉细节，所以相同或更高质量视频的比特率应该低于传统编***。这也意味着视频编***将由软件和硬件共同驱动。任何新的编***都可以由SoC中的CPU和内置的AI加速器来处理，只要它们足够强大。

目前这款神经视频***只支持帧内解码，也就是说视频的每一帧都是独立解码的，不需要像其他视频编***那样考虑帧间的细微变化。据报道，高通将继续研究移动设备上的实时帧间视频解码。

就本研究的意义而言，虽然骁龙888 SoC上30 fps+高清视频的实时解码还有待提高空，但定位器端AI计算能力和图像能力的释放，可以为***用户带来更丰富的视频应用和更清晰流畅的观看体验。比如最近发布的骁龙888 Plus移动平台，只是在骁龙888的基础上进行了部分升级，但其AI计算能力却达到了惊人的32TOPS，进一步大幅升级；再加上高通的持续深入研究，可以预见AI对高清视频的实时解码能力很快会进一步提升。

除了定位器平台，高通还将人工智能在视频处理方面的能力引入到其他应用平台，如PC、XR和汽车。例如，全球首个5G增强现实平台骁龙XR2的AI性能比原XR提升11倍，大幅提升视频处理能力；在PC的第二代骁龙8cx 5G计算平台中，具有AI能力的Spectra ISP支持4K HDR画质视频拍摄和背景虚化；第四代骁龙数字汽车平台增强了图形、计算机视觉和人工智能的功能，可以为驾驶员和乘客提供更加智能和舒适的视频服务。

所以，从更大的角度来看，利用AI计算能力进行视频处理，代表了未来的一个发展方向，势必会赋能更多的应用场景。