一种AI视频处理方法与装置制造方法及图纸

本发明专利技术公开了一种AI视频处理方法与装置，方法包括：通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡；基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而接入更多或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并解除临时协作关系。本发明专利技术能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。

An AI video processing method and device

【技术实现步骤摘要】
一种AI视频处理方法与装置
本专利技术涉及计算机领域，更具体地，特别是指一种AI视频处理方法与装置。
技术介绍
由于大数据产业的发展，数据量呈现爆炸性增长态势，而传统的计算架构又无法支撑深度学习的大规模并行计算需求，于是研究界对AI(人工智能)芯片进行了新一轮的技术研发与应用研究。AI芯片是人工智能时代的技术核心之一，决定了平台的基础架构和发展生态。按照技术架构分类，现在主流的AI芯片有GPU(图形处理器)、全定制化(例如ASIC)芯片、半定制化(例如FPGA)芯片等。而除了GPU这样的通用计算芯片之外，按照性能和支持的算法应用来说，AI芯片的种类更是多种多样，不同的AI芯片在不同的应用算法和场景下，实际的性能表现也会差异很大。目前的AI算法应用中，商业化前景最看好、实际应用算法最多的就是视频相关的AI应用，包括图像检测、图像识别、图像处理等等。相应的，不同的应用类型，需要进行的数据处理模式都会有所区别。比如，图像检测需要的视频分别率可以很低，可以对视频数据尽量压缩；又比如，图像处理往往需要将数据传回，对于数据通路有双向的带宽要求。在不同的应用场景下，对于AI处理要求的侧重点也有所不同，比如在自动驾驶与在线直播中，对于实时性要求都很高，但在线直播中对于数据处理的准确性，要求可能会比较低，而对在线视频的处理，往往对实时性没有要求。即便是在同一应用类型，同一应用场景下，由于采用的算法和实现方式不同，实际中对于数据的处理，比如矩阵计算的规模、缓存数据的频率都可能会有很大差别。在现在的视频处理技术中，视频编解码是必不可少的技术。因为现在的视频流太多，单个视频流也太大(跟分辨率有关)，yuv是原始的视频流格式，一个1920x1080分辨率，yuv420格式，帧率50，帧数500的视频，只有10秒，其大小为：1920x1080x3/2x500≈1.45GB。可以想象，如果视频以原始格式传输的话，现有的各种接口带宽都无法满足海量视频的传输和处理。视频编解码本质上就是对视频的压缩和解压缩，现在主流的H.264编解码标准，能将数据传输最低压缩到1/150(最极端的情况，压缩率越高，视频解码出来的清晰度和准确地越低，以上面的例子来说，人眼观看的话，1.45GB的视频流压缩到6MB左右是合适的)，能极大地提高数据传输带宽的利用率，从而也使海量视频传输到云端统一处理成为可能。对视频的AI处理进行芯片级的加速，一般有两种架构。一种是传统的，用已有的AI芯片和视频编解码芯片，放在一块或两块子板上，通过板级的连接，而一个AI芯片对应的数据处理能力，决定了要放多高性能，放多少个的视频编解码芯片。另一种就是最近一些互联网公司在研究的，将视频编解码模块放入到AI芯片中，形成专用的视频处理AI芯片，同样的，为了实现效率最高，AI计算能力与视频编解码能力也必须做匹配。无论是两种架构中的哪一种，都是将视频编解码和AI处理匹配到一起。在应用、场景和算法都比较单一或者相似的时候，这样的设计是最简单直接的。但在AI领域发展迅速，新的应用和算法层出不穷的现在，单一的架构往往会限制应用和算法的升级，造成性能的浪费。而无论是哪种架构，都无法在现有已经生产出来的产品上再做定制化的修改，只能重新设计生产或者忍受效率的降低。针对现有技术中AI计算能力与视频编解码能力固定分配导致无法高效地适应不同应用场景算法的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种AI视频处理方法与装置，能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。基于上述目的，本专利技术实施例的第一方面提供了一种AI视频处理方法，包括由控制设备执行以下步骤：通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系。在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量配置为基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。在一些实施方式中，通过统一高速接口连接包括：控制设备通过主板上的PCIE物理接口直接连接、和/或经由具有PCIE切换芯片的交换板建立间接连接。在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片机和/或ARM处理器。本专利技术实施例的第二方面提供了一种AI视频处理装置，包括：AI处理资源池，包括用于执行AI处理的多个AI计算板卡；视频处理资源池，包括用于执行视频处理的多个视频编解码板卡；控制设备，通过统一高速接口连接到多个AI计算板卡和多个视频编解码板卡，包括处理器和存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现以下步骤：响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；调用被分配的AI计算板卡或视频编解码板卡作为AI处理资源和视频处理资源来执行处理任务，并响应于处理任务已完成而解除临时协作关系。在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量配置为基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。在一些实施方式中，控制设备通过主板上的PCIE物理接口直接连接多个AI计算板卡和多个视频编解码板卡；和/或装置还包括具有PCIE切换芯片的交换板，控制设备经由交换板间接连接多个AI计算板卡和多个视频编解码板卡。在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片本文档来自技高网...

【技术保护点】
1.一种AI视频处理方法，其特征在于，包括由控制设备执行以下步骤：/n通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；/n响应于接收到处理任务，而基于完成所述处理任务所需的资源和带宽从所述AI处理资源池和所述视频处理资源池中分别分配指定数量的所述AI计算板卡和所述视频编解码板卡构成基于所述处理任务的临时协作关系；/n响应于由所述处理任务变化导致的所述AI处理资源池或所述视频处理资源池中资源溢出或不足，而引导所述AI处理资源池或所述视频处理资源池接入更多的所述AI计算板卡或所述视频编解码板卡、或停用多余的所述AI计算板卡或所述视频编解码板卡；/n基于被分配的所述AI计算板卡或所述视频编解码板卡来执行所述处理任务，并响应于所述处理任务已完成而解除所述临时协作关系。/n

【技术特征摘要】
1.一种AI视频处理方法，其特征在于，包括由控制设备执行以下步骤：
通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；
响应于接收到处理任务，而基于完成所述处理任务所需的资源和带宽从所述AI处理资源池和所述视频处理资源池中分别分配指定数量的所述AI计算板卡和所述视频编解码板卡构成基于所述处理任务的临时协作关系；
响应于由所述处理任务变化导致的所述AI处理资源池或所述视频处理资源池中资源溢出或不足，而引导所述AI处理资源池或所述视频处理资源池接入更多的所述AI计算板卡或所述视频编解码板卡、或停用多余的所述AI计算板卡或所述视频编解码板卡；
基于被分配的所述AI计算板卡或所述视频编解码板卡来执行所述处理任务，并响应于所述处理任务已完成而解除所述临时协作关系。


2.根据权利要求1所述的方法，其特征在于，每个所述AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个所述视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；所述第一数量和所述第二数量配置为基于所述统一高速接口的带宽、以及所述AI计算板卡和所述视频编解码板卡的物理连线复杂度确定。


3.根据权利要求2所述的方法，其特征在于，所述视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。


4.根据权利要求1所述的方法，其特征在于，所述通过所述统一高速接口连接包括：所述控制设备通过主板上的PCIE物理接口直接连接、和/或经由具有PCIE切换芯片的交换板建立间接连接。


5.根据权利要求4所述的方法，其特征在于，所述控制设备包括设置在所述主板上的中央处理器、以及设置在所述交换板上的单片机和/或ARM处理器。


6.一种AI视频处理装置，其特征在于，包括：
AI处理资源池，包括用于执行AI处理的多个AI计算板卡；
视频处理资源池...

【专利技术属性】
技术研发人员：李拓，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32