一种用于实现多路视频解码及AI智能分析的系统及方法技术方案

本发明专利技术涉及人工智能技术领域，具体为一种用于实现多路视频解码及AI智能分析的系统及方法，包括AI软件平台、视频接入分析模块、若干预处理模块、任务调度模块、若干AI分析模块、数据传输模块；AI软件平台，为在国产飞腾2000+硬件平台的基础上搭建的软件平台，AI软件平台包括AI高性能编解码库、AI自定义高性能算子库、自定义视觉库、高性能通信库、模型轻量化引擎；本申请解决了国产平台多路视频处理效率低且资源占用率高的问题，大幅度提升国产平台多路视频处理能力，满足各类实时性要求高的多路视频智能处理应用需求，避免了国产平台因超负载运行崩溃现象。运行崩溃现象。运行崩溃现象。

【技术实现步骤摘要】
一种用于实现多路视频解码及AI智能分析的系统及方法


[0001]本专利技术涉及人工智能
，具体为一种用于实现多路视频解码及AI智能分析的系统及方法。

技术介绍

[0002]国产自主可控计算机性能受限，在多路数据处理和智能分析领域基础技术匮乏；国产计算设备的推广与应用已成为我国基本国策，但随着国产计算机技术的不断突破以及国产人工智能芯片的发展，如何基于国产平台实现智能化平台的构建和应用、提升多路数据计算处理能力、提高国产设备智能化水平，逐渐成为当前需要迫切解决的痛点技术问题。
[0003]视频、图像等数据可使用摄像头进行实时采集，在各类实时检测以及智能化分析应用场景中应用广泛；H.264/H.265格式是摄像头的视频压缩编码标准，具有高压缩比、网络适应性好等显著优势；针对H.264、H.265的视频解码技术主要依赖软件实现解码，软件解码会导致CPU资源被严重占用，甚至影响到其它应用的运行性能，而且随着视频路数的增加，视频解码效率以及AI实时分析能力会进一步被削弱。
[0004]在国产基础软硬件平台上，需要构建适应于视频、图像等多模态数据编解码引擎，高效的完成视频图像解码、多路数据并发处理、多格式数据解析等功能，并对外提供丰富的二次开发接口，以简化上层应用的调度流程。多路视频分析技术广泛应用于安防、质检、巡检等国家命脉行业，主要实现对多路高清视频进行实时目标检测识别，传统方式主要采用Intel高性能设备并搭载商用GPU或FPGA，利用GPU/FPGA的多进程方式对视频数据进行预处理，并采用神经网络模型进行图像目标检测与识别。上述方式存在非自主可控、硬件资源损耗大且占用率高、过度依赖商用GPU卡、模型复杂且效率低等问题。

技术实现思路

[0005]本专利技术的目的在于提供一种用于实现多路视频解码及AI智能分析的系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种用于实现多路视频解码及AI智能分析的系统，系统包括AI软件平台、视频接入分析模块、若干预处理模块、任务调度模块、若干AI分析模块、数据传输模块；
[0007]AI软件平台，为在国产飞腾2000+硬件平台的基础上搭建的软件平台，AI软件平台包括AI高性能编解码库、AI自定义高性能算子库、自定义视觉库、高性能通信库、模型轻量化引擎；其中，AI高性能编解码库采用硬解码或者编码技术，调用视频解码处理接口对多路h264或h265视频流进行实时编解码，输出YUV或者JPEG格式图片；其中，AI自定义高性能算子库集成了一套适配AI芯片的高性能推理算子，用于支持轻量化模型网络的基础算子，保障目标检测算法和目标识别算法的高效推理；其中，自定义视觉库内包含ffmpeg视觉处理库、openev视觉处理库的基础功能，用于支撑视频拉流、图像标注；其中，高性能通信库，用于完成CPU和AI芯片间的数据传输和协同计算；其中，模型轻量化引擎，提供模型转换和量
化处理，支持基于通用框架训练的模型转换为AI软件平台支持的格式，支持通过调用AI自定义高性能算子库快速完成推理分析任务；
[0008]本专利技术中的AI软件平台采用国产飞腾2000+硬件平台，适配银河麒麟服务器版操作系统，完成国产AI驱动模块、基础运行环境的适配及优化工作，优化工作主要是结合国产飞腾处理器和国产操作系统特点，完成编译参数配置、驱动源码修改、运行环境适配、依赖环境构建、稳定性调优等工作；本专利技术中搭建的AI软件平台，单设备能够支持32路以上的视频，极大提升了国产平台多路视频实时分析处理能力；
[0009]视频接入分析模块，用于根据请求接入的多路视频流的分辨率、视频路数及AI分析任务对平台内的AI资源进行自动分配；
[0010]若干预处理模块，用于对请求接入的多路视频流完成视频解码、图像缩放、连续图像帧数据格式转换、像素标准化和图像编码处理；
[0011]任务调度模块，用于接收所有预处理模块输出的数据，根据请求接入的每一路视频流的AI分析任务，将每一路视频流分配到对应的AI分析模块中进行实时处理；
[0012]若干AI分析模块，分别对若干种目标检测识别推理应用模型进行优化；其中，各目标检测识别推理应用模型的输入为RGB格式、大小为1*416*416*3以及每个通道完成标准化处理后的连续图像帧数据；各目标检测识别推理应用模型的输出为检测到的目标在图中的坐标位置和类别置信度；
[0013]数据传输模块，用于接收所有预处理模块和所有AI分析模块中的数据，将AI分析模块的推理结果在对应的连续图像帧中进行结果标注，再将所有结果汇总后转换为二进制流形式传输到客户端；
[0014]本申请设计视频接入分析模块，能够根据请求接入视频的分辨率、视频路数及AI分析任务对资源进行自动分配，并对接入的多路视频自动解码和预处理，能够根据分析任务进行模块复用，避免了重复工作，减少了AI资源的额外消耗；
[0015]本申请设计预处理模块和AI分析模块，充分调用AI资源并行处理多路视频解码、图像编码、连续图像帧数据处理、AI模型推理等密集型计算任务，让性能不足的国产CPU只负责任务调度和数据传输流程，能够有效提升国产平台多路视频解码和AI模型推理分析的效率和CPU资源占用率高的问题；
[0016]本申请并通过对AI模型进行结构及参数优化，减小了模型的大小，提升了AI模型的推理效率，保证了多路视频分析的实时性，同时，每个模块都对外提供丰富的调用接口和二次开发接口，简化了调度流程。
[0017]进一步的，预处理模块包括视频解码单元、图像缩放处理单元、格式转换单元、像素标准化处理单元、图像编码单元；
[0018]视频解码单元，用于对各路视频流进行解码，得到各路视频流的YUV格式的第一连续图像帧；
[0019]图像缩放处理单元，用于将各路视频流的第一连续图像帧缩放至预设大小，得到对应的第二连续图像帧；
[0020]格式转换单元，用于将各路视频流的第二连续图像帧转换为RGB格式，得到对应的第三连续图像帧；
[0021]像素标准化处理单元，用于对各路视频流的第三连续图像帧进行各通道的像素标
准化处理，得到对应的第四连续图像帧
[0022]图像编码单元，用于将各路视频流的第四连续图像帧编码为jpeg格式，得到对应的第五连续图像帧。
[0023]进一步的，AI分析模块中对目标检测识别推理应用模型进行优化的过程包括：
[0024]通过调用模型量化接口对各目标检测识别推理应用模型内的参数进行量化处理，从float32或f]oat16高精度格式转换为int8低比特格式，实现低比特存储；
[0025]通过调用模型转换接口对各目标检测识别推理应用模型进行格式转换，对算子调度和内存使用进行优化；其中，优化流程通过采用算子融合方法将模型中能够合并的多个算子融合成一个算子；
[0026]对算子调度和内存使用进行优化包括：
[0027]构建智能计算基础算子库，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实现多路视频解码及AI智能分析的系统，其特征在于，所述系统包括AI软件平台、视频接入分析模块、若干预处理模块、任务调度模块、若干AI分析模块、数据传输模块；所述AI软件平台包括AI高性能编解码库、AI自定义高性能算子库、自定义视觉库、高性能通信库、模型轻量化引擎；其中，AI高性能编解码库采用硬解码或者编码技术，调用视频解码处理接口对多路h264或h265视频流进行实时编解码，输出YUV或者JPEG格式图片；其中，AI自定义高性能算子库集成了一套适配AI芯片的高性能推理算子，用于支持轻量化模型网络的基础算子，保障目标检测算法和目标识别算法的高效推理；其中，自定义视觉库内包含ffmpeg视觉处理库、opencv视觉处理库的基础功能，用于支撑视频拉流、图像标注；其中，高性能通信库，用于完成CPU和AI芯片间的数据传输和协同计算；其中，模型轻量化引擎，提供模型转换和量化处理，支持基于通用框架训练的模型转换为所述AI软件平台支持的格式，支持通过调用AI自定义高性能算子库快速完成推理分析任务；所述视频接入分析模块，用于根据请求接入的多路视频流的分辨率、视频路数及AI分析任务对平台内的AI资源进行自动分配；所述若干预处理模块，用于对请求接入的多路视频流完成视频解码、图像缩放、连续图像帧数据格式转换、像素标准化和图像编码处理；所述任务调度模块，用于接收所有预处理模块输出的数据，根据请求接入的每一路视频流的AI分析任务，将所述每一路视频流分配到对应的AI分析模块中进行实时处理；所述若干AI分析模块，分别对若干种目标检测识别推理应用模型进行优化；其中，各目标检测识别推理应用模型的输入为RGB格式、大小为1*416*416*3以及每个通道完成标准化处理后的连续图像帧数据；各目标检测识别推理应用模型的输出为检测到的目标在图中的坐标位置和类别置信度；所述数据传输模块，用于接收所有预处理模块和所有AI分析模块中的数据，将AI分析模块的推理结果在对应的连续图像帧中进行结果标注，再将所有结果汇总后转换为二进制流形式传输到客户端。2.根据权利要求1所述的一种用于实现多路视频解码及AI智能分析的系统，其特征在于，所述预处理模块包括视频解码单元、图像缩放处理单元、格式转换单元、像素标准化处理单元、图像编码单元；所述视频解码单元，用于对各路视频流进行解码，得到各路视频流的YUV格式的第一连续图像帧；所述图像缩放处理单元，用于将各路视频流的第一连续图像帧缩放至预设大小，得到对应的第二连续图像帧；所述格式转换单元，用于将各路视频流的第二连续图像帧转换为RGB格式，得到对应的第三连续图像帧；所述像素标准化处理单元，用于对各路视频流的第三连续图像帧进行各通道的像素标准化处理，得到对应的第四连续图像帧所述图像编码单元，用于将各路视频流的第四连续图像帧编码为jpeg格式，得到对应的第五连续图像帧。3.根据权利要求1所述的一种用于实现多路视频解码及AI智能分析的方法，其特征在
于，AI分析模块中对目标检测识别推理应用模型进行优化的过程包括：通过调用模型量化接口对各目标检测识别推理应用模型内的参数进行量化处理，从float32或float16高精度格式转换为int8低比特格式，实现低比特存储；通过调用模型转换接口对各目标检测识别推理应用模型进行格式转换，对算子调度和内存使用进行优化；其中，优化流程通过采用算子融合方法将模型中能够合并的多个算子融合成一个算子；所述对算子调度和内存使用进行优化包括：针对CPU平台和AI芯片架构特点设计并构建优化的智能计算基础算子库；将优化后的基础算子作为基元算子，利用基元算子组合成复合算子，通过动态计算图和静态计算图转换模式，提供统一的API编程和自动微分底层机制，设置基础算子核心库空间阈值1MB，在基础算子核心库大小不超过1MB时，完成优化。4.一种应用权利要求1
‑
3中任意一项所述的用于实现多路视频解码及AI智能分析的系统的用于实现多路视频解码及AI智能分析的方法，其特征在于，所述方法包括：步骤S100：搭建人工智能平台；步骤S200：将格式为H.264或H.265的多路视频流接入所述人工智能平台，基于请求接入的多路视频的分辨率、路数和AI...

【专利技术属性】
技术研发人员：周思远，周平，周春云，朱洪斌，李悦，花雪祥，庄松泉，刘网，
申请(专利权)人：扬州万方科技股份有限公司，
类型：发明
国别省市：