【技术实现步骤摘要】
本专利技术属于视频监控，尤其是涉及基于异构计算架构的大数据视频监控一体机及其工作方法。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、传统的视频监控方案通常采用cpu和gpu的组合，以实现视频处理和分析。以下为传统方式的一般工作流程：
3、视频采集：
4、cpu处理：初始阶段涉及视频的采集，可能包括从摄像头或其他源收集视频流。cpu通常负责处理视频的初始阶段，例如解码以将其转换为可用的图像格式。
5、视频编解码：
6、cpu处理：在获取视频数据后，cpu负责进行视频编解码，将原始视频数据转换为适当的格式，以便后续处理和分析。这是为了压缩和解压缩视频数据，以减小存储和传输开销。
7、视频图像分析(人脸识别等)：
8、gpu处理：一旦视频经过编解码处理，gpu负责进行视频图像分析。在视频人脸识别技术中，gpu通常用于加速图像处理、特征提取和模式识别等计算密集型任务。gpu的并行处理能力在处理大量图像数据时非常有优势。
9、并行计算优势：
10、cpu-gpu协同工作：这种模式充分利用了cpu和gpu的各自优势。cpu负责整体控制和一些通用计算，而gpu则用于加速图像处理等特定计算任务。
11、专利技术人发现，在当前视频监控系统中，单台设备仅能接受较少的处理视频路数，且需要消耗大量的硬件资源；一些视频监控系统在处理大量高分辨率视频流时遇到性能瓶颈,导致视频编解码、流媒
技术实现思路
1、为了解决上述问题，本专利技术提供了基于异构计算架构的大数据视频监控一体机及其工作方法，所述方案采用了异构计算和一体化设计，整合了视频流接入、编码和分析功能，有效降低了硬件资源的占用，提高了资源利用效率；同时，所述方案通过并行处理及硬件加速，使得所述异构视频监控一体机能够同时处理多路视频流，显著提升了视频监控系统的处理效率。
2、根据本专利技术实施例的第一方面，提供了基于异构计算架构的大数据视频监控一体机，其采用由若干不同类型处理器组成的异构计算架构，一体机中的操作系统基本操作、任务管理以及基本数据预处理在第一类型处理器中执行，所述一体机包括：
3、视频流接入模块，其用于同时接入多通道视频流，其中，视频流的接入采用高速数据总线，并结合数据缓存进行实现；
4、视频编解码模块，其用于对接入的视频流进行编解码处理，其中，在视频流的解码过程中采用视频解码阵列，所述视频解码阵列中的若干视频解码芯片之间采用高速数据总线进行数据交换，并通过高速数据总线接口将解码后的视频图像传输至基于第二类型处理器的特征提取加速卡中进行特征提取；
5、视频分析模块，其用于基于特征提取加速卡中提取的特征，结合基于第三类型处理器的深度学习加速卡中内置的预先训练的深度学习模型，实现预设监控任务的监控识别。
6、进一步的，所述第一类型处理器为cpu，第二类型处理器为npu，第三类型处理器为fpga，其中，cpu用于操作系统基本操作、任务管理以及基本数据预处理；npu用于深度学习模型计算过程中的矩阵运算；fpga用于图像处理过程的流水线实现，以及对外提供定制化编程接口。
7、进一步的，所述基于第二类型处理器的特征提取加速卡采用fpga特征提取加速卡，其包括fpga特征粗提取加速卡和fpga特征细提取加速卡，其中，所述fpga特征粗提取加速卡用于基于内置图像特征提取算法对视频帧进行数据处理，获得目标检测结果及基本特征提取结果；所述fpga特征细提取加速卡用于基于fpga特征粗提取加速卡获得的目标检测结果及基本特征提取结果，基于内置的图像特征提取算法进行细分特征的提取。
8、进一步的，对于输入的图像数据，所述fpga特征提取加速卡基于内置图像特征提取算法采用并行全流水的方式进行处理。
9、进一步的，所述异构计算架构，执行如下策略：构建任务队列，对于任务队列中的任务，获取其任务特性；实时获取各计算单元的资源状态，基于任务特性和资源状态，选择与当前任务匹配的计算单元进行任务执行。
10、进一步的，所述任务特性包括但不限于任务类型；其中，所述任务类型包括操作系统基本操作、任务管理、基本数据预处理、深度学习模型计算过程中的矩阵运算、图像处理过程的流水线实现以及定制化编程实现；所述资源状态包括但不限于cpu利用率、npu显存使用情况以及fpga的逻辑使用情况。
11、进一步的，当任务类型为操作系统基本操作、任务管理以及基本数据预处理时，选择cpu计算单元，当任务类型为深度学习模型计算过程中的矩阵运算时，选择npu计算单元，当任务类型为图像处理过程的流水线实现以及定制化编程实现时，选择fpga计算单元。
12、进一步的，当计算存在资源需求波动时，采用动态增减虚拟机的方式进行资源调度；以及，对于可以并行处理的任务，采用流水线作业。
13、进一步的，所述视频流接入模块、视频编解码模块以及视频分析模块采用一体化设计，并基于高速数据总线进行数据交换。
14、根据本实施例的第二个方面，提供了基于异构计算架构的大数据视频监控一体机的工作方法，其用于实施例一中所述的基于异构计算架构的大数据视频监控一体机，所述方案包括：
15、获取待监控的多通道视频流；
16、对接入的视频流进行编解码处理，其中，在视频流的解码过程中采用视频解码阵列，所述视频解码阵列中的若干视频解码芯片之间采用高速数据总线进行数据交换，并通过高速数据总线接口将解码后的视频图像传输至fpga特征提取加速卡中进行特征提取；
17、基于fpga特征提取加速卡中提取的特征，结合深度学习加速卡中内置的预先训练的深度学习模型，实现预设监控任务的监控识别。
18、以上一个或多个技术方案存在以下有益效果：
19、(1)本专利技术提供了基于异构计算架构的大数据视频监控一体机及其工作方法，所述方案采用了异构计算和一体化设计，整合了视频流接入、编码和分析功能，有效降低了硬件资源的占用，提高了资源利用效率。
20、(2)本专利技术所述方案通过并行处理和硬件加速，使得所述异构视频监控一体机能够同时处理多路视频流，显著提升了视频监控系统的处理效率。
21、(3)本专利技术所述一体机的设计使得各个模块高度集成，简化了系统架构，提高了系统的稳定性和可维护性。
22、(4)本专利技术所述的一体机考虑到与现有视频监控系统的兼容性，可灵活接入已有系统，提升整体系统的升级和扩展性；该技术方案通过引入异构视频大数据一体机的设计，解本文档来自技高网...
【技术保护点】
1.基于异构计算架构的大数据视频监控一体机，其特征在于，其采用由若干不同类型处理器组成的异构计算架构，一体机中的操作系统基本操作、任务管理以及基本数据预处理在第一类型处理器中执行，所述一体机包括：
2.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述第一类型处理器为CPU，第二类型处理器为NPU，第三类型处理器为FPGA，其中，CPU用于操作系统基本操作、任务管理以及基本数据预处理；NPU用于深度学习模型计算过程中的矩阵运算；FPGA用于图像处理过程的流水线实现，以及对外提供定制化编程接口。
3.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述基于第二类型处理器的特征提取加速卡采用FPGA特征提取加速卡，其包括FPGA特征粗提取加速卡和FPGA特征细提取加速卡，其中，所述FPGA特征粗提取加速卡用于基于内置图像特征提取算法对视频帧进行数据处理，获得目标检测结果及基本特征提取结果；所述FPGA特征细提取加速卡用于基于FPGA特征粗提取加速卡获得的目标检测结果及基本特征提取结果，基于内置的图像特征提取算法进行
4.如权利要求3所述的基于异构计算架构的大数据视频监控一体机，其特征在于，对于输入的图像数据，所述FPGA特征提取加速卡基于内置图像特征提取算法采用并行全流水的方式进行处理。
5.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述异构计算架构，执行如下策略：构建任务队列，对于任务队列中的任务，获取其任务特性；实时获取各计算单元的资源状态，基于任务特性和资源状态，选择与当前任务匹配的计算单元进行任务执行。
6.如权利要求5所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述任务特性包括但不限于任务类型；其中，所述任务类型包括操作系统基本操作、任务管理、基本数据预处理、深度学习模型计算过程中的矩阵运算、图像处理过程的流水线实现以及定制化编程实现；所述资源状态包括但不限于CPU利用率、NPU显存使用情况以及FPGA的逻辑使用情况。
7.如权利要求6所述的基于异构计算架构的大数据视频监控一体机，其特征在于，当任务类型为操作系统基本操作、任务管理以及基本数据预处理时，选择CPU计算单元，当任务类型为深度学习模型计算过程中的矩阵运算时，选择NPU计算单元，当任务类型为图像处理过程的流水线实现以及定制化编程实现时，选择FPGA计算单元。
8.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，当计算存在资源需求波动时，采用动态增减虚拟机的方式进行资源调度；以及，对于可以并行处理的任务，采用流水线作业。
9.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述视频流接入模块、视频编解码模块以及视频分析模块采用一体化设计，并基于高速数据总线进行数据交换。
10.基于异构计算架构的大数据视频监控一体机的工作方法，其特征在于，其用于如权利要求1-9任一项所述的基于异构计算架构的大数据视频监控一体机，所述方案包括：
...【技术特征摘要】
1.基于异构计算架构的大数据视频监控一体机，其特征在于，其采用由若干不同类型处理器组成的异构计算架构，一体机中的操作系统基本操作、任务管理以及基本数据预处理在第一类型处理器中执行，所述一体机包括：
2.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述第一类型处理器为cpu，第二类型处理器为npu，第三类型处理器为fpga，其中，cpu用于操作系统基本操作、任务管理以及基本数据预处理；npu用于深度学习模型计算过程中的矩阵运算；fpga用于图像处理过程的流水线实现，以及对外提供定制化编程接口。
3.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述基于第二类型处理器的特征提取加速卡采用fpga特征提取加速卡，其包括fpga特征粗提取加速卡和fpga特征细提取加速卡，其中，所述fpga特征粗提取加速卡用于基于内置图像特征提取算法对视频帧进行数据处理，获得目标检测结果及基本特征提取结果；所述fpga特征细提取加速卡用于基于fpga特征粗提取加速卡获得的目标检测结果及基本特征提取结果，基于内置的图像特征提取算法进行细分特征的提取。
4.如权利要求3所述的基于异构计算架构的大数据视频监控一体机，其特征在于，对于输入的图像数据，所述fpga特征提取加速卡基于内置图像特征提取算法采用并行全流水的方式进行处理。
5.如权利要求1所述的基于异构计算架构的大数据视频监控一体机，其特征在于，所述异构计算架构，执行如下策略：构建任务队列，对于任务队列...
【专利技术属性】
技术研发人员：王海增，刘海军，
申请(专利权)人：山东齐鲁公共安全研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。