一种基于深度学习的多模块协同物体识别系统及方法技术方案

本发明专利技术属于深度学习技术领域，提供了一种基于深度学习的多模块协同物体识别系统及方法。其中，该系统包括集成于一体且协同工作的视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块。其利用多模块协同，实现物体的实时识别，解决了现在需将摄像头图像上传至服务器进行识别处理的问题，避免了网络延迟或网络带宽的限制造成的时间延迟，实现了真正的实时识别。了真正的实时识别。了真正的实时识别。

【技术实现步骤摘要】
一种基于深度学习的多模块协同物体识别系统及方法


[0001]本专利技术属于深度学习
，尤其涉及一种基于深度学习的多模块协同物体识别系统及方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]视觉信息处理是基于外部感知数据构建模拟人类视觉能力的智能系统并对目标进行判断和识别，其中，物体识别是视觉信息处理技术的基础。随着计算机与智能终端的普及和互联网的迅猛发展，图像视频大数据应用领域的迅速延伸对物体识别技术提出了挑战。现在的物体识别技术应具有高效率、高性能甚至智能化的特点。
[0004]鉴于效率和性能的权衡以及智能化等需求，深度学习凭借强大的建模和数据表征能力迅速成为计算机视觉的研究热点。深度学习通过低层信号到高层特征的函数映射，来建立学习数据内部隐含关系的逻辑层次模型，以模仿人脑的视觉认知推理过程，从而使习的特征具有更强的泛化能力和表达能力。
[0005]然而，专利技术人发现，随着视频图像质量的增加，现有的5G网络基础建设并未覆盖全面，4G网络带宽无法满足高质量视频图像的真正意义上的实时传输，由计算机接收现场传回的数据再进行进一步的计算机视觉处理物体识别，更加无法保证物体识别的实时性。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的至少一项技术问题，本专利技术提供一种基于深度学习的多模块协同物体识别系统及方法，其利用多模块协同能够实现物体的实时识别。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种基于深度学习的多模块协同物体识别系统。
[0009]一种基于深度学习的多模块协同物体识别系统，包括集成于一体且协同工作的视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块；
[0010]视频输入模块，用于接收实时视频数据并将其存入指定的内存区域；
[0011]视频处理子系统模块，用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
[0012]智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
[0013]神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
[0014]视频图形子系统模块，用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
[0015]视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。
[0016]作为一种实施方式，基础视频数据保持原始视频数据的分辨率。
[0017]上述技术方案的优点在于，这样能够保障与原始数据数据一致，能够更准确地将后期识别出的物体轮廓框还原至原始视频数据中。
[0018]作为一种实施方式，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。
[0019]上述技术方案的优点在于，这样能够与神经网络模型相匹配，为神经网络模型提供数据基础。
[0020]作为一种实施方式，视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。
[0021]上述技术方案的优点在于，对上述模块进行初始化，能够保障后期数据处理的准确性。
[0022]作为一种实施方式，在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。
[0023]上述技术方案的优点在于，这样在加载前，需要提前将计算机中训练好的神经网络模型进行格式转化，转化为神经网络加速引擎模块可加载的特定格式，提高了视频图像数据处理的效率。
[0024]作为一种实施方式，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。
[0025]上述技术方案的优点在于，并行线程操作，能够提高视频数据的处理效率，保障物体识别的实时性。
[0026]作为一种实施方式，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。
[0027]作为一种实施方式，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的物体识别结果与帧号，帧数据的物体识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。
[0028]上述技术方案的优点在于，利用标志位检测相应线程，保障相应线程中视频图像处理的顺序，避免视频图像的遗漏。
[0029]本专利技术的第二个方面提供一种基于深度学习的多模块协同物体识别方法。
[0030]一种基于深度学习的多模块协同物体识别系统的识别方法，包括：
[0031]接收启动命令并初始化视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块；
[0032]利用视频输入模块接收实时视频数据并将其存入指定的内存区域；
[0033]利用视频处理子系统模块调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
[0034]利用智能视频引擎模将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
[0035]利用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
[0036]利用视频图形子系统模块获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
[0037]利用视频输出模块输出带有识别物体轮廓框的视频图像数据。
[0038]作为一种实施方式，所述基于深度学习的多模块协同物体识别系统的识别方法还包括识别detect线程与VitoVo线程，这两个线程并行执行。
[0039]与现有技术相比，本专利技术的有益效果在于：
[0040]本专利技术利用多模块协同，实现物体的实时识别，解决了现在需将摄像头图像上传至服务器进行识别处理的问题，避免了网络延迟或网络带宽的限制造成的时间延迟，实现了真正的实时识别；
[0041]本专利技术的视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行多线程并行操作，而且采用智能视频引擎模块将输入图像格式转化为模型所需图像格式，降低了C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模块协同物体识别系统，其特征在于，包括集成于一体且协同工作的视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块；视频输入模块，用于接收实时视频数据并将其存入指定的内存区域；视频处理子系统模块，用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；视频图形子系统模块，用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。2.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，基础视频数据保持原始视频数据的分辨率。3.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。4.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。5.如权利要求4所述的基于深度学习的多模块协同物体识别系统，其特征在于，在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。6.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块、...

【专利技术属性】
技术研发人员：奚照明，杨哲，邵强，梁昭，蔡达，张辉，马琳，
申请(专利权)人：山东奥邦交通设施工程有限公司，
类型：发明
国别省市：