一种车端多路视频流推理分析方法及系统技术方案

本发明专利技术提供一种车端多路视频流推理分析方法及系统，方法包括：基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。本发明专利技术通过搭建基于DeepStream框架的目标检测模型，能够对车端多路摄像头采集的视频流进行实时推理分析，可以使得开发团队减少前后处理的开发时间，并减少了整个从捕捉图像数据到获得信息与反馈过程的时间。与反馈过程的时间。与反馈过程的时间。

【技术实现步骤摘要】
一种车端多路视频流推理分析方法及系统


[0001]本专利技术涉及数据推理及图像识别领域，更具体地，涉及一种车端多路视频流推理分析方法及系统。

技术介绍

[0002]在图像识别领域，多路视频流的推理分析处理时间作为车端感知处理中非常重要的要素，整个端到端的处理时间十分重要。目前，一般的视觉AI应用程序的两端(前处理和后处理)加上模型优化都是开发团队亲自部署，会让开发团队耗大量时间在程序部署上且从输入到输出的处理时间不能达到最佳。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题，提供一种车端多路视频流推理分析方法及系统，用以解决现有开发团队的开发时间及多路视频流同时进行实时推理分析的时间问题。
[0004]根据本专利技术的第一方面，提供了一种车端多路视频流推理分析方法，包括：基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型；将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。
[0005]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0006]可选的，所述基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，包括：在车端对不同类型的各个车道进行图像采集，得到对应的图像数据，并对每一张图像数据中的目标信息进行标记，构成训练数据集；基于所述训练数据集对构建的目标检测网络进行训练，生成目标检测模型，其中，所述目标检测网络为轻量型的yolov5s网络。
[0007]可选的，所述训练数据集中的每一张图像数据的大小均为1280*1280px。
[0008]可选的，所述将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中，包括：在对构建的目标检测网络进行训练后，获取训练相应的格式模型文件；在AGX设备上将格式模型文件转换为DeepStream框架所需的格式；将转换后的格式模型文件部署到AGX设备的DeepStream框架上，以将所述目标检测模型嵌入DeepStream框架中。
[0009]可选的，所述相应的格式模型文件为FP32 best.pt的格式模型文件，所述在AGX设备上将格式模型文件转换为DeepStream框架所需的格式，包括：利用DeepStream框架自带的TensorRT转换模型插件将FP32best.pt的格式模型文件转换为FP16best.engine的格式模型文件。
[0010]可选的，所述AGX设备上部署有多个线程，相应的，将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果，包括：基于AGX设备上的多个线程对输入的多路视频流并行处理，获取每一路视频流中的目标检测结
果；将多路视频流的目标检测结果整合进行输出。
[0011]根据本专利技术的第二方面，提供一种车端多路视频流推理分析系统，包括：训练模块，用于基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型；部署模块，用于将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；获取模块，用于将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。
[0012]可选的，所述部署模块，用于部署模块，用于将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中，包括：在对构建的目标检测网络进行训练后，获取训练相应的格式模型文件；在AGX设备上将格式模型文件转换为DeepStream框架所需的格式；将转换后的格式模型文件部署到AGX设备的DeepStream框架上，以将所述目标检测模型嵌入DeepStream框架中。
[0013]根据本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现车端多路视频流推理分析方法的步骤。
[0014]根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现扯淡多路视频流推理分析方法的步骤。
[0015]本专利技术提供的一种车端多路视频流推理分析方法及系统，对构建的目标检测网络进行训练生成目标检测模型，将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。通过搭建基于DeepStream框架的目标检测模型，能够对车端多路摄像头采集的视频流进行实时推理分析，可以使得开发团队减少前后处理的开发时间，并减少了整个从捕捉图像数据到获得信息与反馈过程的时间。
附图说明
[0016]图1为本专利技术提供的一种车端多路视频流推理分析方法流程图；
[0017]图2为车端多路视频流推理分析方法的流程的示意图；
[0018]图3为本专利技术提供的一种车端多路视频流推理分析系统的结构示意图；
[0019]图4为本专利技术提供的一种可能的电子设备的硬件结构示意图；
[0020]图5为本专利技术提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
[0021]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0022]目前，一般的视觉AI应用程序的两端(前处理和后处理)加上模型优化都是开发团队亲自部署，会让开发团队耗大量时间在程序部署上，且从输入到输出的处理时间不能达到最佳，而DeepStream框架会在整个环节中的前后处理以及中间的模型推理分析的速度有很大的提升作用，因此，使用基于DeepStream框架的车端多路视频流实时推理分析是部署车端感知处理的非常合适的方法。
[0023]实施例一
[0024]一种车端多路视频流推理分析方法，参见图1，该推理分析方法主要包括以下步骤：
[0025]S1，基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型。
[0026]作为实施例，所述基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，包括：在车端对不同类型的各个车道进行图像采集，得到对应的图像数据，并对每一张图像数据中的目标信息进行标记，构成训练数据集；基于所述训练数据集对构建的目标检测网络进行训练，生成目标检测模型，其中，所述目标检测网络为轻量型的yolov5s网络。
[0027]具体的，基于车端摄像头对不同类型的各个车道进行图像采集，采集得到多张图像数据，对每一张图像数据中的目标信息进行标记，包括图像中的每一个目标的类型和位置信息，比如，图像数据中每一个车辆的类型和位置。将标记有目标信息的图像数据作为训练数据集对构建的目标检测网络进行训练，生成目标检测模型。
[0028]在对目标检测网络进行训练时，因为要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车端多路视频流推理分析方法，其特征在于，包括：基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型；将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。2.根据权利要求1所述的车端多路视频流推理分析方法，其特征在于，所述基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，包括：在车端对不同类型的各个车道进行图像采集，得到对应的图像数据，并对每一张图像数据中的目标信息进行标记，构成训练数据集；基于所述训练数据集对构建的目标检测网络进行训练，生成目标检测模型，其中，所述目标检测网络为轻量型的yolov5s网络。3.根据权利要求2所述的车端多路视频流推理分析方法，其特征在于，所述训练数据集中的每一张图像数据的大小均为1280*1280px。4.根据权利要求1所述的车端多路视频流推理分析方法，其特征在于，所述将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中，包括：在对构建的目标检测网络进行训练后，获取训练相应的格式模型文件；在AGX设备上将格式模型文件转换为DeepStream框架所需的格式；将转换后的格式模型文件部署到AGX设备的DeepStream框架上，以将所述目标检测模型嵌入DeepStream框架中。5.根据权利要求4所述的车端多路视频流推理分析方法，其特征在于，所述相应的格式模型文件为FP32 best.pt的格式模型文件，所述在AGX设备上将格式模型文件转换为DeepStream框架所需的格式，包括：利用DeepStream框架自带的TensorRT转换模型插件将FP32best.pt的格式模型文件转换为FP16best.engine...

【专利技术属性】
技术研发人员：肖朝穗，常思垚，李汉玢，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：