一种基于边缘服务器的视频目标检测方法、设备及介质技术

本说明书实施例公开了一种基于边缘服务器的视频目标检测方法、设备及介质，涉及目标检测技术领域，方法包括：获取预先训练的目标检测最优模型和多路视频流数据，其中，视频流数据属于不同的输入源；在边缘服务器中，将目标检测最优模型转换为ONNX模型，并将ONNX模型转换为Tensor RT引擎；根据预先构建的目标检测管道应用、Tensor RT引擎以及预先构建的动态库，对多路视频流数据进行目标检测，得到目标检测结果，其中，目标检测管道应用用于将多路视频流数据转换为多个图像数据，以及将目标检测结果以视频流形式输出，动态库用于对输出结果进行后处理，保证了视频目标检测任务的实时性和准确性，使得开发团队减少在视频应用程序上的开发及部署时间。序上的开发及部署时间。序上的开发及部署时间。

【技术实现步骤摘要】
一种基于边缘服务器的视频目标检测方法、设备及介质


[0001]本说明书涉及目标检测
，尤其涉及一种基于边缘服务器的视频目标检测方法、设备及介质。

技术介绍

[0002]在某些工业场景或者时效要求较高的应用场景中，部署在云服务器上的目标检测模型，由于数据传输的延迟、网络异常等原因往往无法满足实时性要求。然而，目标检测模型可直接部署在靠近数据采集端的边缘服务器，缩短视觉数据与检测结果在云端服务器和数据采集端的传输时间，保证视觉任务的实时性。
[0003]在视频目标检测领域，不仅模型的推理时间会严重影响视频流的延迟，视频AI应用程序中视频的前处理和模型输出的后处理也是影响视频流延迟的重要因素。目前，一般的视觉AI应用程序都是开发团队亲自开发部署，这样不仅耗费大量的人力时间，并且无法保证处理时间的实时性。

技术实现思路

[0004]本说明书一个或多个实施例提供了一种基于边缘服务器的视频目标检测方法、设备及介质，用于解决如下技术问题：一般的视觉AI应用程序都是开发团队亲自开发部署，这样不仅耗费大量的人力时间，并且无法保证处理时间的实时性。
[0005]本说明书一个或多个实施例采用下述技术方案：
[0006]本说明书一个或多个实施例提供一种基于边缘服务器的视频目标检测方法，其特征在于，所述方法包括：获取预先训练的目标检测最优模型和多路视频流数据，其中，所述视频流数据属于不同的输入源；在边缘服务器中，将所述目标检测最优模型转换为ONNX模型，并将所述ONNX模型转换为Tensor RT引擎；根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果，其中，所述目标检测管道应用用于将所述多路视频流数据转换为多个图像数据，以及将所述目标检测结果以视频流形式输出，所述动态库用于对输出结果进行后处理。
[0007]进一步地，获取预先训练的目标检测最优模型，具体包括：获取目标检测模型和目标检测数据集，其中，所述目标检测模型为YOLOX
‑
tiny网络结构，所述目标检测数据集中包括标注完成的训练数据；使用所述目标检测数据集中所述标注完成的训练数据，对所述目标检测模型进行模型训练，得到所述目标检测最优模型。
[0008]进一步地，在边缘服务器中，将所述目标检测最优模型转换为ONNX模型，并将所述ONNX模型转换为Tensor RT引擎，具体包括：在边缘服务器中，借助PyTorch框架的指定函数，将所述最优目标检测模型转换为ONNX模型；将所述ONNX模型移植到配置有Tensor RT库的边缘服务器中，通过所述Tensor RT库中的指定工具，对所述ONNX模型进行最优量化及转换，得到所述Tensor RT引擎。
[0009]进一步地，根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建
的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果之前，所述方法还包括：通过编程技术，对目标检测模型的输出特征图进行后处理操作，将所述后处理操作进行编译，构建动态库。
[0010]进一步地，对目标检测模型的输出特征图进行后处理操作，具体包括：获取目标检测模型输入图像的输入尺寸和模型检测过程中的卷积步长；根据所述输入尺寸和所述卷积步长，将所述目标检测模型的输出特征图中的目标框大小进行解码，得到目标框在所述输入图像中的原始尺寸，其中，所述原始尺寸在所述输入图像中的比例与所述输出特征图中的目标框在所述输出特征图中的比例相同；获取所述目标检测模型输出的多个目标框的目标框分数；将每个所述目标框分数与预设的分数阈值进行对比，将低于所述分数阈值的目标框进行过滤，得到符合要求的多个指定目标框；计算所述多个指定目标框中任意两个指定目标框之间的交并比，其中，所述交并比为两个指定目标框共同区域的面积与指定目标框面积的比值；通过预设算法，对所述交并比大于预设阈值的多个指定目标框进行合并，得到后处理结果。
[0011]进一步地，根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果，具体包括：根据预先构建的目标检测管道应用，对所述多路视频流数据进行解码处理，得到处理后的多个图像数据；将所述多个图像数据，通过所述Tensor RT引擎，进行检测，得到多个输出目标检测图像；通过所述动态库，对所述多个输出目标检测图像进行后处理，得到多个标注后的目标检测图像；根据预先构建的目标检测管道应用，将所述多个标注后的目标检测图像转化为视频流形式，得到目标检测结果。
[0012]进一步地，根据预先构建的目标检测管道应用，对所述多路视频流数据进行解码处理，得到处理后的多个图像数据，具体包括：确定所述多路视频流数据的输入源，根据预先构建的目标检测管道应用和每路视频流数据的输入源，建立与所述输入源对应的解码器插件；通过与所述输入源对应的解码器插件，对所述多路视频流数据进行解码处理，得到多路解码视频流数据；对所述多路解码视频流数据进行尺寸缩放和通道变换，得到处理后的多路解码视频流数据；通过指定插件，将所述处理后的多路解码视频流数据进行整合，得到一组解码视频流数据，以便于将所述解码视频流数据转换为图像数据。
[0013]进一步地，根据预先构建的目标检测管道应用，将所述多个标注后的目标检测图像转化为视频流形式，得到目标检测结果，具体包括：将所述多个标注后的目标检测图像，按照所述目标检测图像对应的视频流数据，分为多组，得到多组目标检测图像，其中，每组目标检测图像包括多个标注后的目标检测图像，且所述多个标注后的目标检测图像属于同一路视频流数据；将每组目标检测图像中的多个标注后的目标检测图像进行检测结果绘制，生成每组目标检测图像对应的标注目标检测视频流；将多路标注目标检测视频流作为目标检测结果。
[0014]本说明书一个或多个实施例提供一种基于边缘服务器的视频目标检测设备，包括：
[0015]至少一个处理器；以及，
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够：
[0018]获取预先训练的目标检测最优模型和多路视频流数据，其中，所述视频流数据属于不同的输入源；在边缘服务器中，将所述目标检测最优模型转换为ONNX模型，并将所述ONNX模型转换为Tensor RT引擎；根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果，其中，所述目标检测管道应用用于将所述多路视频流数据转换为多个图像数据，以及将所述目标检测结果以视频流形式输出，所述动态库用于对输出结果进行后处理。
[0019]本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：...

【技术保护点】

【技术特征摘要】
1.一种基于边缘服务器的视频目标检测方法，其特征在于，所述方法包括：获取预先训练的目标检测最优模型和多路视频流数据，其中，所述视频流数据属于不同的输入源；在边缘服务器中，将所述目标检测最优模型转换为ONNX模型，并将所述ONNX模型转换为Tensor RT引擎；根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果，其中，所述目标检测管道应用用于将所述多路视频流数据转换为多个图像数据，以及将所述目标检测结果以视频流形式输出，所述动态库用于对输出结果进行后处理。2.根据权利要求1所述的一种基于边缘服务器的视频目标检测方法，其特征在于，获取预先训练的目标检测最优模型，具体包括：获取目标检测模型和目标检测数据集，其中，所述目标检测模型为YOLOX
‑
tiny网络结构，所述目标检测数据集中包括标注完成的训练数据；使用所述目标检测数据集中所述标注完成的训练数据，对所述目标检测模型进行模型训练，得到所述目标检测最优模型。3.根据权利要求1所述的一种基于边缘服务器的视频目标检测方法，其特征在于，在边缘服务器中，将所述目标检测最优模型转换为ONNX模型，并将所述ONNX模型转换为Tensor RT引擎，具体包括：在边缘服务器中，借助PyTorch框架的指定函数，将所述最优目标检测模型转换为ONNX模型；将所述ONNX模型移植到配置有Tensor RT库的边缘服务器中，通过所述Tensor RT库中的指定工具，对所述ONNX模型进行最优量化及转换，得到所述Tensor RT引擎。4.根据权利要求1所述的一种基于边缘服务器的视频目标检测方法，其特征在于，根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果之前，所述方法还包括：通过编程技术，对目标检测模型的输出特征图进行后处理操作，将所述后处理操作进行编译，构建动态库。5.根据权利要求4所述的一种基于边缘服务器的视频目标检测方法，其特征在于，对目标检测模型的输出特征图进行后处理操作，具体包括：获取目标检测模型输入图像的输入尺寸和模型检测过程中的卷积步长；根据所述输入尺寸和所述卷积步长，将所述目标检测模型的输出特征图中的目标框大小进行解码，得到目标框在所述输入图像中的原始尺寸，其中，所述原始尺寸在所述输入图像中的比例与所述输出特征图中的目标框在所述输出特征图中的比例相同；获取所述目标检测模型输出的多个目标框的目标框分数；将每个所述目标框分数与预设的分数阈值进行对比，将低于所述分数阈值的目标框进行过滤，得到符合要求的多个指定目标框；计算所述多个指定目标框中任意两个指定目标框之间的交并比，其中，所述交并比为两个指定目标框共同区域的面积与指定目标框面积的比值；通过预设算法，对所述交并比大于预设阈值的多个指定目标框进行合并，得到后处理
结果。6.根据权利要求1所述的一种基于边缘服务器的视频目标检测方法，其特征在于，根据预先构建的目标检测管道应用、所述Tensor RT引擎以及预先构建的动态库，对所述多路视频流数据进行目标检测，得到目标检测结果，具体包括：根据预先构建的目标检测管道应用，对所述多路视频流数...

【专利技术属性】
技术研发人员：戎亚茹，李佳，商广勇，肖雪，
申请(专利权)人：浪潮工业互联网股份有限公司，
类型：发明
国别省市：