运动物体检测方法及其相关设备技术

本申请提供一种运动物体检测方法及其相关设备，涉及图像处理领域，该方法包括：获取视频码流数据，并提取压缩域语法元素，压缩域语法元素用于指示视频码流数据中的变量信息；根据压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。本申请通过结合压缩域语法元素，利用网络模型进行运动物体检测，从而可以实现保证实时性、适应复杂场景的目的。适应复杂场景的目的。适应复杂场景的目的。

【技术实现步骤摘要】
运动物体检测方法及其相关设备


[0001]本申请涉及图像处理领域，具体涉及一种运动物体检测方法及其相关设备。

技术介绍

[0002]运动物体检测是计算机视觉的一个研究热点，它可以为视频分析、视频检索等提供支持，在人机交互、医疗诊断等领域都有着越来越重要的应用前景。
[0003]现有提供的检测方法大部分是在像素域通过算法对视频像素数据进行计算，估计出视频中的运动对象，然而，随着视频分辨率越来越高，需要处理的视频像素数据越来越庞大，如此操作将要耗费大量的计算资源，计算速度也相应变慢。对此，亟需一种新的运动物体检测方法。

技术实现思路

[0004]本申请提供一种运动物体检测方法及其相关设备，通过结合压缩域语法元素，利用网络模型进行运动物体检测，从而可以实现保证实时性、适应复杂场景的目的。
[0005]第一方面，提供了一种运动物体检测方法，该方法包括：获取视频码流数据，并提取压缩域语法元素，所述压缩域语法元素用于指示所述视频码流数据中的变量信息；根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。
[0006]本申请实施例可以直接利用视频编码过程中产生的运动信息，节省了运动信息的计算步骤；另外，又结合了运动检测网络进行检测，从而可以实现高效、快速的视频运动目标检测任务，在保证实时性的基础下，解决相关方法中在复杂场景下的鲁棒性问题。
[0007]结合第一方面，在第一方面的某些实现方式中，根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体，包括：根据所述压缩域语法元素，确定运动特征；根据所述运动特征，生成二维矩阵；将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体。
[0008]在本申请实施例中，本申请无需解码帧图像数据，可直接从压缩域中提取可靠的压缩域语法元素进行运动分析，因此处理速度容易达到实时性。又结合了运动检测网络进行检测，从而可以实现高效、快速的视频运动目标检测任务，在保证实时性的基础下，解决相关方法中在复杂场景下的鲁棒性弱、性能差的问题。
[0009]结合第一方面，在第一方面的某些实现方式中，根据所述压缩域语法元素，确定运动特征，包括：根据P帧的压缩域语法元素，确定P帧对应的运动特征，所述视频码流数据包括I帧、P帧和B帧；根据B帧的压缩域语法元素，确定B帧对应的运动特征；根据所述I帧前后相邻的P帧对应的运动特征和/或B帧对应的运动特征，利用插值
方法，确定所述I帧对应的运动特征。
[0010]在本申请实施例中，结合P帧和B帧的运动信息，基于运动物体的时空连贯性，对运动特征进行插值处理，从而可以得到I帧的运动信息，这样就可以确定出每帧对应的运动信息。
[0011]结合第一方面，在第一方面的某些实现方式中，所述方法还包括：对所述I帧、所述P帧和所述B帧对应的运动特征，进行平滑处理。
[0012]在本申请实施例中，进行平滑处理后，相邻视频帧之间的运动信息过渡更加自然，可以去除误检区域的噪声，还可以避免出现个别数据异常、差异较大的情况。
[0013]结合第一方面，在第一方面的某些实现方式中，所述压缩域语法元素包括：编码比特量、运动矢量和残差系数。
[0014]在本申请实施例中，本申请无需解码帧图像数据，可直接从压缩域中提取可靠的编码比特量、运动矢量和残差系数这三种运动信息进行运动分析，因此处理速度容易达到实时性。
[0015]结合第一方面，在第一方面的某些实现方式中，所述运动特征包括：运动信息量、运动矢量强度、残差系数密度；所述运动信息量与所述编码比特量对应，所述运动矢量强度与所述运动矢量对应，所述残差系数密度与所述残差系数对应。
[0016]在本申请实施例中，由于压缩域语法元素具有三种，因此，基于三种压缩域语法元素分别设计了运动信息量、运动矢量强度、残差系数密度三种运动特征来表征视频画面的运动情况。
[0017]结合第一方面，在第一方面的某些实现方式中，所述运动检测网络包括：Darknet神经网络模型和YOLOv3目标检测模型；将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体，包括：将所述二维矩阵输入所述Darknet神经网络模型，得到多尺度的卷积特征层；将所述多尺度的卷积特征层输入所述YOLOv3目标检测模型，确定所述目标运动物体对应的边框定位。
[0018]在本申请实施例中，二维矩阵输入Darknet神经网络模型，可以融合不同的运动特征，学习有效且全面的运动语义表征；基于YOLO
‑
v3目标检测模型对神经网络模型输出的多尺度特征层进行运动检测，可以预测视频画面中的运动目标。
[0019]第二方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器、存储器和显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：获取视频码流数据，并提取压缩域语法元素，所述压缩域语法元素用于指示所述视频码流数据中的变量信息；根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。
[0020]结合第二方面，在第二方面的某些实现方式中，根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体，包括：根据所述压缩域语法元素，确定运动特征；
根据所述运动特征，生成二维矩阵；将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体。
[0021]结合第二方面，在第二方面的某些实现方式中，根据所述压缩域语法元素，确定运动特征，包括：根据P帧的压缩域语法元素，确定P帧对应的运动特征，所述视频码流数据包括I帧、P帧和B帧；根据B帧的压缩域语法元素，确定B帧对应的运动特征；根据所述I帧前后相邻的P帧对应的运动特征和/或B帧对应的运动特征，利用插值方法，确定所述I帧对应的运动特征。
[0022]结合第二方面，在第二方面的某些实现方式中，所述方法还包括：对所述I帧、所述P帧和所述B帧对应的运动特征，进行平滑处理。
[0023]结合第二方面，在第二方面的某些实现方式中，所述压缩域语法元素包括：编码比特量、运动矢量和残差系数。
[0024]结合第二方面，在第二方面的某些实现方式中，所述运动特征包括：运动信息量、运动矢量强度、残差系数密度；所述运动信息量与所述编码比特量对应，所述运动矢量强度与所述运动矢量对应，所述残差系数密度与所述残差系数对应。
[0025]结合第二方面，在第二方面的某些实现方式中，所述运动检测网络包括：Darknet神经网络模型和YOLOv3目标检测模型；将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体，包括：将所述二维矩阵输入所述Darknet神经网络模型，得到多尺度的卷积特征层；将所述多尺度的卷积特征层输入所述YOLOv3目标检测模型，确定所述目标运动物体对应的边框定位。
[0026]应理解，在上述第一方面中对相关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动物体检测方法，其特征在于，所述方法包括：获取视频码流数据，并提取压缩域语法元素，所述压缩域语法元素用于指示所述视频码流数据中的变量信息；根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。2.根据权利要求1所述的运动物体检测方法，其特征在于，根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体，包括：根据所述压缩域语法元素，确定运动特征；根据所述运动特征，生成二维矩阵；将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体。3.根据权利要求2所述的运动物体检测方法，其特征在于，根据所述压缩域语法元素，确定运动特征，包括：根据P帧的压缩域语法元素，确定P帧对应的运动特征，所述视频码流数据包括I帧、P帧和B帧；根据B帧的压缩域语法元素，确定B帧对应的运动特征；根据所述I帧前后相邻的P帧对应的运动特征和/或B帧对应的运动特征，利用插值方法，确定所述I帧对应的运动特征。4.根据权利要求3所述的运动物体检测方法，其特征在于，所述方法还包括：对所述I帧、所述P帧和所述B帧对应的运动特征，进行平滑处理。5.根据权利要求4所述的运动物体检测方法，其特征在于，所述压缩域语法元素包括：编码比特量、运动矢量和残差系数。6.根据权利要求5所述的运动物体检测方...

【专利技术属性】
技术研发人员：田贤浩，王瑞星，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：