对象检测方法和用于对象检测的神经网络系统技术方案

本发明专利技术提供一种对象检测方法和用于对象检测的神经网络系统。所述对象检测方法包括：(A)获取包括多个帧图像的图像序列中的当前帧图像；(B)从当前帧图像提取当前帧的特征图；(C)对当前帧的特征图进行池化，以获得当前帧的池化特征图，其中，当前帧的池化特征图包括与当前帧之前的各个帧图像分别对应的各个池化特征图的信息；(D)从当前帧的池化特征图检测对象。根据本发明专利技术的对象检测方法和用于对象检测的神经网络系统，能够通过将当前帧图像的特征图与当前帧图像之前的各个帧的池化特征图的信息进行结合，来更准确地检测对象。

Object Detection Method and Neural Network System for Object Detection

The invention provides an object detection method and a neural network system for object detection. The object detection method includes: (A) acquiring the current frame image in the image sequence including multiple frame images; (B) extracting the feature map of the current frame from the current frame image; (C) pooling the feature map of the current frame to obtain the pooling feature map of the current frame, in which the current frame pooling feature map includes each pooling feature map corresponding to each frame image before the current frame. Information; (D) Detecting objects from the current frame's pooling feature map. According to the object detection method of the present invention and the neural network system for object detection, the object can be detected more accurately by combining the feature map of the current frame image with the information of the pooling feature map of each frame before the current frame image.

【技术实现步骤摘要】
对象检测方法和用于对象检测的神经网络系统
本专利技术涉及对象检测领域，更具体地讲，涉及一种对象检测方法和用于对象检测的神经网络系统。
技术介绍
对象检测是计算机视觉领域中的一个热点问题，对象检测主要是在图像或视频中识别并检测出感兴趣的对象。对象检测在自动驾驶、无人机和基于手势的交互系统等领域中具有重要作用。因而，关于对象检测的研究日益受到关注。通常的对象检测方法主要利用可变形部件模型及其变体来检测对象，该方法通常使用图像描述子(例如，HOG(方向梯度直方图)、SIFT(尺度不变特征变换)以及LBP(局部二值模式)等)作为特征，通过滑窗遍历整个图像，来寻找最大响应区域，从而检测对象。此外，随着深度学习技术的发展，出现了基于深度神经网络的对象检测方法，并且该方法由于具有高效性而迅速被广泛使用。然而，上述方法仅基于单帧图像进行对象检测操作，因而在基于单个图像的对象检测方面具有良好的检测效果，但是在基于视频图像的对象检测方面难以取得理想的检测结果。近年来，动态视觉传感器(DVS)相机由于能够将视觉动态信号编码为异步的微秒级精度的事件流，进而通过事件流生成帧图像来跟踪快速运动的物体，而受到广泛关注。采用通过动态视觉传感器相机拍摄的帧图像来检测对象，能够较准确地检测出快速运动的物体。因而，当物体的运动速度很快时，可以基于动态视觉传感器相机拍摄的视频图像，通过使用以上描述的两种方法，获得较好的对象检测结果。然而，当物体的运动速度较慢时，却难以基于动态视觉传感器相机拍摄的图像来准确检测对象。
技术实现思路
本专利技术的示例性实施例在于提供一种对象检测方法和用于对象检测的神经网络系统。所述对象检测方法和用于对象检测的神经网络系统能够克服现有对象检测方法无法准确检测运动速度慢的物体的缺陷，并且所述对象检测方法和用于对象检测的神经网络系统能够通过较少的计算量来获得准确的检测结果，从而提高对象检测效率。根据本专利技术示例性实施例的一方面，提供一种对象检测方法，所述对象检测方法包括：(A)获取包括多个帧图像的图像序列中的当前帧图像；(B)从当前帧图像提取当前帧的特征图；(C)对当前帧的特征图进行池化，以获得当前帧的池化特征图，其中，当前帧的池化特征图包括与当前帧之前的各个帧图像分别对应的各个池化特征图的信息；(D)从当前帧的池化特征图检测对象。可选地，当当前帧图像为第一帧图像时，步骤(C)包括：仅使用第一帧的特征图获得第一帧的池化特征图，当当前帧图像不是第一帧图像时，步骤(C)包括：使用前一帧的池化特征图和当前帧的特征图，获得当前帧的池化特征图。可选地，当当前帧图像不是第一帧图像时，步骤(C)包括：(C1)使用前一帧的池化特征图和当前帧的特征图，获得当前帧的权重图；(C2)使用前一帧的池化特征图、当前帧的特征图和当前帧的权重图，获得当前帧的池化特征图。可选地，当当前帧图像为第t帧图像，且t为大于1的整数时，通过下面的等式计算当前帧的权重图中的各个权重值：ωt,i＝Nmlp(ft-1,i,xt,i)，其中，ωt,i表示第t帧的权重图中坐标为i的权重值，ωt,i的取值范围为[0,1]，Nmlp表示多层感知器神经网络，ft-1,i和xt,i为多层感知器神经网络的输入，其中，ft-1,i表示第t-1帧的池化特征图中坐标为i的池化特征值，xt,i表示第t帧的特征图中坐标为i的特征值，其中，i表示二维坐标。可选地，通过下面的等式计算第t帧的池化特征图中的各个池化特征值：ft,i＝ρ[s(ft-1,i,ωt,i),xt,i]，其中，ft,i表示第t帧的池化特征图中坐标为i的池化特征值，函数s用于将ft-1,i与ωt,i相乘，函数ρ为池化函数，用于选择通过函数s计算的值与xt,i中的最大值或用于计算通过函数s计算的值与xt,i的平均值。可选地，当当前图像为第一帧图像时，步骤(C)包括：将第一帧的特征图用作第一帧的池化特征图。可选地，通过动态视觉传感器相机进行拍摄来产生所述图像序列。可选地，步骤(B)包括：通过对当前帧图像进行预定次数的卷积操作，来获得当前帧的特征图。根据本专利技术示例性实施例的另一方面，提供一种用于对象检测的神经网络系统，所述神经网络系统包括：特征提取子网络，获取包括多个帧图像的图像序列中的当前帧图像，并从当前帧图像提取当前帧的特征图；时域池化子网络，对当前帧的特征图进行池化，以获得当前帧的池化特征图，其中，当前帧的池化特征图包括与当前帧之前的各个帧图像分别对应的各个池化特征图的信息；检测子网络，从当前帧的池化特征图检测对象。可选地，当当前帧图像为第一帧图像时，时域池化子网络仅使用第一帧的特征图获得第一帧的池化特征图，当当前帧图像不是第一帧图像时，时域池化子网络使用前一帧的池化特征图和当前帧的特征图，获得当前帧的池化特征图。可选地，当当前帧图像不是第一帧图像时，时域池化子网络使用前一帧的池化特征图和当前帧的特征图，获得当前帧的权重图，并使用前一帧的池化特征图、当前帧的特征图和当前帧的权重图，获得当前帧的池化特征图。可选地，当当前帧图像为第t帧图像，且t为大于1的整数时，时域池化子网络通过下面的等式计算当前帧的权重图中的各个权重值：ωt,i＝Nmlp(ft-1,i,xt,i)，其中，ωt,i表示第t帧的权重图中坐标为i的权重值，ωt,i的取值范围为[0,1]，Nmlp表示多层感知器神经网络，ft-1,i和xt,i为多层感知器神经网络的输入，其中，ft-1,i表示第t-1帧的池化特征图中坐标为i的池化特征值，xt,i表示第t帧的特征图中坐标为i的特征值，其中，i表示二维坐标。可选地，时域池化子网络通过下面的等式计算第t帧的池化特征图中的各个池化特征值：ft,i＝ρ[s(ft-1,i,ωt,i),xt,i]，其中，ft,i表示第t帧的池化特征图中坐标为i的池化特征值，函数s用于将ft-1,i与ωt,i相乘，函数ρ为池化函数，ρ用于选择通过函数s计算的值与xt,i中的最大值或用于计算通过函数s计算的值与xt,i的平均值。可选地，当当前图像为第一帧图像时，时域池化子网络将第一帧的特征图用作第一帧的池化特征图。可选地，通过动态视觉传感器相机进行拍摄来产生所述图像序列。可选地，特征提取子网络通过对当前帧图像进行预定次数的卷积操作，来获得当前帧的特征图。根据本专利技术示例性实施例的另一方面，提供一种计算机可读存储介质，存储有当被处理器执行时使得处理器执行上述的对象检测方法的程序指令。根据本专利技术的对象检测方法和用于对象检测的神经网络系统，能够通过将当前帧图像的特征图与当前帧图像之前的各个帧的池化特征图的信息进行结合，来更准确地检测对象。附图说明通过下面结合示例性地示出实施例的附图进行的描述，本专利技术示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：图1示出根据本专利技术示例性实施例的对象检测方法的流程图；图2示出据本专利技术示例性实施例的动态视觉传感器相机生成帧图像的示例的示图；图3示出根据本专利技术示例性实施例的对象检测方法中获得当前帧的池化特征图的步骤的流程图；图4示出根据本专利技术示例性实施例的对象检测过程的示意图；图5示出根据本专利技术示例性实施例的用于对象检测的神经网络系统的框图。具体实施方式以下，将参照附图更充分地描述本专利技术的示例性实施例，示例性实施例在附本文档来自技高网...

【技术保护点】
1.一种对象检测方法，所述对象检测方法包括：(A)获取包括多个帧图像的图像序列中的当前帧图像；(B)从当前帧图像提取当前帧的特征图；(C)对当前帧的特征图进行池化，以获得当前帧的池化特征图，其中，当前帧的池化特征图包括与当前帧之前的各个帧图像分别对应的各个池化特征图的信息；(D)从当前帧的池化特征图检测对象。

【技术特征摘要】
1.一种对象检测方法，所述对象检测方法包括：(A)获取包括多个帧图像的图像序列中的当前帧图像；(B)从当前帧图像提取当前帧的特征图；(C)对当前帧的特征图进行池化，以获得当前帧的池化特征图，其中，当前帧的池化特征图包括与当前帧之前的各个帧图像分别对应的各个池化特征图的信息；(D)从当前帧的池化特征图检测对象。2.如权利要求1所述的对象检测方法，其中，当当前帧图像为第一帧图像时，步骤(C)包括：仅使用第一帧的特征图获得第一帧的池化特征图，当当前帧图像不是第一帧图像时，步骤(C)包括：使用前一帧的池化特征图和当前帧的特征图，获得当前帧的池化特征图。3.如权利要求2所述的对象检测方法，其中，当当前帧图像不是第一帧图像时，步骤(C)包括：(C1)使用前一帧的池化特征图和当前帧的特征图，获得当前帧的权重图；(C2)使用前一帧的池化特征图、当前帧的特征图和当前帧的权重图，获得当前帧的池化特征图。4.如权利要求3所述的对象检测方法，其中，当当前帧图像为第t帧图像，且t为大于1的整数时，通过下面的等式计算当前帧的权重图中的各个权重值：ωt,i＝Nmlp(ft-1,i,xt,i)其中，ωt,i表示第t帧的权重图中坐标为i的权重值，ωt,i的取值范围为[0,1]，Nmlp表示多层感知器神经网络，ft-1,i和xt,i为多层感知器神经网络的输入，其中，ft-1,i表示第t-1帧的池化特征图中坐标为i的池化特征值，xt,i表示第t帧的特征图中坐标为i的特征值，其中，i表示二维坐标。5.如权利要求4所述的对象检测方法，其中，通过下面的等式计算第t帧的池化特征图中的各个池化特征值：ft,i＝ρ[s(ft-1,i,ωt,i),xt,i]其中，ft,i表示第t帧的池化特征图中坐标为i的池化特征值，函数s用于将ft-1,i与ωt,i相乘，函数ρ为池化函数，用于选择通过函数s计算的值与xt,i中的最大值或用于计算通过函数s计算的值与xt,i的平均值。6.如权利要求2所述的对象检测方法，其中，当当前图像为第一帧图像时，步骤(C)包括：将第一帧的特征图用作第一帧的池化特征图。7.如权利要求1所述的对象检测方法，其中，通过动态视觉传感器相机进行拍摄来产生所述图像序列。8.如权利要求1所述的对象检测方法，其中，步骤(B)包括：通过对当前帧图像进行预定次数的卷积操作，来获得当前帧的特征图。9.一种用于对象检测的神经网络系统，所述神经网络系统包括：特征提取子网络，获取包括多个帧图像...

【专利技术属性】
技术研发人员：李佳，石峰，刘伟恒，邹冬青，王强，柳贤锡，朴根柱，李贤九，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11