基于动态视觉传感器的物体检测方法及设备技术

本发明专利技术提供一种基于动态视觉传感器的物体检测方法及设备，所述方法包括以下步骤：通过动态视觉传感器获取多个图像帧；采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。本发明专利技术通过采用一种新的递归一致检测网络，从动态视觉传感器获取的数据中快速检测出检测对象的包围框，在保证检测精度的同时大大提高了检测速率。

【技术实现步骤摘要】
基于动态视觉传感器的物体检测方法及设备
本专利技术涉及计算机视觉领域，具体而言，本专利技术涉及一种基于动态视觉传感器的物体检测方法及设备。
技术介绍
物体检测是计算机视觉领域中的一个热点问题，其目的是要在图像或视频中识别并检测出感兴趣类别的每个物体实例。它是自动驾驶、无人机和基于手势的交互系统等应用中的重要部分。高能效的摄像机、基于嵌入式低能耗处理器的实时视觉处理算法以及稳定的性能都是物体检测在实际中应用的关键。物体检测技术在许多重要的应用场景，例如自动驾驶、无人机、家庭辅助以及基于手势的人机交互中发挥核心作用。传统的物体检测方法以可变性部件模型及其变体为主流，这类方法利用图像描述子如HOG(方向梯度直方图,HistogramofOrientedGradient)、SIFT(尺度不变特征变换,Scale-InvariantFeatureTransform)以及LBP(局部二值模式,LocalBinaryPatterns)等作为特征，用滑窗遍历整个图像，寻找某一类别的最大响应区域。近年来，随着深度学习技术的迅猛发展，基于深度神经网络的物体检测技术由于其显著的性能成为这一领域的主流技术方法。目前，基于深度神经网络的物体检测技术大多建立在FRCNN(快速区域卷积神经网,FasterRegionConvolutionalNeuralNetwork)的框架下：首先将输入图像进行一系列的卷积操作，得到特征图；然后在特征图中根据ROI(感兴趣区域，RegionofInterest)的位置及尺度，在图像特征图上动态池化出具有固定长度的特征作为该ROI的特征，最后利用该ROI特征对该ROI中的物体分类并回归该物体的包围框。虽然这类基于卷积神经网络的方法具有良好的检测性能，但需要大量的存储空间和计算资源，通常仅能在GPU上运行，因此无法满足嵌入式电子设备应用的需求。为了提高检测算法的速度，出现了一些更高效的网络结构，这类方法不依赖于基于ROI的动态池化，而是直接由图像特征图上每个点的特征直接分类，并回归物体的包围框参数。与FRCNN的检测模型相比，该方法能够在保证精度的情况下提速2.5倍，或者在降低精度约10％的情况下提速8.6倍。依然距离高效嵌入式应用的需求有数十倍的差距。对于自动驾驶、无人机、家庭辅助和基于手势的交互系统等实际应用，高能效是物体检测算法能够广泛应用的先决条件。然而，基于卷积神经网络的检测方法具有良好的检测性能，但需要大量的存储空间和计算资源，通常仅能在GPU上运行，因此无法满足嵌入式电子应用的需求。DVS(动态视觉传感器，DynamicVisionSensor)相机具有高效能的特点，然而现有的基于神经网络的物体检测算法都有着较高的复杂度，使得整个视觉检测系统的功耗依然很高，无法满足实际应用的需求。和传统CMOS(互补金氧半导体电路，ComplementaryMetalOxideSemiconductor)或CCD(电荷耦合元件，Charge-coupledDevice)敏感器生成的图像不同，DVS敏感器是根据场景光照变化强度大小而产生事件，其产生的图像具有稀疏性、二值化的特点。
技术实现思路
本专利技术的目的旨在根据DVS相机的特点，结合时域信息，提供一种物体检测方法，以提高物体检测效率。为了实现上述目的，本专利技术一实施例提供一种基于动态视觉传感器的物体检测方法，包括以下步骤：通过动态视觉传感器获取多个图像帧；采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。具体的，所述帧检测网络模型基于当前帧图像的特征图与由所述候选框图模型生成的前一帧图像的时域一致候选框，生成该当前帧图像的候选检测框。其中，所述帧检测网络模型包括完全检测网络和快速检测网络。进一步，所述帧检测网络模型生成当前帧图像的候选检测框的执行步骤包括：将当前帧图像通过所述完全检测网络的第一至三个卷积层进行处理；以当前帧以及前一帧图像的第三个卷积层的特征图，和前一帧图像的检测结果作为输入，执行快速检测网络的处理步骤；若所述快速检测网络中的softmax层预测的置信度值低于阈值，则从第三个卷积层继续执行完全检测网络的处理步骤，并以完全检测网络的输出作为帧检测网络的输出。可选的，若快速检测网络中的softmax层预测的置信度值高于阈值，则将所述快速检测网络的结果作为帧检测网络的输出。具体的，所述快速检测网络的处理步骤包括：串联前一帧图像和当前帧图像的特征图，得到当前帧图像更新的特征图；将前一帧图像的候选检测框的区域作为感兴趣区域ROI，并由ROI池化层从所述更新的特征图中池化出该ROI的特征向量；将所述ROI的特征向量经过处理得到检测信息。具体的，所述完全检测网络的处理步骤包括：将当前帧图像通过多层卷积层及池化层的处理得到当前帧图像的特征图；基于所述当前帧图像的特征图，采用区域建议网络回归出当前帧图像的候选框；利用非极大值抑制算法对所述回归出的当前帧图像的候选框作处理，得到建议ROI；由ROI池化层在所述当前帧图像的特征图上，动态池化出建议ROI的特征向量；将每个建议ROI的特征向量经过处理得到检测信息。优选的，所述动态池化出的建议ROI的特征向量均为固定长度。具体的，所述检测信息包括用于描述候选检测框的参数和检测对象的分类标识信息。具体的，所述用于描述候选检测框的参数和检测对象的分类标识信息，由每个建议ROI的特征向量经过全连层后，通过包围框回归层和softmax层分别处理后得到。具体的，所述候选框图模型基于每个时刻的候选检测框建立图模型，并将所述候选检测框中满足时域一致性约束的候选检测框作为当前帧图像的时域一致候选框。其中，所述候选框图模型包括多个图层，且每一个图层对应一帧图像。具体的，所述时域一致性约束表示为检测对象在前一时刻所处位置与当前时刻所处位置之间的距离小于第一预设阈值。优选的，所述距离为欧几里得距离或曼哈顿距离。具体的，当候选检测框中存在一个长度大于第二预设阈值的时域轨迹时，则该候选检测框满足时域一致性约束。本专利技术另一实施例提供一种基于动态视觉传感器的物体检测设备，包括：获取模块：用于通过动态视觉传感器获取多个图像帧；检测模块：用于采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。相比现有技术，本专利技术的方案具有以下优点：本专利技术通过采用一种新的递归一致检测网络，从动态视觉传感器获取的数据中快速检测出检测对象的包围框，在保证检测精度的同时大大提高了检测速率。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为T-1帧的DVS图像例图；图2为T帧的DVS图像例图；图3为本专利技术的基本构成图；图4为本专利技术一实施例提供的基于动态视觉传感器的物体检测方法流程示意图；图5为本专利技术所述递归一致网络的结构框图；图6为本专利技术所述帧检测网络的结构框图；图7为本专利技术所述帧检测网络执行过程的示意图；图8为本专利技术所述完全检测网络的结构框图；图9为本专利技术所述物体检测方法与现有物体检测本文档来自技高网...

【技术保护点】
一种基于动态视觉传感器的物体检测方法，其特征在于，包括以下步骤：通过动态视觉传感器获取多个图像帧；采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。

【技术特征摘要】
1.一种基于动态视觉传感器的物体检测方法，其特征在于，包括以下步骤：通过动态视觉传感器获取多个图像帧；采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。2.根据权利要求1所述的方法，其特征在于，所述帧检测网络模型基于当前帧图像的特征图与由所述候选框图模型生成的前一帧图像的时域一致候选框，生成该当前帧图像的候选检测框。3.根据权利要求1所述的方法，其特征在于，所述帧检测网络模型包括完全检测网络和快速检测网络。4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述帧检测网络模型生成当前帧图像的候选检测框的执行步骤包括：将当前帧图像通过所述完全检测网络的第一至三个卷积层进行处理；以当前帧以及前一帧图像的第三个卷积层的特征图，和前一帧图像的检测结果作为输入，执行快速检测网络的处理步骤；若所述快速检测网络中的softmax层预测的置信度值低于阈值，则从第三个卷积层继续执行完全检测网络的处理步骤，并以完全检测网络的输出作为帧检测网络的输出。5.根据权利要求4所述的方法，其特征在于，若快速检测网络中的softmax层预测的置信度值高于阈值，则将所述快速检测网络的结果作为帧检测网络的输出。6.根据权利要求3-5中任意一项所述的方法，其特征在于，所述快速检测网络的处理步骤包括：串联前一帧图像和当前帧图像的特征图，得到当前帧图像更新的特征图；将前一帧图像的候选检测框的区域作为感兴趣区域ROI，并由ROI池化层从所述更新的特征图中池化出该ROI的特征向量；将所述ROI的特征向量经过处理得到检测信息。7.根据权利要求3或4所述的方法，其特征在于，所述完全检测网络的处理步骤包括：将当前帧图像通过多层卷积层及池化层的处理得到当前帧图像的特征图；基于所述当前...

【专利技术属性】
技术研发人员：李佳，王强，石峰，邹冬青，刘伟恒，徐静涛，钱德恒，朴晋满，朴根柱，柳贤锡，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11