对象检测方法和对象检测装置制造方法及图纸

技术编号:12773467 阅读:44 留言:0更新日期:2016-01-27 17:12
本发明专利技术提供了一种对象检测方法和对象检测装置,所述对象检测方法包括:将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;提取所述图像中的前景区域;对所述前景区域进行分块操作,以获得块集合;以及对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。

【技术实现步骤摘要】

本专利技术涉及对象检测的领域,更具体地,本专利技术涉及一种对象检测方法和对象检测装置
技术介绍
随着监控视频的普及和对安全问题的日益关注,对于智能的分析监控视频数据中的特定对象,例如行人或车辆,有着紧迫的需求。以行人检测为例,在一种行人检测方法中,对视频场景进行分块(blob)处理,然后以块为单位进行行人跟踪。这种方法往往对行人密集程度比较低的场景有效,但是对客流比较复杂或者客流量大的场景,每个块可能包含多个行人,这种算法难以确定地定位到每一个行人。在另一种行人检测方法中,对视频中每一帧直接使用行人检测算法。然而,这种方法的计算时间复杂度比较高,而且对于客流比较大的监控场景,由于场景中存在很强的遮挡情况,也很难完整地定位出场景中的每一个行人。
技术实现思路
有鉴于上述情况,本专利技术提供了一种对象检测方法和对象检测装置,其即使在复杂的高密度场景中也能进行准确的对象检测。进一步地,本专利技术还提供了一种对象检测方法和对象检测装置,其不仅能够在复杂的高密度场景中进行准确的对象检测,还能够在后续准确地进行对象跟踪。根据本专利技术一实施例,提供了一种对象检测方法,包括:将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;提取所述图像中的前景区域;对所述前景区域进行分块操作,以获得块集合;以及对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。根据本专利技术另一实施例,提供了一种对象检测装置,包括:三维坐标获取单元,将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;前景提取单元,提取所述图像中的前景区域;分块单元,对所述前景区域进行分块操作,以获得块集合;以及检测单元,对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。根据本专利技术另一实施例,提供了一种对象检测装置,包括:处理器;存储器;和存储在所述存储器中的计算机程序指令,在所述计算机程序指令被所述处理器运行时执行以下步骤:将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;提取所述图像中的前景区域;对所述前景区域进行分块操作,以获得块集合;以及对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。根据本专利技术另一实施例,提供了一种计算机程序产品,包括计算机可读存储介质,在所述计算机可读存储介质上存储了计算机程序指令,所述计算机程序指令在被计算机运行时执行以下步骤:将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;提取所述图像中的前景区域;对所述前景区域进行分块操作,以获得块集合;以及对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。在本专利技术实施例的对象检测方法和对象检测装置中,对各帧图像进行分块操作,通过神经网络检测所得到的每个块,从而即使在复杂的高密度场景中也能进行准确的对象检测。附图说明图1是图示根据本专利技术一实施例的对象检测方法的主要步骤的流程图;图2是图示根据本专利技术另一实施例的对象检测方法的主要步骤的流程图;图3是图示根据本专利技术一实施例的对象检测装置的主要配置的框图;图4是图示根据本专利技术另一实施例的对象检测装置的主要配置的框图;以及图5是图示根据本专利技术又一实施例的对象检测装置的主要配置的框图。具体实施方式以下将参考附图详细描述本专利技术实施例。首先,参照图1描述根据本专利技术实施例的对象检测方法。如图1所示,首先,在步骤S110,将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标。所述图像序列可以由安装在所要检测的场景中的摄像头采集。所述至少一帧图像可以为所述图像序列中的任一帧或多帧图像。可选地,在对象检测之后还要进行对象跟踪的情况下,可将图像序列中的多帧图像甚至每一帧图像映射到三维物理空间。关于映射,示例性地,首先,可以在图像空间中确定预定参考面上的不共线的三个像素。所述预定参考面例如为地平面等。接下来,可以获取所述三个像素的深度信息。所述深度信息表示所述像素对应的真实世界中的点与相机原点之间的距离。作为一示例,所述深度信息可以通过测距仪观测得到。作为另一示例,所述深度信息可通过人工估计得到。作为又一示例,所述深度信息可通过深度相机获得。在获取了这三个像素的深度信息之后,可以基于所述三个像素的深度信息,建立从图像空间到三维物理空间的映射变换。示例性地,假设相机模型为小孔成像模型,从而可以基于所述三个像素的深度信息,通过小孔成像模型,建立所述映射变换。由此,可以将所述图像中的每个像素通过所述映射变换而映射到三维物理空间,从而获得每个像素的三维坐标。所述三维坐标例如可以以相机所在的位置为原点。接下来,所述对象检测方法进行到步骤S120。在步骤S120,提取所述图像中的前景区域。具体地,首先,可以通过例如基于以像素为单位的方法、基于颜色模型的方法、基于帧为单位的子空间方法等的各种方法,确定背景模型。然后,从所述图像中提取出不同于背景模型的区域作为前景区域。当然,以上所述的前景区域提取方式仅为示例。本领域技术人员完全可根据除此以外的各种方式来提取图像中的前景区域。此外,可选地,为使对象检测结果更为精确,还可对所述图像进行阴影清除处理,也即,通过阴影检测算法清除前景区域中的阴影部分。具体地,例如,考虑到阴影部分中的光线亮度会比非阴影部分中的光线亮度更暗,此外,考虑到阴影部分会保存地面本身的纹理信息,因此,可以基于亮度信息、纹理信息等的各种信息,通过本领域已知的和将来开发的各种阴影检测算法找到阴影部分,然后从前景区域中清除所述阴影部分。然后,在步骤S130,对所述前景区域进行分块操作,从而最终获得各个不连通的块,形成块集合。具体地,可以采用图像处理领域中已知的和未来开发的各种分块处理方式,对所述前景区域进行分块操作,在此不再详述。在通过分块处理获得了由各个块组成的块集合之后,在步骤S140,对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。具体地,首先,可基于所述块中与预定参考面接触本文档来自技高网...

【技术保护点】
一种对象检测方法,包括:将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中每个像素的三维坐标;提取所述图像中的前景区域;对所述前景区域进行分块操作,以获得块集合;以及对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过神经网络检测所述块中的对象,以得到对象检测结果。

【技术特征摘要】
1.一种对象检测方法,包括:
将图像序列中的至少一帧图像映射到三维物理空间,以获得所述图像中
每个像素的三维坐标;
提取所述图像中的前景区域;
对所述前景区域进行分块操作,以获得块集合;以及
对所述块集合中的每个块,基于所述块中预定参考点的三维坐标,通过
神经网络检测所述块中的对象,以得到对象检测结果。
2.如权利要求1所述的对象检测方法,还包括:
对至少两帧图像的对象检测结果进行匹配,以得到对象跟踪结果。
3.如权利要求1所述的对象检测方法,通过神经网络检测所述块中的对
象的步骤包括:
基于所述块中与预定参考面接触的像素的三维坐标以及所述块的尺寸信
息,估计真实场景中所述块的物理尺寸;
基于所述块的物理尺寸,计算所述块中可能存在的对象的数目的上限;
以及
基于所述块和所述上限,通过神经网络检测所述块中的对象,以得到对
象检测结果。
4.如权利要求3所述的对象检测方法,通过神经网络检测所述块中的对
象的步骤包括:
对于每次检测过程,将所述块和所述上限输入训练后的神经网络,以得
到所述块中本次检测过程所对应的对象的位置以及所述位置处存在所述对象
的置信度;
判断是否达到结束条件;以及
当判断没有达到结束条件时,执行下一次检测过程;当判断达到结束条
件时,将各次检测过程所对应的各个对象的位置及各自的置信度输出作为对
象检测结果。
5.如权利要求4所述的对象检测方法,其中,判断是否达到结束条件的
步骤包括以下中的任一:
判断检测到的对象的数目是否到达所述上限;
判断本次检测过程所得到的置信度是否小于阈值。
6.如权利要求2所述的对象检测方法,对至少两帧图像的对象检测结果
进行匹配的步骤包括:
对于所述至少两帧图像中的每一帧图像,提取所述图像中检测到的每个
对象的特征信息,所述特征信息包括所述对象的位置信息、外观信息和纹理
信息中的至少一个;
对于所述至少两帧图像的其中一帧中每个对象,基于所述特征信息,对
所述对象与所述至少两帧图像的其他帧中每个对象的对分配权重,所述权重
表示所述对象与其他帧中每个对象之间相匹配的概率;以及
基于所述权重,对所述图像序列中的所述至少两帧图像进行匹配,以得
到对象跟踪结果。
7.如权利要求1所述的对象检测方法,获得所述图像中每个像素的三维
坐标的步骤包括:
在图像空间中确定预定参考面上的不共线的三个像素;
获取所述三个像素的深度信息;
基于所述三个像素的深度信息,建立从图像空间到三维物理空间的映射
变换;以及
将所述图像中的每个像素通过所述映射变换而映射到三维物理空间,从
而获得所述像素的三维坐标。
8.一种对象检测装置,包括:
三维坐标获取单元,将图像序列中的至少一...

【专利技术属性】
技术研发人员:俞刚李超何奇正印奇
申请(专利权)人:北京旷视科技有限公司北京小孔科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1