运动物体检测方法、装置、终端设备以及存储介质制造方法及图纸

本发明专利技术公开了一种运动物体检测方法、装置、终端设备以及存储介质，该方法包括：获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对视频流进行相机运动估计，得到相机运动估计结果；基于相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明专利技术能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。物体的目的。物体的目的。

【技术实现步骤摘要】
运动物体检测方法、装置、终端设备以及存储介质


[0001]本专利技术涉及车载设备
，尤其涉及一种运动物体检测方法、装置、终端设备以及存储介质。

技术介绍

[0002]汽车驾驶安全一直是备受关注的问题。为了提高车辆驾驶安全性，通常在汽车上设置有车载摄像头，通过车载摄像头监测车辆周边的环境信息，比如监测车辆周边的移动物体。
[0003]目前，在车辆静止或者低速状态下，车载摄像头能够实时的检测出场景中的运动物体。但是，现有运用于车载摄像头上的运动物体检测方法要么没有考虑摄像机的运动，要么估计摄像机运动的方法不够精准，这些方法都会造成误检的产生。

技术实现思路

[0004]本专利技术的主要目的在于提供一种运动物体检测方法、装置、终端设备以及存储介质，旨在提高车载摄像头对运动物体检测的准确性。
[0005]为实现上述目的，本专利技术提供一种运动物体检测方法，包括：
[0006]获取车载摄像头采集的视频流；
[0007]基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
[0008]基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
[0009]基于所述背景模型进行前景提取，得到提取的前景图像；
[0010]对所述前景图像进行后处理，得到完整的运动物体区域。
[0011]可选地，所述基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果的步骤包括：
[0012]从所述视频流中提取第t
‑
k帧和第t帧，t为大于1的整数，k为预设值；
[0013]采用稠密光流法对第t
‑
k帧与第t帧进行光流估计，获得第t
‑
k帧到第t帧图像之间的光流图信息；
[0014]对第t
‑
k帧图像采用Harris角点提取，获得所述第t
‑
k帧图像的若干光流特征点；
[0015]基于所述第t
‑
k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；
[0016]分别对第t
‑
k帧和第t帧图像采用SURF方法提取SURF特征点；
[0017]采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；
[0018]对所述光流特征点对和SURF特征点对进行融合，得到融合特征点对；
[0019]根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。
[0020]可选地，所述基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型的步骤包括：
[0021]基于所述相机运动估计结果、第t
‑
k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。
[0022]可选地，所述基于所述背景模型进行前景提取，得到提取的前景图像的步骤包括：
[0023]基于所述背景模型，根据所述第t
‑
k帧到第t帧图像之间的光流图信息与相机运动光流图信息间的运动幅值提取前景区域；
[0024]根据所述第t
‑
k帧到第t帧图像之间的光流图信息与相机运动光流图信息之间的角度差值提取前景区域；
[0025]根据提取的前景区域得到前景图像。
[0026]可选地，所述对所述前景图像进行后处理，得到完整的运动物体区域的步骤包括：
[0027]采用连通域分析法对所述前景图像进行分析，获得相连通的区域块；
[0028]对所述区域块进行面积分析；
[0029]如果所述区域块的面积小于预设阈值，则判断为噪声；
[0030]否则，判断为候选的移动物体区域块；
[0031]对获得的候选移动物体区域块进行形态学操作，获得完整的区域块；
[0032]对所述完整的区域块进行LBP纹理信息分析；
[0033]如果LBP值小于预设阈值，则判断为噪声，否则判断为移动物体区域块。
[0034]可选地，所述方法还包括：
[0035]当检测出移动物体时，向驾驶员发出提示信息。
[0036]可选地，所述k取值[1,5]。
[0037]可选地，所述相机运动估计结果通过单应性矩阵体现。
[0038]此外，本专利技术还提出一种运动物体检测装置，所述运动物体检测装置包括：
[0039]获取模块，用于获取车载摄像头采集的视频流；
[0040]运动估计模块，用于基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
[0041]背景建模模块，用于基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
[0042]前景提取模块，用于基于所述背景模型进行前景提取，得到提取的前景图像；
[0043]后处理模块，用于对所述前景图像进行后处理，得到完整的运动物体区域。
[0044]此外，本专利技术还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动物体检测程序，所述运动物体检测程序被所述处理器执行时实现如上所述的运动物体检测方法的步骤。
[0045]此外，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有运动物体检测程序，所述运动物体检测程序被处理器执行时实现如上所述的运动物体检测方法的步骤。
[0046]本专利技术实施例提出的一种运动物体检测方法、装置、终端设备以及存储介质，通过获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所
述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本专利技术基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本专利技术方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
附图说明
[0047]图1为本专利技术运动物体检测装置所属终端设备的功能模块示意图；
[0048]图2为本专利技术运动物体检测方法第一实施例的流程示意图；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动物体检测方法，其特征在于，包括：获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。2.根据权利要求1所述的方法，其特征在于，所述基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果的步骤包括：从所述视频流中提取第t
‑
k帧和第t帧，t为大于1的整数，k为预设值；采用稠密光流法对第t
‑
k帧与第t帧进行光流估计，获得第t
‑
k帧到第t帧图像之间的光流图信息；对第t
‑
k帧图像采用Harris角点提取，获得所述第t
‑
k帧图像的若干光流特征点；基于所述第t
‑
k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；分别对第t
‑
k帧和第t帧图像采用SURF方法提取SURF特征点；采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；对所述光流特征点对和SURF特征点对进行融合，得到融合特征点对；根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型的步骤包括：基于所述相机运动估计结果、第t
‑
k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。4.根据权利要求3所述的方法，其特征在于，所述基于所述背景模型进行前景提取，得到提取的前景图像的步骤包括：基于所述背景模型，根据所述第t
‑
k帧到第t帧图像之间的光流图信息与相机运动光流图...

【专利技术属性】
技术研发人员：曾杨，
申请(专利权)人：深圳市航盛电子股份有限公司，
类型：发明
国别省市：