基于360度全景的运动物体检测方法技术

本发明专利技术提供一种基于360度全景的运动物体检测方法，该方法包括：车辆周围四通道无盲区视频图像数据采集；车辆周围四通道视频图像处理及全景拼接形成360度全景俯视图；根据360度全景俯视图，采用级联全局‑局部的时空显著性模型以实现车辆周围的运动物体检测；根据实时采集的动态数据生成所述车辆周围的边界线；测量运动物体与所述车辆的边界线之间的相对距离，依据报警规则生成报警信号。本发明专利技术采用机器视觉技术，分析出车辆行使的状态和车速，根据360度俯视图形成的视频序列对车辆周围的运动物体进行检测，并结合车辆的行使状态和行使速度，给出及时准确的报警信号，提醒驾驶员及时调整驾驶状态，谨慎驾驶，从而减少或避免交通事故发生。

【技术实现步骤摘要】
基于360度全景的运动物体检测方法
本专利技术涉及汽车电子信息技术处理领域，具体涉及一种基于360度全景的运动物体检测方法。
技术介绍
随着我国汽车市场潜力持续释放，汽车保有量持续快速增长，随之而来的是大量交通事故，据2016年交通事故调查统计表明，很多交通事故主要是由于驾驶人员违章，或者在开车过程中精力不集中等因素造成，特别是近几年随着智能手机的普及，有些驾驶员在低速开车过程中接电话、玩手机等也造成一定的交通事故。另外因为倒车引发的流血事件也越来越广泛地受到关注，在倒车引发的事故当中，大多数是因为车辆的盲区导致。为了有效减少或避免因驾驶员精力不集中或车辆盲区等因素造成的交通事故发生，各大厂商越来越重视对主动安全驾驶系统的研究和开发。现有技术中公开了一种全景式辅助驾驶方法及系统(专利申请号：201410176321.7，公开号：103950410A)、一种全景车道偏离预警方法及系统(专利申请号：201410314210.8，公开号：104085396A)、基于360度全景的车道偏离预警方法(申请号：201410621254.5，公开号：104309606A)、一种基于四颗摄像头360度环视LDW的实现方法(申请号：201510926952.0，公开号：105550652A)和一种多功能车辆先进驾驶辅助系统与方法(申请号：201610236178.5，公开号：105966312A)。以上技术仅限于提供360度全景环视、车道偏离预警或前向碰撞预警等辅助安全驾驶功能，尚未涉及到车辆周围的运动物体检测预警功能的研究和开发。当车辆在倒车或慢速行驶时，驾驶员若没有注意到车辆周围移动的物体、处于车辆盲区中的小孩儿等，有可能会发生交通事故。因此本专利技术提供了基于360度全景的车辆周围运动物体检测实现方法。
技术实现思路
鉴于现有技术的上述缺陷，本专利技术的目的在于提供基于360度全景的车辆周围物体检测方法，用于实现车辆行驶或倒车过程中车辆周围障碍物或运动物体的检测和报警，以达到有效减少或避免因驾驶员精力不集中或车辆盲区等因素造成的交通事故。为实现上述目的及其他相关目的，本专利技术提供一种基于360度全景的运动物体检测方法，其特征在于，所述基于360度全景的运动物体检测方法包括：车辆周围四通道无盲区视频图像数据采集；车辆周围四通道视频图像处理及全景拼接形成360度全景俯视图；根据360度全景俯视图，采用级联全局-局部的时空显著性模型以实现车辆周围的运动物体检测；根据实时采集的动态数据生成所述车辆周围的边界线；测量运动物体与所述车辆的边界线之间的相对距离，依据报警规则生成报警信号。优选地，上述车辆周围四通道无盲区视频图像数据采集实现过程包括：在所述车辆的前、后、左、右分别设置180度超广角高清摄像头，分别采集所述车辆的四个方向高清视频图像。优选地，上述车辆周围四通道视频图像处理实现过程包括：分别对上述车辆四个方向的视频图像进行滤波、去噪和数据格式转换预处理，并采用摄像头标定算法获取各个摄像头的内外参数，对摄像头进行标定以消除因几何安装所带来的图像畸变。优选地，上述车辆周围360度全景俯视图实现过程包括：根据上述摄像机标定过程获取的内外参数对所拍摄的图像进行投影变换，以保持实际景物的视觉一致性，选取特征匹配点，根据几何运动模型进行图像的匹配，并采用图像融合技术将四个通道的图像拼接成360度全景俯视图。优选地，上述级联全局-局部的时空显著性模型实现过程包括：对360全景俯视图形成的视频序列，首先采用下采样技术进行尺度变换，基于滑动窗口机制，把每一时刻的滑动窗口内的视频作为一个微视频基元，根据360全景视频序列存在时空冗余的特点，假设基元中各帧图像的背景是线性相关的，而前景相对于背景来说是稀疏的，利用压缩感知理论中稀疏重建算法来对运动物体所在的区域在全局上进行检测，并将上述检测的区域作为候选的显著性区域；然后在上述候选的前景区域里，结合实时场景的多模态分布，基于生物视觉Center-Surround机制，采用场景的多模态分布数学表达，在贝叶斯全概率框架下，计算中心-周围窗口中的特征的概率分布，近而计算出每一个像素位置的显著性大小，以实现基于像素级的运动物体的精细检测。优选地，上述根据实时采集的动态数据生成所述车辆周围的边界线实现过程包括：对360度全景俯视图形成的视频序列，采用运动物体跟踪技术实现所述车辆的行驶轨迹跟踪，并根据采集的实时动态数据设置所述车辆安全行驶的周围边界线。优选地，上述测量运动物体与所述车辆的边界线之间的相对距离实现过程包括：根据所述级联全局-局部的时空显著性模型输出的前景二值图像，和根据实时动态数据设置的所述车辆安全行驶的周围边界线，进行距离计算并产生相应的报警信号。优选地，上述报警规则及报警信号生成过程包括：对采集的正前方视频图像进行处理分析计算出当前车辆的行使状态和行使速度，依据上述测量的行使速度、上述测量的运动物体和上述车辆周围边界的距离，生成上述车辆不同行使状态下的安全距离，当上述测量的运动物体距离上述车辆的周围边界线小于上述车辆当前行使状态下的安全距离，则产生报警信号。本专利技术的优点和有益效果在于：本专利技术受人类视觉选择性机制启发，面向360度全景视频序列，采用的级联全局-局部的时空显著性模型，由于全局上粗略定位到运动物体所在的候选区域，局部上基于贝叶斯中心-环绕机制，以实现运动物体的精确检测。本专利技术采用的上述模型具有低复杂度，较高准确度的优点，同时由于考虑了场景多模态分布的特点，对上述车辆行使过程中场景的变化、光照的变化或阴影等具有较强的抑制性能。本专利技术基于上述采用的级联全局-局部的时空显著性模型，采用机器视觉技术，根据360度俯视图形成的视频序列对车辆周围的运动物体进行检测，并结合车辆的行使状态和行使速度分析，给出及时准确的报警信号，提醒驾驶员及时调整驾驶状态，谨慎驾驶，从而减少或避免了因驾驶员不良驾驶习惯、精力不集中或车辆盲区等因素造成的交通事故发生。附图说明图1是本专利技术所述的基于360度全景的运动物体检测方法流程示意图。图2是本专利技术一具体实施方式中的结构示意图。具体实施方式以下通过实施例形式对本专利技术的上述内容再作进一步的详细说明，但不应将此理解为本专利技术上述主题的范围仅限于以下的实施例，凡基于本专利技术上述内容所实现的技术均属于本专利技术的范围。如图1所示，本专利技术的基于360度全景的运动物体检测方法包括：S1：首先在车辆的正前方、正后方、正左方和正右方分别设置180度超广角高清摄像头，分别采集所述车辆前、后、左、右四个方向的高清视频图像，使四个通道的广角摄像头无死角覆盖车辆周围360度的视场范围。其次，分别对四个通道的视频图像进行滤波、去噪和数据格式转换等预处理，采用摄像头标定算法分别对四路摄像头进行标定、畸变校正、投影变换。最后，采用SIFT特征进行特征匹配点选取，利用几何运动模型进行图像匹配，采用图像融合技术将四通道图像进行融合拼接，形成360度全景俯视图。S2：首先对360全景视频序列采用下采样技术进行尺度变换，然后通过滑动窗口技术形成连续长度为τ帧的微视频片段，其中τ＝2k+1，包括k个历史帧、当前帧、k个未来帧。根据360全景视频序列存在时空冗余的特点，假设微基元中各帧的背景图像是线性相关的，采本文档来自技高网...

【技术保护点】
基于360度全景的运动物体检测方法，其特征在于，所述基于360度全景的运动物体检测方法包括：车辆周围四通道无盲区视频图像数据采集；车辆周围四通道视频图像处理及全景拼接形成360度全景俯视图；根据360度全景俯视图，采用级联全局‑局部的时空显著性模型以实现车辆周围的运动物体检测；根据实时采集的动态数据生成所述车辆周围的边界线；测量运动物体与所述车辆的边界线之间的相对距离，依据报警规则生成报警信号。

【技术特征摘要】
1.基于360度全景的运动物体检测方法，其特征在于，所述基于360度全景的运动物体检测方法包括：车辆周围四通道无盲区视频图像数据采集；车辆周围四通道视频图像处理及全景拼接形成360度全景俯视图；根据360度全景俯视图，采用级联全局-局部的时空显著性模型以实现车辆周围的运动物体检测；根据实时采集的动态数据生成所述车辆周围的边界线；测量运动物体与所述车辆的边界线之间的相对距离，依据报警规则生成报警信号。2.根据权利要求1所述的基于360度全景的运动物体检测方法，其特征在于，所述车辆周围四通道无盲区视频图像数据采集实现过程包括：在所述车辆的前、后、左、右分别设置180度超广角高清摄像头，分别采集所述车辆的四个方向高清视频图像。3.根据权利要求2所述的基于360度全景的运动物体检测方法，其特征在于，所述车辆周围四通道视频图像处理实现过程包括：分别对上述车辆四个方向的视频图像进行滤波、去噪和数据格式转换预处理，并采用摄像头标定算法获取各个摄像头的内外参数，对摄像头进行标定以消除因几何安装所带来的图像畸变。4.根据权利要求3所述的基于360度全景的运动物体检测方法，其特征在于，所述车辆周围360度全景俯视图实现过程包括：根据上述摄像机标定过程获取的内外参数对所拍摄的图像进行投影变换，以保持实际景物的视觉一致性，选取特征匹配点，根据几何运动模型进行图像的匹配，并采用图像融合技术将四个通道的图像拼接成360度全景俯视图。5.根据权利要求1所述的基于360度全景的运动物体检测方法，其特征在于，所述级联全局-局部的时空显著性模型实现过程包括：对360全景俯视图形成的视频序列，首先采用下采样技术进行尺度变换，基于滑动窗口机制，把每一时刻的滑动窗口内的视频作...

【专利技术属性】
技术研发人员：刘敏，武明虎，曾春燕，王娟，刘聪，张照，赵丹丹，程凯文，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42