基于背景流的车辆运动状态判断方法及系统技术方案

本发明专利技术公开了一种基于背景流的车辆运动状态判断方法及系统，所述方法包括：实时采集车辆周围的帧图像，并进行预处理；采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；根据当前帧和前一帧的匹配点集计算基础矩阵F和单应性矩阵H，分别计算基础矩阵F和单应性矩阵H的GRIC值；根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态；当车辆处于运动状态时，判断车辆处于前进状态还是后退状态。本发明专利技术只需要图像本身的信息即可实现车辆运动状态判断，算法依赖较少，实时性较高。实时性较高。实时性较高。

【技术实现步骤摘要】
基于背景流的车辆运动状态判断方法及系统


[0001]本专利技术属于自动驾驶
，具体涉及一种基于图像的车辆运动状态判断方法及系统。

技术介绍

[0002]在获取不到速度或得到的速度不准确的场景，如何准确的获取本车运动状态对于某些自动驾驶功能的实施是非常关键的。比如自动驾驶过程中，当车载传感器出现故障时或者经过隧道等GPS信号被遮挡区域时，易导致无法获取车辆运动状态，此时需要及时、准确地判断车辆当前的运动状态，从而快速进行下一步决策。而现代交通环境复杂多变，在车辆周围存在大量运动目标的动态场景情况下，常规的动状态判断方式可能不能及时判断出车辆当前运动状态。比如专利CN102999759A公开了一种基于光流的车辆运动状态估计方法，其基于多帧图像进行角点检测和光流跟踪，实现车辆运动状态估计但是该方法还需要相机内参标定，依赖参数过多，计算过程也比较能复杂，不能进行辆运动状态快速计算。

技术实现思路

[0003]有鉴于此，本专利技术提出了一种基于背景流的车辆运动状态判断方法及系统，用于解决现有的车辆运动状态判断的实时性不高的问题。
[0004]本专利技术第一方面，公开一种基于背景流的车辆运动状态判断方法，所述方法包括：
[0005]实时采集车辆周围的图像形成帧图像序列，并进行预处理；
[0006]通过目标检测剔除帧图像序列的各帧图像中的运动目标；
[0007]对于当前帧和前一帧图像，采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；
[0008]根据当前帧和前一帧的匹配点集计算基础矩阵F和单应性矩阵H，分别计算基础矩阵F和单应性矩阵H的GRIC值；
[0009]根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态；
[0010]当车辆处于运动状态时，根据当前帧和前一帧的匹配点集计算背景光流的FOE点，根据FOE点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态。
[0011]在以上技术方案的基础上，优选的，所述预处理包括：
[0012]提取实时采集的帧图像的GFT特征点，判断GFT特征点的数量是否大于预设数量阈值，若否，通过网格将各帧图像划分成图像块，对每个图像块均提取设定数量的GFT特征点，如果无法提取指定数量的GFT特征点，降低设定的GFT特征检测阈值，重新提取，并使用目标检测产生的mask过滤掉处于mask内的GFT特征点；
[0013]所述目标检测的检测目标包括行人和车辆。
[0014]在以上技术方案的基础上，优选的，所述剔除光流反向跟踪不合格的点对具体包括：
[0015]设前一帧检测到的GFT特征点集为P0，基于特征点集P0进行光流正向跟踪，得到当前帧的特征点集P
c1
；
[0016]基于当前帧的特征点集P
c1
进行光流反向跟踪，得到前一帧的特征点集P
c0
；
[0017]计算特征点集P0和P
c0
的特征点之间距离，剔除距离大于预设距离阈值的特征点。
[0018]在以上技术方案的基础上，优选的，所述分别计算基础矩阵F和单应性矩阵H的GRIC值具体包括：
[0019]令M代表F或H，通过如下公式分別计算基础矩阵F的GRIC值GRIC
F
以及单应性矩阵H的GRIC值GRIC
H
：
[0020][0021][0022][0023]λ1＝log(r)
[0024]λ2＝log(r*n)
[0025]其中，n为匹配点对的数量，i＝1,2,
…
,n，代表第i个匹配点对应的概率分布，σ为所述概率分布为正态分布时的标准差，λ1、λ2、λ3均为系数，k、d、r均为常数；m0为前一帧图像中的特征点的坐标矩阵，m1为当前帧图像中的特征点的坐标矩阵。
[0026]在以上技术方案的基础上，优选的，所述根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态具体包括：
[0027]若GRIC
H
>GRIC
F
，判断车辆当前运动状态为运动，否则判断车辆当前运动状态为静止。
[0028]在以上技术方案的基础上，优选的，所述根据当前帧和前一帧的匹配点集计算背景光流的FOE点，根据FOE点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态具体包括：
[0029]计算FOE点到每个匹配点对组成的直线的距离，如果距离小于预设的距离阈值，计算当前匹配点对中前一帧的点到FOE的距离D_previous和当前帧的点到FOE的距离D_current；
[0030]若D_current>D_previous，判断当前匹配点对对应的运动状态为后退状态，否则是前进状态；
[0031]统计所有的前进状态和后退状态对应的匹配点对的数量，如果前进状态的匹配点对数量超过总体的一半，判定车辆的最终运动状态为前进状态；如果后退状态的匹配点对数量超过总体的一半，判定车辆的最终运动状态为前进状态。
[0032]在以上技术方案的基础上，优选的，所述方法还包括：
[0033]如果当前匹配点对对应的运动状态为后退状态，则对应的后退速度为(D_current
‑
D_previous)/D_current；
[0034]如果当前匹配点对对应的运动状态为前进状态，则对应的前进速度为(D_previous
‑
D_current)/D_previous；
[0035]计算每一个匹配点对对应的速度并组成速度集合，对速度集合进行排序，取速度集合的中值作为车辆的最终速度。
[0036]本专利技术第二方面，公开一种基于背景流的车辆运动状态判断系统，所述系统包括：
[0037]前处理模块：用于实时采集车辆周围的图像形成帧图像序列，并进行预处理；通过目标检测剔除帧图像序列的各帧图像中的运动目标；
[0038]特征计算模块：用于对于当前帧和前一帧图像，采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；根据当前帧和前一帧的匹配点集计算基础矩阵F和单应性矩阵H，分别计算基础矩阵F和单应性矩阵H的GRIC值；
[0039]状态判断模块：用于根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态；当车辆处于运动状态时，根据当前帧和前一帧的匹配点集计算背景光流的FOE点，根据FOE点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态。
[0040]本专利技术第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
[0041]其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于背景流的车辆运动状态判断方法，其特征在于，所述方法包括：实时采集车辆周围的帧图像，并进行预处理；获取当前帧和前一帧图像，采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；根据当前帧和前一帧的匹配点集计算基础矩阵F和单应性矩阵H，分别计算基础矩阵F和单应性矩阵H的GRIC值；根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态；当车辆处于运动状态时，根据当前帧和前一帧的匹配点集计算背景光流的FOE点，根据FOE点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态。2.根据权利要求1所述的基于背景流的车辆运动状态判断方法，其特征在于，所述预处理包括：提取实时采集的帧图像的GFT特征点，判断GFT特征点的数量是否大于预设数量阈值，若否，通过网格将各帧图像划分成图像块，对每个图像块均提取设定数量的GFT特征点，如果无法提取指定数量的GFT特征点，降低设定的GFT特征检测阈值，重新提取，并使用目标检测产生的mask过滤掉处于mask内的GFT特征点；所述目标检测的检测目标包括行人和车辆。3.根据权利要求1所述的基于背景流的车辆运动状态判断方法，其特征在于，所述剔除光流反向跟踪不合格的点对具体包括：设前一帧检测到的GFT特征点集为P0，基于特征点集P0进行光流正向跟踪，得到当前帧的特征点集P
c1
；基于当前帧的特征点集P
c1
进行光流反向跟踪，得到前一帧的特征点集P
c0
；计算特征点集P0和P
c0
的特征点之间距离，剔除距离大于预设距离阈值的特征点。4.根据权利要求1所述的基于背景流的车辆运动状态判断方法，其特征在于，所述分别计算基础矩阵F和单应性矩阵H的GRIC值具体包括：令M代表F或H，通过如下公式分別计算基础矩阵F的GRIC值GRIC
F
以及单应性矩阵H的GRIC值GRIC
H
：：：λ1＝log(r)λ2＝log(r*n)其中，n为匹配点对的数量，i＝1,2,
…
,n，代表第i个匹配点对应的概率分布，σ为所述概率分布为正态分布时的标准差，λ1、λ2、λ3均为系数，k、d、r均为常数；m0为前一帧图
像中的特征点的坐标矩阵，m1为当前帧图像中的特征点的坐标矩阵。5.根据权利要求4所述的基于背景流的车辆运动状态判断方法，其特征在于，所述根据基础矩阵F的GRIC值和单应性矩阵H的GRIC值的比较结果判断车辆处于运动状态还是静止状态具体包括：若GRIC
H
&gt;GRIC<...

【专利技术属性】
技术研发人员：伍渊，谌璟，孙庆新，
申请(专利权)人：自行科技武汉有限公司，
类型：发明
国别省市：