鲁棒智能车纯视觉动态目标分割方法、系统及存储介质技术方案

本发明专利技术提供了鲁棒智能车纯视觉动态目标分割方法，包括如下步骤：S1.进行视场空间ROF标定；具体为：S11.设定相机硬件参数和目标最小运动速度；S12.进行运动目标空间残差流标定；S13.获取视场不同区域最小残差流；S2.进行候选运动目标检测与相机自运动参数计算；S3.进行运动状态判断；具体为：S31.计算候选运动目标残差流；S32.进行残差流方向随机性判断和残差流阈值约束判断，确定候选运动目标的运动状态；S33.输出运动状态。本发明专利技术可以提高智能车纯视觉运动目标分割的检测准确度及召回率，进而提高智能车动态环境感知能力。进而提高智能车动态环境感知能力。进而提高智能车动态环境感知能力。

【技术实现步骤摘要】
鲁棒智能车纯视觉动态目标分割方法、系统及存储介质


[0001]本专利技术涉及视觉动态目标分割
，尤其是涉及鲁棒智能车纯视觉动态目标分割方法、系统及存储介质。

技术介绍

[0002]智能车在道路行驶时所面临的交通环境异常复杂，不仅包含着各种各样静态的障碍物，道路上还有具有高度动态性和随机性的交通参与者。智能车在道路上行驶时，不仅需要注意周围是否存在障碍物和其他交通参与者，还需要对交通参与者的运动状态进行感知，以便能做出最佳决策，避免碰撞。在智能车搭载的众多传感器中，双目相机具有成本低、获取场景信息丰富的特点，得到了计算机视觉领域众多学者以及智能车企的广泛关注。鲁棒的智能车纯视觉动态目标分割方法对提高智能车环境感知的性能具有重要的意义。
[0003]已有智能车视觉运动目标分割方法主要可分为两类。一是基于传统视觉方法，一是基于深度学习。
[0004]传统视觉方法：基于几何约束的运动目标检测方法通常是从图像中提取特征点，然后通过两幅图或多幅图的特征点构建静止区域满足的几何约束关系，将满足约束的点视为静止点，反之则为运动点。这些几何约束关系包括仿射变换、对极约束和单应性变换、以及前后两帧四幅图像之间的多视图约束关系等。
[0005]深度学习方法：不同的研究人员有不同的运动目标分割深度学习模型。网络的输入通常包括：双目图像、背景图像；输出包括深度图、光流图、场景流图和场景实例。2017年，Heo等人提出了一种利用卷积神经网络在动态背景条件下检测运动目标的方法。所提出的方法由两个深度学习网络组成，分别称为外观网络(Appearance net，A
‑
Net)和运动网络(Motion net，M
‑
Net)。其中A
‑
Net的目的是检测移动目标的外观，M
‑
net检测其运动状态。最后，将两个网络结合起来检测移动目标。Siam等人结合了车辆检测和运动分割的任务，并提出了一种通过结合外观和运动特征来实现交通场景理解的方法。该网络结构是一个两步过程，首先，利用双通道VGG16网络学习和合并RGB图像和稠密光流图像的特征，然后依次进行车辆检测和运动车辆分割。Muthu等人提出了一种基于RGB
‑
D相机的运动目标分割方法，该方法考虑多个移动对象，结合语义外观和运动信息，并专注于小而缓慢移动的目标。Li等使用卷积神经网络估计汽车的3D位姿，在估计汽车位姿的同时将相机姿势一起优化。该方法提高了6自由度的目标姿态估计的准确性，但也失去了通用性。Rashed等人提出了一种运动目标检测的深度学习模型，在深度学习模型中输入车辆的运动信息使得该模型能够隐式的补偿相机的自运动，以提高系统的性能。

技术实现思路

[0006]本专利技术提供鲁棒智能车纯视觉动态目标分割方法、系统及存储介质,该方法首先采用深度学习实例分割方法(如SOLOv2)分割出场景内潜在运动目标；然后根据一定的准则依次判断每个潜在运动目标的运动状态。所提出的准则基于运动目标和静止目标在残差光
流方向和幅值的差异性。静止目标的残差光流方向具有更明显的随机性，残差光流幅值往往更大。依据这种差异性，设计了残差光流方向随机性判断准则，以及残差光流阈值约束准则。当候选运动目标满足以上两个准则时，被视为运动目标。
[0007]为实现上述目的，本说明书实施例的第一方面公开了鲁棒智能车纯视觉动态目标分割方法，包括如下步骤：
[0008]S1.进行视场空间ROF标定；具体为：
[0009]S11.设定相机硬件参数和目标最小运动速度；
[0010]S12.进行运动目标空间残差流标定；
[0011]S13.获取视场不同区域最小残差流；
[0012]S2.进行候选运动目标检测与相机自运动参数计算；
[0013]S3.进行候选运动目标运动状态判断；具体为：
[0014]S31.计算候选运动目标特征点的残差流；
[0015]S32.进行残差流方向随机性判断和残差流阈值约束判断，确定候选运动目标的运动状态；
[0016]S33.输出运动状态。
[0017]在一些实施例中，S11包括：
[0018]S111.设定相机硬件参数：焦距f、主点坐标(cx,cy)、双相机基线d，相机分辨率H*W，H表示图像的高，W表示图像的宽；
[0019]S112.世界坐标系建立在左相机，相机光心为世界坐标系原点，像平面水平向右为X正，像平面水平向下为Y正，沿着光轴的方向为Z正；在该坐标系下，目标在相邻两帧间的最小运动量参数为：motion＝[ΔX,ΔY,ΔZ]；ΔX、ΔY、ΔZ分别表示目标在X、Y、Z方向上的运动量，单位可以为m；
[0020]S113.目标在视场中的范围是指根据工程实际智能车需要检测的前方范围和距离，设计一个长方体区域为目标可能在的区域，长方体区域为x∈[xmin,xmax]；y∈[ymin,ymax]；z∈[zmin,zmax]；例如，可取x∈[
‑
20,20]；y∈[
‑
20,5]；z∈[2,50]，单位为m；对长方体区域以一定的步长ε进行采样，得到采样点集合，用该采样点集合模拟视场内运动目标表面特征点，表面特征点的三维坐标记为X
t
‑1，下标t
‑
1表示在t
‑
1时刻。
[0021]在一些实施例中，S12包括：
[0022]S121.给定目标运动量motion＝[Δx,ΔY,ΔZ]；
[0023]S122.给定相机自运动参数tr＝[R,T]，其中，R为相机相邻时刻的旋转矩阵，T为相机相邻时刻的平移向量；计算X
′
t
＝RX
t
‑1+t，将X
′
t
投影到t时刻左图像上，记为img_ideal_static_t；
[0024]S123.计算目标运动后的位移：X
mt
＝X
′
t
+motion；
[0025]S124.将X
mt
投影到t时刻左相机上，得到像点坐标，记为img_ideal_dynamic_t；
[0026]残差光流ROF＝img_ideal_static_t
‑
img_ideal_dynamic_t；
[0027]S125.视场内不同区域物点在像平面不同区域ROF值计算：根据实际工程中待检测目标在视场内可能出现的范围，将物点距离划分为多个区域，比如，划分为0
‑
5m、5
‑
10m、10
‑
15m、15
‑
20m、20
‑
25m、25
‑
50m6个区间，同时将像平面划分为多个区域；将在S124步骤中计算
的ROF集合按距离，以及在像平面中的不同区域分别进行统计，得到ROF值统计图，将不同距离下每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.鲁棒智能车纯视觉动态目标分割方法，其特征在于,包括如下步骤：S1.进行视场空间ROF标定；具体为：S11.设定相机硬件参数和目标最小运动速度；S12.进行运动目标空间残差流标定；S13.获取视场不同区域最小残差流；S2.进行候选运动目标检测与相机自运动参数计算；S3.进行候选运动目标运动状态判断；具体为：S31.计算候选运动目标特征点的残差流；S32.进行残差流方向随机性判断和残差流阈值约束判断，确定候选运动目标的运动状态；S33.输出运动状态。2.根据权利要求1所述的鲁棒智能车纯视觉动态目标分割方法，其特征在于，S11包括：S111.设定相机硬件参数：焦距f、主点坐标(cx,cy)、双相机基线d，相机分辨率H*W，H表示图像的高，W表示图像的宽；S112.世界坐标系建立在左相机，相机光心为世界坐标系原点，像平面水平向右为X正，像平面水平向下为Y正，沿着光轴的方向为Z正；在该坐标系下，目标在相邻两帧间的最小运动量参数为：motion＝[ΔX,ΔY,ΔZ]；ΔX、ΔY、ΔZ分别表示目标在X、Y、Z方向上的运动量，单位可以为m；S113.目标在视场中的范围是指根据工程实际智能车需要检测的前方范围和距离，设计一个长方体区域为目标可能在的区域，长方体区域为x∈[xmin,xmax]；y∈[ymin,ymax]；z∈[zmin,zmax]；例如，可取x∈[
‑
20,20]；y∈[
‑
20,5]；z∈[2,50]，单位为m；对长方体区域以一定的步长ε进行采样，得到采样点集合，用该采样点集合模拟视场内运动目标表面特征点，表面特征点的三维坐标记为X
t
‑1，下标t
‑
1表示在t
‑
1时刻。3.根据权利要求2所述的鲁棒智能车纯视觉动态目标分割方法，其特征在于，S12包括：S121.给定目标运动量motion＝[Δx,ΔY,ΔZ]；S122.给定相机自运动参数tr＝[R,T]，其中，R为相机相邻时刻的旋转矩阵，T为相机相邻时刻的平移向量；计算X
′
t
＝RX
t
‑1+t，将X
′
t
投影到t时刻左图像上，记为img_ideal_static_t；S123.计算目标运动后的位移：X
mt
＝X
′
t
+motion；S124.将X
mt
投影到t时刻左相机上，得到像点坐标，记为img_ideal_dynamic_t；残差光流ROF＝img_ideal_static_t
‑
img_ideal_dynamic_t；S125.视场内不同区域物点在像平面不同区域ROF值计算：根据实际工程中待检测目标在视场内可能出现的范围，将物点距离划分为多个区域，比如，划分为0
‑
5m、5
‑
10m、10
‑
15m、15
‑
20m、20
‑
25m、25
‑
50m6个区间，同时将像平面划分为多个区域；将在S124步骤中计算的ROF集合按距离，以及在像平面中的不同区域分别进行统计，得到ROF值统计图，将不同距离下每个区域ROF值的最小值作为标定的最后输出值；通过改变相机硬件的参数，以及目标motion中三个分量的值，以模拟不同相机、不同场景下空间目标运动状态与其在像平面残差光流值的对应关系，残差...

【专利技术属性】
技术研发人员：袁建英，吴思东，张葛祥，郭德全，杨强，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：