无人驾驶视觉导航中故障物快速精准识别方法技术

本发明专利技术涉及一种无人驾驶视觉导航中故障物快速精准识别方法，是针对现有同类方法的障碍物观测角度差异，导致图像数据精准性较低的技术问题而设计。其要点是该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，重建误差的大小来逐帧删除相似度较大的图像帧并实现消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；障碍物的尺寸过小被剔除，采用深浅层特征图，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。体识别的概率。体识别的概率。

【技术实现步骤摘要】
无人驾驶视觉导航中故障物快速精准识别方法


[0001]本专利技术涉及无人驾驶视觉导航技术，是一种无人驾驶视觉导航中故障物快速精准识别方法。

技术介绍

[0002]目前在无人驾驶中，由于背景噪音较大和无人车在移动过程中产生的障碍物观测角度差异、以及图像数据不够精准等的问题，这些问题对障碍物的分析和识别产生很大的干扰。如中国专利文献中披露的申请号202110444245.3，申请公布日2021.07.06，专利技术名称“无人驾驶车辆的控制方法及控制装置、无人驾驶车辆”；该控制方法包括：在第一驾驶环境下，采用红外扫描设备扫描无人驾驶车辆所处的道路区域，以构建红外三维地图；采用红外三维地图、无人驾驶车辆的车辆定位信息和车身信息，分析无人驾驶车辆与周围其它车辆、障碍物的距离值；若距离值未处于安全距离范围内，则调整避碰策略；控制无人驾驶车辆按照调整后的避碰策略行驶。

技术实现思路

[0003]为克服上述不足，本专利技术的目的是向本领域提供一种无人驾驶视觉导航中故障物快速精准识别方法，使其主要解决现有无人驾驶中由于背景噪音较大和无人车在移动过程中产生的障碍物观测角度差异、以及图像数据不够精准的技术问题。其目的是通过如下技术方案实现的。
[0004]一种无人驾驶视觉导航中故障物快速精准识别方法，该方法融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，实现障碍物的分析和识别；其特征在于该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，并以重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；当障碍物在某一帧的尺寸过小，会在物体检测节点就会被剔除，因此采用深浅层特征图，处理尺寸不固定的障碍物的检测问题，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。
[0005]所述步骤(1)中具体图像帧的计算过程如下：
[0006]①
假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2)，采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为：
[0007][0008]②
假设关键物体在第f帧中特征点i的位置信息，那么定义该特征点i在两帧之间的最大距离为：
[0009][0010]公式2是基于特征点做i坐标向量的欧拉距离，因为特征点在不同帧的位置坐标是通过无人车的坐标以及世界坐标反推出来的，那么基于运动插值法的不同帧之间的位置误差为：
[0011][0012]③
如果相邻帧的误差小于设定的误差阈值e，那么删去后一帧图像；由于删除一帧图像后，其前后帧需要重新计算，直至相邻帧的误差大于误差阈值e，算法停止；
[0013]④
无人车在道路上驾驶时，由于路面来回穿梭的车辆太多，因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题，因此还需要进一步优化关键帧的算法，采用视觉显著性的方法，实现运动目标位置、运动方向的视觉特征显著度评价，并计算位置优先、以运动方向为辅的视觉注意度，并以关键帧在时间序列上生成一条视觉显著度曲线，并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。
[0014]所述步骤(1)中
④
的视觉显著性的方法具体如下：
[0015]首先，将深度图像转化为二维图像；
[0016]假设相机坐标(x，y)和图像坐标(u，v)，图像中心点坐标(x0，y0)，z
c
表示相机坐标Z轴值，f为相机的焦距，dx和dy分别时尺度因子；上述的参数都是已知的；
[0017]基于上述的数据，计算各个物体的在某一帧世界坐标为：
[0018][0019]那么基于某一帧的世界坐标，求出不同帧之间的位置偏移量和运动方向：
[0020][0021]假设a＝(x
w
,y
w
,z
w
),b＝(x
w'
,y
w'
,z
w'
)，那么其运动方向：
[0022][0023]那么某一帧图像中的视觉显著度表示为：
[0024][0025]其中w1+w2＝1，并且w1>0.5；
[0026]将视觉显著度按照时间序列上生成一条视觉显著度曲线，通过选取显著度曲线极大值附近的若干帧，完成关键帧精细化的提取。
[0027]所述步骤(2)中深浅层特征图的步骤如下：
①
基于TinyYOLO 3网络获取图像的深浅层特征提取：Tiny YOLO 3作为YOLO 3模型的简化版本，并融合了特征金字塔网络(FPN)全卷积网络技术，快速将特定尺寸大小的图片输出成一个向量，采用Tiny YOLO 3对某些卷积层进行了上采样操作与特征图在通道维度上的连接，利用浅层的卷积特征优势对小尺寸的目标进行识别，使得小障碍物被识别出来；
②
在提取特征之后，考虑到不同关键帧的时间序列，采用注意力机制的方式，即采用改进深度卷积神经网络算法对图片中不同物体特征
施加不同的权重，实现对障碍物的特征有效提取，在结合识别器对障碍物识别。
[0028]所述步骤(2)中
②
的改进深度卷积神经网络算法如下：首先，将第一帧到第k关键帧的深浅层特征进行拼接放进去CNN中，对拼接后的深浅层特征进行深度学习后；得到P维的特征向量C
r
；同理，将第一帧到第k帧的关键帧分别放进去LSTM中学习，得到P
×
m维特征向量然后结合注意力机制，采用公式实现时间序列和空间序列特征的融合；再次，融合后的m
×
p维特征向量表示为：其中α
i
是基于注意力机制对每一个特征向量的权重，是经过LSTM获得的隐含特征；最后采用SVM识别器实现障碍物识别。
[0029]本专利技术融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，有效地实现障碍物的分析与识别；其适用于无人驾驶视觉导航中故障物的快速精准识别，以及同类无人驾驶技术上的应用。
附图说明
[0030]图1是本专利技术的基于Tiny YOLO 3网络获取图像的深浅层特征提取工作原理图。
[0031]图2是本专利技术的工作原理图。
具体实施方式
[0032]现结合附图，对本专利技术的具体实施步骤进行进一步的具体描述。如图1和图2所示，该方法对于技术目的拆解为两个子问题解决来提出技术方案：(1)关键序列帧提取，该方法首先通过多帧的时空关系，基于深度相机获取深度图中每一个像素的距离和物体索引值，并结合深度阈值，保留一定深度阈值(在无人车速度在1
‑
3米/秒的情况下，阈值一般取5
‑
10米)范围内的物体；然后对保留物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人驾驶视觉导航中故障物快速精准识别方法，该方法融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，实现障碍物的分析和识别；其特征在于该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，并以重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；当障碍物在某一帧的尺寸过小，会在物体检测节点就会被剔除，因此采用深浅层特征图，处理尺寸不固定的障碍物的检测问题，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。2.根据权利要求1所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(1)中具体图像帧的计算过程如下：
①
假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2)，采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为：
②
假设关键物体在第f帧中特征点i的位置信息，那么定义该特征点i在两帧之间的最大距离为：公式2是基于特征点做i坐标向量的欧拉距离，因为特征点在不同帧的位置坐标是通过无人车的坐标以及世界坐标反推出来的，那么基于运动插值法的不同帧之间的位置误差为：
③
如果相邻帧的误差小于设定的误差阈值e，那么删去后一帧图像；由于删除一帧图像后，其前后帧需要重新计算，直至相邻帧的误差大于误差阈值e，算法停止；
④
无人车在道路上驾驶时，由于路面来回穿梭的车辆太多，因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题，因此还需要进一步优化关键帧的算法，采用视觉显著性的方法，实现运动目标位置、运动方向的视觉特征显著度评价，并计算位置优先、以运动方向为辅的视觉注意度，并以关键帧在时间序列上生成一条视觉显著度曲线，并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。3.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(1)中
④
的视觉显著性的方法具体如下：首先，将深度图像转化为二维图像；假设相机坐标(x，y)和图像坐标(u，v)，图像中心点坐标(x0，y0)，z
...

【专利技术属性】
技术研发人员：彭松璧，占善华，周晓霞，刘加强，张秀英，
申请(专利权)人：广州西威科智能科技有限公司，
类型：发明
国别省市：