一种基于多视角和时序融合的泊车场景检测方法技术

本发明专利技术涉及一种基于多视角和时序融合的泊车场景检测方法，包括以下步骤：

【技术实现步骤摘要】
一种基于多视角和时序融合的泊车场景检测方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于多视角和时序融合的泊车场景检测方法
。

技术介绍

[0002]传统的车位检测通常都在单一的鱼眼相机视图，或是多路鱼眼相机静态拼接的鸟瞰图
(IPM)
上进行，然后将超声波雷达和多路鱼眼相机的障碍物检测结果进行后融合，从而来判断车位是否被占据，以及形成泊车的可行驶区域
。
目前的泊车场景检测方法主要存在以下几个问题：
[0003]1、
时序信息的欠缺：在泊车过程中，经常会出现车位和障碍物被遮挡的情况，特别是在自车泊入过程中，目标车位容易被自车遮挡，同时车位的检测又很依赖于角点和车位线的清晰度，因此单帧的检测会很不稳定
。
[0004]2、
逆透视变换
(IPM)
鸟瞰图的缺陷：在静态拼接的鸟瞰图上进行特征提取，并不能融合各鱼眼视图本身的特征，存在信息的丢失，特别是在多鱼眼视角重叠的区域
。
同时鸟瞰图也缺失高度信息，默认为高度为0的统一平面，这样对于一些地面不平的车位，例如草砖车位，或者路边带坡度的车位，会在鸟瞰图上会呈现梯形，因此无法得到他们的真实坐标位置
。
逆透视变换
(IPM
，
Inverse Perspective Mapping)
是一种利用相机的内部和外部矩阵的几何约束将像素映射到
BEV(
鸟瞰视角
bird's eye view)
平面的方法，尽管由于平地假设而不准确，但它提供了图像和点云可以在
BEV
中统一的可能性
。
[0005]3、
超声波雷达的缺陷：超声波传感器的检测范围通常比较有限，同时只能提供大致的距离和存在性的判断，无法给出精确的位置，在复杂环境中，回波可能还会受到多路径干扰，导致测量结果不准确，还有很重要的一点是，超声波无法给出障碍物的类型，这样不利于泊车路径的规划
。
[0006]4、
障碍物距离精度差：由于超声波的固有缺陷，只能保证近处的距离精度，所以在障碍物检测这块通常会采用多路鱼眼相机的检测结果和超声波结果后融合的方式
。
鱼眼相机的障碍物检测通常又会采用接地点检测，加上逆透视变换的方式，来得到真实坐标位置，但是鱼眼视图上的接地点的检测很难做好，再加上多路鱼眼相机后融合的复杂性，通常难以保证障碍物距离精度
。
[0007]5、
计算效率低：由于车位检测通常在逆透视变换
(IPM)
鸟瞰图上进行，需要多路鱼眼相机先进行拼接再进入神经网络，而障碍物检测在单鱼眼视图上进行，可以直接进入神经网络
。
两个神经网络模型的输入不一致，因此无法做到参数共享，导致整个计算效率低下
。
[0008]BEV(
鸟瞰视角
bird's eye view)
感知是一种将三维场景转化为水平二维平面的方法，在二维和三维物体检测
、
感知地图生成
、
可行走区域的检测等方面取得了广泛应用
。
[0009]经过检索
(
关键词：泊车
、
车位检测
、
可行驶区域检测
)
，检索到以下相关专利
。
[0010]相关检索结果1：中国专利公告号
、CN108875911B
，名称
、
一种基于视觉的车位检测
方法及装置，所述检测方法，包括：构建大规模
、
带标注的
、
面向泊车位感知问题的环视图像数据集；采用基于深度学习的目标检测框架
YOLOv2
框架加以改进来完成泊车位控制点检测；将检测到的控制点两两配对形成点对组合，判断其距离约束进行初步筛选后，以基于深度卷积神经网络的分类模型的浅层模型
AlexNet
为基础，设计自定义模型对满足距离约束的泊车位控制点点对进行分类，通过判断泊车位的类型以及入口线方向完成泊车位推断
。
不仅检测精度高，而且响应速度快
、
稳定可靠
。
[0011]专利
CN108875911B
技术缺点：
1、
对车辆两侧的环境图像进行预处理，在得到的逆透视变换
(IPM)
鸟瞰图上进行检测，这样会丢失多路环视图像本身的特征，并且丢失高度信息；
2、
分别在逆透视变换
(IPM)
鸟瞰图上利用
YOLOV2
检测车位角点，再进行匹配，最后利用深度卷积神经网络的分类任务，来确定车位的类型及朝向，准确率不高，通过分类模型确定车位朝向具有一定局限性
。
[0012]相关检索结果2：中国专利公告号
、CN110775052B
，名称
、
一种基于视觉与超声波感知融合的自动泊车方法，包括下列步骤：视觉车位检测，超声波雷达车位检测，两种车位检测结果融合，车位跟踪，车位显示；确定目标泊车位，结合当前场景地图，规划泊车速度及泊车轨迹；根据视觉检测以及超声波雷达检测，进行车辆周围可行驶区域以及可行驶区域边缘障碍物检测，并且对障碍物进行运动估计；计算自身车辆和障碍物发生碰撞的可能性，若碰撞可能性大于预设阈值，则触发避障功能；通过低速控制器进行泊车轨迹跟踪，实现沿泊车轨迹的档位控制
、
车速控制
、
方向盘转向控制和避障控制，完成自动泊车
。
可以提升车辆周围车位以及障碍物检测效果，提升鲁棒性，增加运动障碍物轨迹估计模块，提升避障可靠性
。
[0013]专利
CN110775052B
技术缺点：
1、
在左右环视原始鱼眼场景输入下进行车位角点检测，匹配完成后，再通过逆透视变换至地面坐标系下，这样的方式仅能处理车位角点都在同一张环视图像上的情况，不能够处理各种复杂的场景；
2、
利用超声波检测障碍物，来判断车位是否可泊，并规划泊入路径，超声波的探测距离较短，而且障碍物位置精度不高，不能够能够检测较远的范围，不利于泊车轨迹规划
。
[0014]本专利技术针对现有泊车技术检测精度低
、
鲁棒性差，无法在各种复杂的泊车场景下都能达到高精度检测的技术问题，对泊车场景检测方法进行了技术改进
。

技术实现思路

[0015]本专利技术的目的是，提供一种基于多视角和时序融合，车位和可行驶区域检测精度高
、
鲁棒性强的泊车场景检测方法
。
[0016]为实现上述目的，本专利技术采取的技术方案是一种基于多视角和时序融合的泊车场景检测方法，包括以下步骤：
[0017]S1、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多视角和时序融合的泊车场景检测方法，其特征在于包括以下步骤：
S1、
通过卷积神经网络对多路鱼眼视图分别进行特征提取，生成相应的特征图；
S2、
将多路鱼眼视图静态拼接为逆透视变换鸟瞰图，基于所述逆透视变换鸟瞰图构建一个大小可以容纳车位及车辆可行驶区域的俯视视角矩形区域，并划分成若干网格；
S3、
引入空间交叉注意力机制，根据鱼眼摄像头相机的内外参将俯视视角矩形区域特征图与多路鱼眼视图特征图进行关联，得到当前帧俯视视角矩形区域特征图；
S4、
引入时序信息，将当前帧俯视视角矩形区域特征图，利用车辆位姿和上一帧俯视视角矩形区域时序融合特征图，通过时序注意力机制进行时序融合实现特征的时序对齐，得到当前帧俯视视角矩形区域时序融合特征图，使得历史帧信息能够对当前帧检测结果产生影响；
S5、
基于当前帧俯视视角矩形区域时序融合特征图，进行车位检测和可行驶区域检测
。2.
根据权利要求1所述的一种基于多视角和时序融合的泊车场景检测方法，其特征在于步骤
S4
还包括：引入拓展性信息，将当前帧俯视视角矩形区域特征图和其他传感器俯视视角矩形区域特征图进行融合
。3.
根据权利要求2所述的一种基于多视角和时序融合的泊车场景检测方法，其特征在于：所述其他传感器是激光雷达或其他周视相机
。4.
根据权利要求1所述的一种基于多视角和时序融合的泊车场景检测方法，其特征在于：所述多路鱼眼包括前环视鱼眼
、
后环视鱼眼
、
左环视鱼眼
、
右环视鱼眼
。5.
根据权利要求1所述的一种基于多视角和时序融合的泊车场景检测方法，其特征在于：步骤
S2
俯视视角矩形区域为正方形，划分成若干大小相等的正方形网格
。6.
根据权利要求1所述的一种基于多视角和时序融合的泊车场景检测方法，其特征在于：步骤
S3
关联的具体实现方式为从俯视视角矩形区域每个网格中心点出发，在高度上采样后，通过多路鱼眼摄像头相机的的内外参投射到对应的多路...

【专利技术属性】
技术研发人员：陈志远，翁理洪，章健勇，徐宁仪，
申请(专利权)人：合肥辉羲智能科技有限公司，
类型：发明
国别省市：