一种基于深度学习的车位及障碍物检测方法及其应用技术

本发明专利技术公开了一种基于深度学习的车位及障碍物检测方法及其应用，该方法包括：1.在车辆相应位置安装鱼眼摄像头；2.对鱼眼摄像头进行环视拼接并进行标注，制作数据集；3.搭建神经网络结构，采用共用一个主干网络，经过特征提取网络后生成两个检测头的网络结构，分别对停车位和障碍物进行不同方式的回归；4.训练神经网络，得到最优损失下的权重，进行停车位识别。本发明专利技术避免了在采用检测框回归的方式同时检测停车位与障碍物的过程中无法拟合停车位的问题，从而保证了在准确拟合停车位的同时也能对障碍物进行有效检测识别。能对障碍物进行有效检测识别。能对障碍物进行有效检测识别。

【技术实现步骤摘要】
一种基于深度学习的车位及障碍物检测方法及其应用


[0001]本专利技术属于智能车辆感知领域，具体的说是一种基于深度学习的车位及障碍物检测方法及其应用。

技术介绍

[0002]现阶段智能驾驶成为主流趋势，其中自动泊车功能是智能驾驶中最基本也是最重要的功能之一，面对紧张的停车位和复杂的泊车环境，由于泊车盲区的存在驾驶员很难及时发现盲区内的行人以及障碍物，也难以比较准确地估计汽车的转向角度和倒车距离，这些都会影响泊车安全和泊车操作。
[0003]而传统自动泊车辅助系统主要是依赖超声波雷达的距离提示，应用场景有限，缺乏视觉信息，位置信息模糊，驾驶员需兼顾驾驶与环境观察，注意力分散，泊车成功率低。现有的网络模型智能单纯的检测车位信息，忽视障碍物信息，从而无法感知周围环境中的障碍物，如行人、自行车、地锁等，导致感知环境信息部分缺失，仍需驾驶员观察车身周围环境分散注意力，降低泊车成功率。

技术实现思路

[0004]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的车位及障碍物检测方法及其应用，以期能实现在自动泊车过程中既能检测出车位，也能检测到障碍物，从而能保证自动泊车过程中对环境感知的精准性。
[0005]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0006]本专利技术一种基于深度学习的车位及障碍物检测方法的特点在于，包括如下步骤：
[0007]步骤1、环视图像的拼接以及数据集的预处理：
[0008]步骤1.1、在车辆的前保险杠处、后车牌处、左、右后视镜的下端安装有鱼眼摄像头，用于获得各鱼眼摄像头所采集的图像，并分别进行去畸变矫正、透视变换后拼接为环视图像，再采用重叠区域羽化的方式对环视图像进行优化，得到优化后的环视拼接图像；
[0009]步骤1.2、按照步骤1.1的方式获取车辆在停车位附近行驶的环视拼接图像集，并对第i个环视拼接图像中的停车位进行标注，若第i个环视拼接图像中的停车位处于边缘处，则以边缘处的停车位角点作为原点，分别做出两个方向的射线箭头以形成停车位的“L”形的定向标记箭头；若是停车位处位于非边缘处，则以停车位的公共角点作为原点，做出三个方向的射线箭头以形成“T”形的定向标记箭头；从而得到第i个环视拼接图像中第n个停车位标注信息，包括：原点坐标定向标记箭头的形状类型以及定向标记箭头的旋转角度
[0010]对第i个环视拼接图像中的障碍物也进行标注，得到第i个环视拼接图像中第m个障碍物标注信息包括：障碍物的类别障碍物所在的包围框的中心点坐标宽度高度进而得到包含停车位、障碍物标注信息的标注后的环视拼接图像集U＝u1,
u2…
,u
i
…
,u
I
}∈R
H
×
W
×
X
，其中，u
i
表示第i个包含标注信息的环视拼接图像；H表示环视拼接图像的高度，W表示环视拼接图像的宽度，C表示环视拼接图像的通道数；I表示环视拼接图像总数；令u
i
的停车位标注信息记为L
i
，令u
i
的障碍物标注信息记为H
i
；
[0011]步骤2、搭建基于深度学习的卷积神经网络，依次包括：主干网络模块、金字塔池化结构、特征预测模块、停车位检测模块Head1、障碍物检测模块Head2：
[0012]步骤2.1、所述主干网络模块由Q个下采样块与P个残差块构成，Q个下采样块分别为DSampleBlock1,
…
,DSampleBlock
q
,
…
,DSampleBlock
Q
；其中，DSampleBlock
q
表示第q级下采样块，q＝1,2
…
,Q；
[0013]所述第q级下采样块DSampleBlock
q
由第q级多层二维卷积层Dconv2D
q
和第q级下采样层DSample
q
组成；其中，所述第q级多层二维卷积层Dconv2D
q
包括：X个二维卷积层，X个批量归一化层及X个LeakyReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k
x
×
k
x
；
[0014]P个残差块分别为ResBlock1,
…
,ResBlock
p
,
…
,ResBlock
P
；其中，ResBlock
p
表示第p级残差块，p＝1,2
…
,P；
[0015]所述第p级残差块ResBlock
p
由r个多层二维卷积层Resconv2D组成，且第p级残差块ResBlock
p
中的第1个多层二维卷积Resconv2D
P,1
与第r个多层二维卷积Resconv2D
P,r
进行跳跃连接；
[0016]将所述标注后的环视拼接图像集U中的任意一张标注图像u
i
输入所述深度学习的卷积神经网络中，并依次经过主干网络的Q个下采样块与P个残差块处理后，得到特征图DResult
i
∈R
H
×
W
×
C
′
；D
′
表示经过主干网络处理后的特征图DResult
i
的通道数；
[0017]步骤2.2、将特征图DResult
i
输入所述金字塔池化结构中，先分别进行3次最大池化操作后得到第一池化特征图MaxpoolDResult
i,1
、第二池化特征图MaxpoolDResult
i,2
、第三池化特征图MaxpoolDResult
i,3
，三个池化特征图与DResult
i
进行通道拼接后，输出金字塔池化特征图DSPPResult
i
∈R
H
×
W
×
C”；C”表示金字塔池化特征图的通道数；
[0018]步骤2.3、所述特征预测模块由通道注意力机制单元SE以及支路1、支路2组成；
[0019]所述支路1由k个多层二维卷积层Neckconv2D1,
…
,Neckconv2D
k
组成，其中，第k个多层二维卷积层Neckconv2D
k
包括：Y个二维卷积层，Y个批量归一化层及Y个LeakyReLU激活函数层，其中，第y个二维卷积层的卷积核大小为k
y
×
k
y
；
[0020]支路2是由一个残差模块NeckResblock和一个二维卷积层conv2D组成，且所述残差模块NeckResblock由l个多层二维卷积层NeckR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的车位及障碍物检测方法，其特征在于，包括如下步骤：步骤1、环视图像的拼接以及数据集的预处理：步骤1.1、在车辆的前保险杠处、后车牌处、左、右后视镜的下端安装有鱼眼摄像头，用于获得各鱼眼摄像头所采集的图像，并分别进行去畸变矫正、透视变换后拼接为环视图像，再采用重叠区域羽化的方式对环视图像进行优化，得到优化后的环视拼接图像；步骤1.2、按照步骤1.1的方式获取车辆在停车位附近行驶的环视拼接图像集，并对第i个环视拼接图像中的停车位进行标注，若第i个环视拼接图像中的停车位处于边缘处，则以边缘处的停车位角点作为原点，分别做出两个方向的射线箭头以形成停车位的“L”形的定向标记箭头；若是停车位处位于非边缘处，则以停车位的公共角点作为原点，做出三个方向的射线箭头以形成“T”形的定向标记箭头；从而得到第i个环视拼接图像中第n个停车位标注信息，包括：原点坐标定向标记箭头的形状类型以及定向标记箭头的旋转角度对第i个环视拼接图像中的障碍物也进行标注，得到第i个环视拼接图像中第m个障碍物标注信息包括：障碍物的类别障碍物所在的包围框的中心点坐标宽度高度进而得到包含停车位、障碍物标注信息的标注后的环视拼接图像集U＝{u1，u2...，u
i
...，u
I
}∈R
H
×
W
×
C
，其中，u
i
表示第i个包含标注信息的环视拼接图像；H表示环视拼接图像的高度，W表示环视拼接图像的宽度，C表示环视拼接图像的通道数；I表示环视拼接图像总数；令u
i
的停车位标注信息记为L
i
，令u
i
的障碍物标注信息记为H
i
；步骤2、搭建基于深度学习的卷积神经网络，依次包括：主干网络模块、金字塔池化结构、特征预测模块、停车位检测模块Head1、障碍物检测模块Head2：步骤2.1、所述主干网络模块由Q个下采样块与P个残差块构成，Q个下采样块分别为DSampleBlock1，...，DSampleBlock
q
，...，DSampleBlock
Q
；其中，DSampleBlock
q
表示第q级下采样块，q＝1，2...，Q；所述第q级下采样块DSampleBlock
q
由第q级多层二维卷积层Dconv2D
q
和第q级下采样层DSample
q
组成；其中，所述第q级多层二维卷积层Dconv2D
q
包括：X个二维卷积层，X个批量归一化层及X个LeakyReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k
x
×
k
x
；P个残差块分别为ResBlock1，...，ResBlock
p
，...，ResBlock
P
；其中，ResBlock
p
表示第p级残差块，p＝1，2...，P；所述第p级残差块ResBlock
p
由r个多层二维卷积层Resconv2D组成，且第p级残差块ResBlock
p
中的第1个多层二维卷积Resconv2D
P，1
与第r个多层二维卷积Resconv2D
P，r
进行跳跃连接；将所述标注后的环视拼接图像集U中的任意一张标注图像u
i
输入所述深度学习的卷积神经网络中，并依次经过主干网络的Q个下采样块与P个残差块处理后，得到特征图DResult
i
∈R
H
×
W
×
C
′
；C
′
表示经过主干网络处理后的特征图DResult
i
的通道数；步骤2.2、将特征图DResult
i
输入所述金字塔池化结构中，先分别进行3次最大池化操作后得到第一池化特征图MaxpoolDResult
i，1
、第二池化特征图MaxpoolDResult
i，2
、第三池化特征图MaxpoolDResult
i，3
，三个池化特征图与DResult
i
进行通道拼接后，输出金字塔池化特征图DSPPResult
i
∈RH
×
W
×
c
″
；C
″
表示金字塔池化特征图的通道数；
步骤2.3、所述特征预测模块由通道注意力机制单元SE以及支路1、支路2组成；所述支路1由k个多层二维卷积层Neckconv2D1，...，Neckconv2D
k
组成，其中，第k个多层二维卷积层Neckconv2D
k
包括：Y个二维卷积层，Y个批量归一化层...

【专利技术属性】
技术研发人员：张炳力，王焱辉，潘泽昊，王怿昕，杨程磊，王欣雨，张成标，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：