基于双网络深度学习的实时全景车位检测方法、装置制造方法及图纸

本发明专利技术提供了基于双网络深度学习的实时全景车位检测方法，对于斜列车位的检测效果好，支持不存在车位线、车位线不全情况下的车位检测，方法包括调用训练好的深度学习车位实例分割模型，检测实时全景视频帧，得到分割的车位线结果；提取特征点拟合得到车位线；将得到的车位线，按照常规车位的约束进行逻辑判断组合成车位，保存通过深度学习车位实例分割模型得到的候选车位结果集P1；调用训练好的深度学习车位角点检测模型检测得到车位角点检测结果；结合车位分割得到的精确角度值，计算得到候选车位结果集P2；进行综合逻辑判断筛选出置信度最好的检测车位集；结合航迹推算来跟踪历史帧检测得到的车位进行位置补偿。历史帧检测得到的车位进行位置补偿。历史帧检测得到的车位进行位置补偿。

【技术实现步骤摘要】
基于双网络深度学习的实时全景车位检测方法、装置


[0001]本专利技术涉及辅助泊车
，具体涉及基于双网络深度学习的实时全景车位检测方法、装置、存储介质。

技术介绍

[0002]随着智能化和深度学习的飞速发展，自动泊车，遥控泊车和记忆泊车越来越得到广泛应用。深度学习的优势越发凸显，因此，基于深度学习视觉的车位检测得到更多研究，尤其是记忆泊车对车位检测的识别率要求更高，这样才可以建构较为完善的地图，保存车位信息。
[0003]当前常见的基于深度学习的全景车位检测网络有车位角点检测的深度学习网络和分割车位线的深度学习网络；
[0004]只有车位角点检测的深度学习网络目前对直角车位检测效果较好，对于非直角的斜列车位检测效果不理想，尤其是回归斜列车位的夹角时，得到的夹角和实际场景有出入，最终会影响泊车完整后的效果，车辆不能泊车居中。有些场景没有车位角点信息或者车位角点被严重磨损掉，这对于车位角点检测来说是有挑战性的；
[0005]只有分割车位线的深度学习网络，虽然可以很好的解决斜列车位夹角定位不准的问题，但是分割方法对于组合车位的车位线或者砖石来说，需要的信息量显然比车位角点检测要多，对于某些特殊情况，车位线信息不足，检测效果不理想。

技术实现思路

[0006]针对上述问题，本专利技术提供了基于双网络深度学习的实时全景车位检测方法、装置、存储介质，其支持多种车位类型的检测，对于斜列车位的检测效果好，支持不存在车位线、车位线不全情况下的车位检测。
[0007]其技术方案是这样的：基于双网络的深度学习的实时全景车位检测方法，其特征在于，包括以下步骤：
[0008]获取全景系统车辆前后左右四个方向的摄像头实时采集的视频数据，合成得到实时全景视频帧；
[0009]调用训练好的深度学习车位实例分割模型，检测实时全景视频帧，得到分割的车位线结果；
[0010]分别横向遍历和纵向遍历分割的车位线结果提取特征点；得到任意角度的车位特征点；
[0011]将得到的特征点按照横向和纵向进行拟合，得到任意角度的车位线；
[0012]将得到的车位线，按照常规车位的约束进行逻辑判断组合成车位，所述常规车位包括平行车位，垂直车位，斜列直角车位和斜列非直角车位，保存通过深度学习车位实例分割模型得到的候选车位结果集P1；
[0013]调用训练好的深度学习车位角点检测模型，检测实时全景视频帧，得到车位角点
检测结果；
[0014]将检测得到的车位角点进行匹配，并结合车位分割得到的精确角度值，计算得到候选车位结果集P2；
[0015]对检测得到的候选车位结果集P1和候选车位结果集P2进行综合逻辑判断，最终筛选出置信度最好的检测车位集；
[0016]结合航迹推算来跟踪历史帧检测得到的车位进行位置补偿。
[0017]进一步的，基于卷积神经网路构建深度学习车位角点检测模型，所述深度学习车位角点检测模型用于学习车位角点的特征，输出包含检测出的车位角点的目标框以及该目标框的类型和置信度，所述目标框通过目标框在原图中的左上角坐标和右下角坐标进行表示。
[0018]进一步的，在构建深度学习车位角点检测模型的训练集时，将合成的全景图中的车位角点标注目标框并另存，把原图的存储路径放入原图列表中，把标注车位角点的全景图的存储路径放入标注图列表中，调用深度学习车位角点检测模型加载原图列表和对应的标注图列表进行迭代训练。
[0019]进一步的，车位角点的标签包括垂直T型、垂直L型、倾斜T型、倾斜L型、十字型、U型、直线型、残疾人停车位、禁停车位P、禁停车位X。
[0020]进一步的，所述对检测得到的候选车位结果集P1和候选车位结果集P2进行综合逻辑判断，最终筛选出置信度最好的检测车位集，具体如下执行：
[0021]若候选车位结果集P1和候选车位结果集P2存在车位重叠，则根据候选车位结果集P1所保存的车位线序号，找到车位角点对应车位的所有四条车位线，然后判断这四条车位线中是否有一条车位线穿过候选车位结果集P2的车位的两个车位角点，如果穿过，则认为候选车位结果集P2中车位置信较高，根据候选车位结果集P1中车位的夹角，从而计算出候选车位结果集P2中车位的另两个车位角点，最终输出候选车位结果集P2中车位，把候选车位结果集P2中车位设置为可信，把候选车位结果集P1中车位设置为不可信，如果没有穿过，则直接输出候选车位结果集P1中车位，把候选车位结果集P1中车位设置为可信，把候选车位结果集P2中车位设置为不可信；
[0022]如果候选车位结果集P1和候选车位结果集P2不存在车位重叠，则根据历史帧同侧车位的夹角来计算出本帧候选车位结果集P2中车位的另两个车位角点，同时把选车位结果集P1和候选车位结果集P2中车位均设置为可信车位并输出。
[0023]进一步的，当候选车位结果集P1和候选车位结果集P2存在两个车位角点的坐标差值是在50cm范围内，则认为候选车位结果集P1和候选车位结果集P2存在车位重叠。
[0024]进一步的，在按照横向和纵向两个方向同时进行遍历分割的车位线结果提取特征点时，根据车位线上下的局部灰度梯度值滑动提取特征点，横向遍历范围为[0
°
,45
°
]和[135
°
,180
°
]，纵向遍历的范围为[45
°
,135
°
]，遍历的角度范围为与水平横线的夹角。
[0025]进一步的，基于卷积神经网路构建深度学习车位实例分割模型，所述深度学习车位实例分割模型包括Bias层、Convolution层+BatchNorm层+Relu层的组合模块、pooling层、Deconvolution层、Eltwise层，所述深度学习车位实例分割模型先通过卷积下采样对输入样本的每一个像素进行学习，然后通过反卷积输出与原图输入等大小全景分割结果图，设置训练集训练所述深度学习车位实例分割模型，直至模型收敛得到训练好的深度学习车
位实例分割模型。
[0026]进一步的，在构建训练集时，将合成的全景图中的车位线进行标注并另存，把原图的存储路径放入原图列表中，把标注车位线的全景图的存储路径放入分割标签图列表中，调用深度学习车位实例分割模型加载原图列表和对应的分割标签图列表进行迭代训练。
[0027]进一步的，在按照常规车位的约束进行逻辑判断组合成车位时，平行车位约束的条件是同时满足：
[0028]C1.1：车位线形成的车位夹角是90
°
；
[0029]C1.2：靠近车辆的两个车位角点距离大于450cm并且小于650cm；
[0030]C1.3：靠近车辆的两个车位角点连线与车辆保持平行；
[0031]判断垂直车位的约束条件是同时满足：
[0032]C2.1：车位线形成的车位夹角角90
°
；
[0033]C2.2：靠近车辆的两个车位角点距离大于200本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双网络的深度学习的实时全景车位检测方法，其特征在于，包括以下步骤：获取全景系统车辆前后左右四个方向的摄像头实时采集的视频数据，合成得到实时全景视频帧；调用训练好的深度学习车位实例分割模型，检测实时全景视频帧，得到分割的车位线结果；分别横向遍历和纵向遍历分割的车位线结果提取特征点；得到任意角度的车位特征点；将得到的特征点按照横向和纵向进行拟合，得到任意角度的车位线；将得到的车位线，按照常规车位的约束进行逻辑判断组合成车位，所述常规车位包括平行车位，垂直车位，斜列直角车位和斜列非直角车位，保存通过深度学习车位实例分割模型得到的候选车位结果集P1；调用训练好的深度学习车位角点检测模型，检测实时全景视频帧，得到车位角点检测结果；将检测得到的车位角点进行匹配，并结合车位分割得到的精确角度值，计算得到候选车位结果集P2；对检测得到的候选车位结果集P1和候选车位结果集P2进行综合逻辑判断，最终筛选出置信度最好的检测车位集。2.根据权利要求1所述的基于双网络的深度学习的实时全景车位检测方法，其特征在于：基于卷积神经网路构建深度学习车位角点检测模型，所述深度学习车位角点检测模型用于学习车位角点的特征，输出包含检测出的车位角点的目标框以及该目标框的类型和置信度，所述目标框通过目标框在原图中的左上角坐标和右下角坐标进行表示。3.根据权利要求2所述的基于双网络的深度学习的实时全景车位检测方法，其特征在于：在构建深度学习车位角点检测模型的训练集时，将合成的全景图中的车位角点标注目标框并另存，把原图的存储路径放入原图列表中，把标注车位角点的全景图的存储路径放入标注图列表中，调用深度学习车位角点检测模型加载原图列表和对应的标注图列表进行迭代训练，车位角点的标签包括垂直T型、垂直L型、倾斜T型、倾斜L型、十字型、U型、直线型、残疾人停车位、禁停车位P、禁停车位X。4.根据权利要求1所述的基于双网络的深度学习的实时全景车位检测方法，其特征在于，所述对检测得到的候选车位结果集P1和候选车位结果集P2进行综合逻辑判断，最终筛选出置信度最好的检测车位集，具体如下执行：若候选车位结果集P1和候选车位结果集P2存在车位重叠，则根据候选车位结果集P1所保存的车位线序号，找到车位角点对应车位的所有四条车位线，然后判断这四条车位线中是否有一条车位线穿过候选车位结果集P2的车位的两个车位角点，如果穿过，则认为候选车位结果集P2中车位置信较高，根据候选车位结果集P1中车位的夹角，从而计算出候选车位结果集P2中车位的另两个车位角点，最终输出候选车位结果集P2中车位，把候选车位结果集P2中车位设置为可信，把候选车位结果集P1中车位设置为不可信，如果没有穿过，则直接输出候选车位结果集P1中车位，把候选车位结果集P1中车位设置为可信，把候选车位结果集P2中车位设置为不可信；如果候选车位结果集P1和候选车位结果集P2不存在车位重叠，则根据历史帧同侧车位
的夹角来计算出本帧候选车位结果集P2中车位的另两个车位角点，同时把选车位结果集P1和候选车位结果集P2中车位均设置为可信车位并输出。5.根据权利要求4所述的基于双网络的深度学习的实时全景车位检测方法，其特征在于：当候选车位结果集P1和候选车位结果集P2存在两个车位角点的坐标差值是在50cm范围内，则认为候选车位结果集P1和候选车位结果集P2存在车位重叠。6.根据权利要求1所述的基于双网络的深度学习的实时全景车位检测方法，其特征在于：在按照横向和纵向两个方向同时进行遍历分割的车位线结果提取特征点时，根据车位线上下的局部灰度梯度值滑动提取特征点，横向遍历范围为[0
°
,45
°
]和[135
°
...

【专利技术属性】
技术研发人员：曹建收，杨波，刘春霞，王东虎，齐雪妮，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：