一种基于深度学习的室外停车场空余车位检测方法技术

本发明专利技术公开了一种基于深度学习的室外停车场空余车位检测方法，通过位于停车场上方的高空摄像头采集图片，对PSPNet网络模型改进用于提取图像中的车位线，通过直线检测及轮廓提取，并结合相应的车位线填补方法获得图像中所有车位的位置，改进YOLOv3网络模型以检测图像中的所有车辆，并记录其位置，将车位与车辆进行匈牙利匹配，根据车位是否匹配成功以及匹配成功双方之间的距离判断该车位是否被占用，进而统计出图像中空余车位的数量。本发明专利技术可以准确判定室外停车场空余车位的数量和位置，且鲁棒性较强，方便车主寻找车位进行停车。

【技术实现步骤摘要】
一种基于深度学习的室外停车场空余车位检测方法
本专利技术涉及室外停车场空余车位检测的
，尤其是指一种基于深度学习的室外停车场空余车位检测方法。
技术介绍
如今随着生活水平的提高，车辆的使用越来越广泛，交通不断便利，乘车出行已成人们首先的交通方式，尤其对于车站、商场等人流量密集区域，通常需要下车徒步行走，因此必须将车停到停车场，若不知道停车场内是否有空位就直接进入，势必会浪费大量时间，而现有车位统计方式大都在入口处设立，逐个检测进入车辆进行计数，并与实现设定好的总车位数对比确定空余车位数，检测设备造价较高，且只能得到空余车位的数量，无法得出空余车位的位置信息，还需要车主进入逐个查找，效率较低。而现有的一些使用高空摄像头检测空余车位的方法，需要手动标定好每个车位在图像中的位置信息，逐个检测每个车位状态，如果摄像机的位置或者角度发生变化就需要重新标定，较为繁琐，适应性不强。综合以上论述，专利技术一种可以统计并定位空余车位的基于深度学习的室外停车场空余车位检测方法具有较高的实际应用价值。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的室外停车场空余车位检测方法，该方法对高空摄像头拍摄的停车场图像分别进行车位检测和车辆检测，通过车位与车辆的位置信息进行空余车位判定，该方法在不同环境、摄像机不同安装角度和位置的情况下均可以达到较好的检测效果，适应力强。该方法可以检测出停车场内的空余车位数量并定位出空余车位位置，供车主自主择优选择车位。为实现上述目的，本专利技术所提供的技术方案为：一种基于深度学习的室外停车场空余车位检测方法，包括以下步骤：1)通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，标记图中的车位线和车辆，以制作语义分割数据集和目标检测数据集；2)将所有数据集均划分为训练集和验证集，并对训练集进行数据扩增，训练集用于训练网络模型，验证集用于选取最优的模型参数；3)使用训练集对语义分割网络模型和目标检测网络模型进行训练，并根据验证集选取最佳语义分割网络模型和目标检测网络模型；其中，使用的语义分割网络模型为改进后的PSPNet网络模型，使用的目标检测网络模型为改进后的YOLOv3网络模型；所述PSPNet网络模型的改进是将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积，其网络输出层使用多个空洞卷积替换单一的传统卷积；所述YOLOv3网络模型的改进是将主干网络中的卷积替换为深度可分离卷积，并改用交并比GIOU损失，统一大、小目标的定位偏差尺度；4)应用步骤3)选取的最佳语义分割网络模型进行车位线检测，获得车位线的二值掩摸图，检测二值掩膜图中的所有直线，并进行非极大值抑制滤除重叠严重且短的线段，生成只包含直线的二值直线图；5)对步骤4)得到的二值直线图中的所有直线进行重新融合，通过自定义线段距离，找出外侧车位线被遮挡部分的两侧线段，并以此补全外侧车位线，得到补全后的二值直线图；6)查找出补全后的二值直线图中所有的内封闭轮廓，对所有轮廓进行合理性判断并处理得到最终轮廓，计算每个轮廓的中心坐标，作为每个停车位的坐标位置并记录；7)应用步骤3)选取的最佳目标检测网络模型进行车辆检测，记录图中所有的车辆位置信息，将所有停车位位置和车辆位置进行匹配，并判断是否为空余车位，统计空余车位数量及位置。在步骤1)中，将采集到的图像中的车位线标注为前景，其余部分视为背景，制作出包含语义信息的二值掩膜图，作为语义分割数据集，用于训练语义分割网络模型；同时，将图像中的车辆进行标注，记录所有车辆在图像中的大小和位置信息，作为目标检测数据集，用于训练目标检测网络模型。在步骤2)中，将所有数据集按比例划分为训练集和验证集，对于所有训练集，改变整幅图像的对比度、饱和度和色调，加入随机噪声，增强训练数据的多样性，提高模型的泛化能力；针对语义分割数据集，对图像和对应的二值掩摸图同时进行相同的剪切和仿射变换处理得到新的训练数据，该处理自动调整二值掩摸图与原图相匹配，无需人工重新标注。在步骤3)中，所述PSPNet网络模型的改进部分情况具体如下：将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积降低网络参数量，以提高前向推导的速度，提高实时性能，深度可分离卷积将传统的单个卷积核分为两个独立的卷积核：分离卷积和逐点卷积；分离卷积将特征图不同通道分离开分别进行卷积操作，逐点卷积对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；使用的深度可分离卷积(DCSM)结构包含：分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层和Mish激活函数；网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息；改进后的网络输出层包含：多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层和1×1卷积层，其中，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过1×1卷积层将包含不同尺度信息的特征图进行融合得到单通道的语义分割图。在步骤3)中，改进后的YOLOv3网络模型针对坐标损失对于大目标和小目标在训练过程中的差异性，对损失函数中的坐标损失进行改进，原本损失函数计算预测输出的检测框和实际目标的位置框坐标间的欧氏距离偏差，即中心坐标及宽高之间的欧式距离，使得大目标框的坐标损失值大于小目标的坐标损失值，不利于对小目标的定位，为此，改用交并比GIOU损失，统一大、小目标的定位偏差尺度；同时，为提高检测实时性将主干网络中的卷积替换为深度可分离卷积，减少参数量。在步骤3)中，改进后的PSPNet网络模型和改进后的YOLOv3网络模型训练参数为：总迭代次数为20000，Batch设置为4，使用Adam优化器，初始学习率为0.001，正则化系数为0.001，并且每迭代100次，计算验证集上的准确率，当准确率达到80％时换成SGD优化器，若准确率达到95％以上且比上一次保存的模型的验证集准确率高时，则保存当前模型，在训练结束后，选取最后一次保存的模型作为最终模型。在步骤4)中，将待检测图像输入训练好的改进后的PSPNet网络模型，获得车位线作为前景的二值掩膜图，采用霍夫变换直线检测算法将二值掩膜图中的所有直线段检测出来，并将线段长度作为非极大值抑制算法的评分标准，对于位置及斜率都靠近的线段只保留最长的线段，将保留的线段全部画在与二值掩摸图同样大小的二值直线图中，该二值直线图能够描绘出停车场内车位的轮廓信息。在步骤5)中，计算二值直线图中两两线段之间的距离，利用距离靠近的线段拟合出一条新的线段，将外侧车位线遮挡部分补全，其中，自定义线段距离由线段之间的夹角和端点距离共同决定本文档来自技高网...

【技术保护点】
1.一种基于深度学习的室外停车场空余车位检测方法，其特征在于，包括以下步骤：/n1)通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，标记图中的车位线和车辆，以制作语义分割数据集和目标检测数据集；/n2)将所有数据集均划分为训练集和验证集，并对训练集进行数据扩增，训练集用于训练网络模型，验证集用于选取最优的模型参数；/n3)使用训练集对语义分割网络模型和目标检测网络模型进行训练，并根据验证集选取最佳语义分割网络模型和目标检测网络模型；其中，使用的语义分割网络模型为改进后的PSPNet网络模型，使用的目标检测网络模型为改进后的YOLOv3网络模型；所述PSPNet网络模型的改进是将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积，其网络输出层使用多个空洞卷积替换单一的传统卷积；所述YOLOv3网络模型的改进是将主干网络中的卷积替换为深度可分离卷积，并改用交并比GIOU损失，统一大、小目标的定位偏差尺度；/n4)应用步骤3)选取的最佳语义分割网络模型进行车位线检测，获得车位线的二值掩摸图，检测二值掩膜图中的所有直线，并进行非极大值抑制滤除重叠严重且短的线段，生成只包含直线的二值直线图；/n5)对步骤4)得到的二值直线图中的所有直线进行重新融合，通过自定义线段距离，找出外侧车位线被遮挡部分的两侧线段，并以此补全外侧车位线，得到补全后的二值直线图；/n6)查找出补全后的二值直线图中所有的内封闭轮廓，对所有轮廓进行合理性判断并处理得到最终轮廓，计算每个轮廓的中心坐标，作为每个停车位的坐标位置并记录；/n7)应用步骤3)选取的最佳目标检测网络模型进行车辆检测，记录图中所有的车辆位置信息，将所有停车位位置和车辆位置进行匹配，并判断是否为空余车位，统计空余车位数量及位置。/n...

【技术特征摘要】
1.一种基于深度学习的室外停车场空余车位检测方法，其特征在于，包括以下步骤：
1)通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，标记图中的车位线和车辆，以制作语义分割数据集和目标检测数据集；
2)将所有数据集均划分为训练集和验证集，并对训练集进行数据扩增，训练集用于训练网络模型，验证集用于选取最优的模型参数；
3)使用训练集对语义分割网络模型和目标检测网络模型进行训练，并根据验证集选取最佳语义分割网络模型和目标检测网络模型；其中，使用的语义分割网络模型为改进后的PSPNet网络模型，使用的目标检测网络模型为改进后的YOLOv3网络模型；所述PSPNet网络模型的改进是将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积，其网络输出层使用多个空洞卷积替换单一的传统卷积；所述YOLOv3网络模型的改进是将主干网络中的卷积替换为深度可分离卷积，并改用交并比GIOU损失，统一大、小目标的定位偏差尺度；
4)应用步骤3)选取的最佳语义分割网络模型进行车位线检测，获得车位线的二值掩摸图，检测二值掩膜图中的所有直线，并进行非极大值抑制滤除重叠严重且短的线段，生成只包含直线的二值直线图；
5)对步骤4)得到的二值直线图中的所有直线进行重新融合，通过自定义线段距离，找出外侧车位线被遮挡部分的两侧线段，并以此补全外侧车位线，得到补全后的二值直线图；
6)查找出补全后的二值直线图中所有的内封闭轮廓，对所有轮廓进行合理性判断并处理得到最终轮廓，计算每个轮廓的中心坐标，作为每个停车位的坐标位置并记录；
7)应用步骤3)选取的最佳目标检测网络模型进行车辆检测，记录图中所有的车辆位置信息，将所有停车位位置和车辆位置进行匹配，并判断是否为空余车位，统计空余车位数量及位置。


2.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤1)中，将采集到的图像中的车位线标注为前景，其余部分视为背景，制作出包含语义信息的二值掩膜图，作为语义分割数据集，用于训练语义分割网络模型；同时，将图像中的车辆进行标注，记录所有车辆在图像中的大小和位置信息，作为目标检测数据集，用于训练目标检测网络模型。


3.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤2)中，将所有数据集按比例划分为训练集和验证集，对于所有训练集，改变整幅图像的对比度、饱和度和色调，加入随机噪声，增强训练数据的多样性，提高模型的泛化能力；针对语义分割数据集，对图像和对应的二值掩摸图同时进行相同的剪切和仿射变换处理得到新的训练数据，该处理自动调整二值掩摸图与原图相匹配，无需人工重新标注。


4.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤3)中，所述PSPNet网络模型的改进部分情况具体如下：
将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积降低网络参数量，以提高前向推导的速度，提高实时性能，深度可分离卷积将传统的单个卷积核分为两个独立的卷积核：分离卷积和逐点卷积；分离卷积将特征图不同通道分离开分别进行卷积操作，逐点卷积对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；使用的深度可分离卷积结构包含：分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层和Mish激活函数；
网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息；改进后的网络输出层包含：多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层和1×1卷积层，其中，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过1×1卷积层将包含不...

【专利技术属性】
技术研发人员：杜启亮，向照夷，田联房，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44