基于改进EfficientDet模型的车库行人检测方法技术

本发明专利技术公开了基于改进EfficientDet模型的车库行人检测方法，属于图像处理中的目标检测技术领域，本发明专利技术利用mosaic数据增强方法丰富行人检测的背景信息，且在批标准化Batch Normalization计算时一次性计算四张图像的数据；在主干网络EfficientNet中引入特征分流网络CSPNet，增强CNN的学习能力，能够在轻量化模型的同时保持检测的准确性，降低计算瓶颈和内存成本；在特征提取网络的顶部引入空间金字塔池化模块SPP，增加网络的感受野，在复杂多变的车库环境中能准确快速地完成行人检测。

【技术实现步骤摘要】
基于改进EfficientDet模型的车库行人检测方法
本专利技术属于图像处理中的目标检测
，具体涉及基于改进EfficientDet模型的车库行人检测方法。
技术介绍
智慧立体车库是智能化城市建设进程中的重要组成部分，它集车库停车位预定，车牌识别，自动停车，行人检测等于一体。其中，车库内的行人检测是为了保障车库内行人的安全。车库内的环境复杂多变，车位起降时必须考虑到车库内的行人走动，确保在没有行人的情况下才能升降。因此，车库行人检测的实时性和准确性对于智慧立体车库的部署十分重要。车库行人检测本质上属于目标检测问题，检测对象是车库内的行人。目标检测是图像理解和计算机视觉中的一个重要领域，它是解决分割、场景的理解、目标的追踪、图像描述、事件检测和活动识别等更具有复杂性和更高层次的视觉任务的基础。当前，优秀的目标检测模型层出不穷，都在向着更快更准确的方向前进。基于深度学习的目标检测模型通常由两部分组成，一部分是在ImageNet上预先训练好的主干网络，另一部分是用来预测类和对象边界框的预测器。对于运行在GPU平台上的目标检测模型，它们的主干网络可以是VGG，ResNet，ResNeXt或DenseNet。对于在CUP平台上运行的目标检测模型，它们的主干网络可以是Queezenet，MobileNet或ShuffleNet。预测器通常分为两类，分别是单阶段(one-stage)预测器和两阶段(two-stage)预测器。最具代表性的两阶段目标检测模型是R-CNN系列，包括fastR-CNN，fasterR-CNN，R-FCN和LibraR-CNN。对于单阶段目标检测模型，最具代表性的模型是YOLO，SSD，RetinaNet和EfficientDet。近年来发展起来的目标检测模型通常在主干和预测器之间插入一些层，这些层通常用于收集不同尺度的特征图，可以称之为目标检测模型的颈部。通常，颈部由几个自下而上的路径和几个自上而下的路径组成。配备这种机制的网络包括特征金字塔网络(FPN)、路径聚合网络(PAN)、BiFPN和NAS-FPN。EfficientDet是GoogleBrain团队2019年提出的基于EfficientNet的可伸缩、高效的目标检测模型，分为EfficientDetD0～EfficientDetD7系列，检测速度逐渐变慢，精度逐渐提高。它在提出之初，实现了最先进的检测结果，性能十分惊人。但车库环境复杂多变，检测目标有其一定的独特性，直接利用EfficientDet训练目标检测器，效果虽好但仍有较大的提升空间，主要是定位的精度，检测速度和误判率需要进一步改进。
技术实现思路
专利技术目的：本专利技术的目的是提供基于改进EfficientDet模型的车库行人检测方法，通过masaic数据增强丰富车库行人检测的背景信息，引入CSPNet增强CNN的学习能力，能够在轻量化模型的同时保持检测的准确性，引入SPP增加网络的感受野，使得改进后的模型在实时性和准确性上均有较大的性能提升。技术方案：为达到此目的，本专利技术采用以下技术方案：基于改进EfficientDet模型的车库行人检测方法，包括以下步骤：S1：收集不同时段和光照环境下的车库行人图像；S2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；S3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；S5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；S6：对改进的EfficientDet模型采用迁移学习，得到车库行人检测模型。进一步地，步骤S2中，所述的预处理方式包括图像尺寸裁剪、水平翻转和标准化处理。进一步地，步骤S2中，所述的mosaic数据增强方法为：S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像；S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；S24：将新图像和annotations标签数据打包作为一个新的训练样本，输入网络中训练。进一步地，步骤S3中，所述的在主干网络EfficientNet中引入特征分流网络CSPNet的方法，包括如下步骤：S31：对EfficientNet中的基本卷积模块按结构进行归类，将无通道膨胀和跳跃连接的归类到移动倒置瓶颈块1，将有通道膨胀但无跳跃连接的归类到移动倒置瓶颈块2，将有通道膨胀和跳跃连接的归类到移动倒置瓶颈块3；S32：每个移动倒置瓶颈块2的输出特征分别经过两个卷积层，分为两条通道数减半的特征分支，实现分流；S33：任意一条特征分支再通过原网络中的移动倒置瓶颈块3，接着连接一个卷积层，保持输出特征分支的维度不变；S34：将上述S32和S33得到的两条特征分支的输出特征在通道维度上拼接；S35：将融合后的特征最后通过一个卷积层，实现特征过渡。进一步地，步骤S4中，所述的在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP的方法为：S41：从CSPEfficientNet最后一个基本卷积模块的输出引出四条支路，包括第一支路，第二支路，第三支路和第四支路；S42：第一支路、第二支路、第三支路分别通过最大池化层a1、a2、a3，其中，a1的核大小为5，步长为1，a2的核大小为9，步长为1，a3的核大小为13，步长为1，第四支路保留原输出特征；S43：将四条支路的输出在通道维度上进行拼接，得到一个新的特征图；S44：将新的特征图最后通过一个卷积层，得到原特征的通道数。进一步地，步骤S6中，所述的对改进的EfficientDet模型采用迁移学习，包括如下步骤：S61：首先将改进后的EfficientDet模型在数据集上进行预训练，直至收敛；S62：将模型的分类预测数设为1，然后将预训练后的模型在车库行人数据集上进行迁移学习，训练至收敛。有益效果：本专利技术公开了基于改进EfficientDet模型的车库行人检测方法，针对车库内行人目标的独特性，利用mosaic数据增强方法丰富行人检测的背景信息，且在标准化BatchNormal本文档来自技高网...

【技术保护点】
1.基于改进EfficientDet模型的车库行人检测方法，其特征在于：包括以下步骤：/nS1：收集不同时段和光照环境下的车库行人图像；/nS2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；/nS3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；/nS4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；/nS5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；/nS6：对改进的EfficientDet模型采用迁移学习，得到车库行人检测模型。/n

【技术特征摘要】
1.基于改进EfficientDet模型的车库行人检测方法，其特征在于：包括以下步骤：
S1：收集不同时段和光照环境下的车库行人图像；
S2：针对车库行人图像，首先进行预处理，然后随机抽取4张图像利用mosaic数据增强方法合成一张复合图像，得到训练样本；
S3：在主干网络EfficientNet中引入特征分流网络CSPNet，实现特征分流，得到轻量化的模型CSPEfficientNet；
S4：在CSPEfficientNet分类层的前面引入空间金字塔池化模块SPP，得到新的主干网络CSPEfficientNet-SPP，以增加特征提取网络的感受野；
S5：将CSPEfficientNet-SPP和特征融合网络BiFPN、分类网络class-prediction-net以及定位网络box-prediction-net相结合，得到改进的EfficientDet模型；
S6：对改进的EfficientDet模型采用迁移学习，得到车库行人检测模型。


2.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S2中，所述的预处理方式包括图像尺寸裁剪、水平翻转和标准化处理。


3.根据权利要求1所述的基于改进EfficientDet模型的车库行人检测方法，其特征在于：步骤S2中，所述的mosaic数据增强方法为：
S21：获取统一尺寸后的图像长宽，利用逐像素点填充的方式生成一张长宽翻倍的新图像；
S22：利用索引获取当前图像，再利用随机抽样的方式从样本集中抽取3张图像，随机截取4张图像的部分区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像，最后将图像长宽缩小一倍；
S23：根据截取图像在新图像中的位置，转换每张图像中相应的boxes坐标至新图像，得到相应的annotations标签数据；
S24：将新图像和annotations标签数据打包作为一个新的训练样本，输入网络中训练。


4.根据权利要求1所述的基于改进Effic...

【专利技术属性】
技术研发人员：牛丹，李永胜，陈夕松，许翠红，陈善龙，刘子璇，
申请(专利权)人：南京云牛智能科技有限公司，东南大学，江阴市智行工控科技有限公司，
类型：发明
国别省市：江苏;32