基于嵌入式设备改进CenterNet的行人检测方法技术

本发明专利技术提供一种基于嵌入式设备改进CenterNet的行人检测方法，包括以下步骤：步骤S1：使用BiFPN结构改进优化CenterNet的骨干网络；步骤S2：统计行人数据集标注框宽高比，并据此设置好每个标注框对应的高斯核分布；步骤S3：据步骤S2设置好的高斯核分布宽高比改进训练过程中的高斯核以及损失函数；步骤S4：按步骤S2中统计行人检测框宽高比的数据集进行训练；步骤S5：将训练好的模型进行量化、加速，移植到嵌入式设备；步骤S6：在嵌入式设备上开启服务端，对模型移植后的检测效果进行评估。改进后的CenterNet模型能够有效的提取深度特征，避免复杂的网络结构带来的庞大参数量，在嵌入式设备上有更快的运行速度，同时在行人检测的精度上也得到提升。

【技术实现步骤摘要】
基于嵌入式设备改进CenterNet的行人检测方法
本专利技术属于图像检测领域，特别涉及一种骨干网络有效提取特征结构和头部网络及对应损失改进的方法，并使用嵌入式设备实现，最终实现具体效果评测。
技术介绍
目标检测是计算机视觉和数字图像处理的一个方向，广泛用于工业检测、航空、航天、智能视频监控等领域，使用计算机视觉检测目标用以减少人力的使用，提高灵活性具有重要意义。在实际应用过程中，虽然大部分网络可以在TPU、GPU等大型运算设备上取得较好的实时性，但是在一些具体场景中需要使用移动设备进行计算，虽然检测领域中单步法中有多种阉割版的网络结构应对这种问题，但是随之带来的是精度的大幅下降。
技术实现思路
本专利技术的目的在于克服上述现有技术或算法的缺点，基于CenterNet检测网络提出了一种针对于多行人的可应用于嵌入式设备的检测网络，在保证精度的情况下，减少参数量与计算量。原CenterNet使用的backbone是多层特征融合的DLA34和Hourglass101，这类模型参数量大，前向传播速度较慢，不适合使用在嵌入式这类计算能力有限的设备上，所以根据BiFPN结构提出一种新的特征提取结构，其参数量在嵌入式设备上可以满足实时性的同时，保证了精度不会出现大幅降低。同时针对行人这一特定的类别，通过改进高斯核形式降低因遮挡造成的精度降低。本专利技术的一种基于嵌入式设备改进CenterNet的行人检测方法，其包括以下步骤：S1、将CenterNet的骨干网络按照BiFPN结构重新设计，将下采样过程中不同层次的特征进行放缩，同时按照不同的权值进行融合，在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式以不同的权值对分辨率相同的特征图进行融合，i表示特征图的层数、j表示对应特征图的权值排序的序号、Ii表示融合过程中的所有被融合前的特征图、wi为其对应的权值、∑jwj表示所有的权值之和、O表示融合后结果特征图的输出、∈为足够小的数；S2、按照特定的行人数据集统计宽高比，设置每个检测框相对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σp，公式为：gw和gh为标注框对应的宽和高，Yxy表示高斯核函数分布形式，为原输入图像中行人目标中心点下采样后在热力图HeatMap上的对应位置，x、y是围绕这一中心点绘制高斯核的双自变量；S3、根据步骤S2中的高斯核分布设置focalloss损失函数形式如下：式中，Lk表示头部网络中HeatMap分支的损失，表示HeatMap分支相对应Yxy的预测值，α、β是focalloss的参数，N代表中心点数量，Yy表示仅在y方向上对损失函数进行衰减；最终的损失为HeatMap分支损失、offset分支损失与scale损失之和，offset分支损失和scale损失按照原模型损失函数进行设置，最后按照Ldet＝Lk+λsizeLsize+λoffLoff将损失进行线性融合，Ldet表示三个损失线性相加的总损失、λsize表示scale分支的损失系数、λoff表示offset分支损失的系数、Lk表示HeatMap分支的损失、Lsize表示scale分支的损失、Loff表示offset分支的损失；S4、按照步骤S2、S3中修改的网络进行训练，训练过程中使用仿射变换进行预处理，让原始图像经过仿射变换到输入图像的中心，然后通过亮度调节和中心裁剪做数据增强；S5、将训练好的模型参数用FP16类型进行精度校准，部署到嵌入式设备，并使用TensorRT进行加速；S6、在嵌入式设备上开启服务，从客户端到嵌入式设备发送评测数据，验证改进后算法的提升。优选地，所述步骤S1中骨干网络提取特征时，首先将输入图像经过标准的卷积、批标准化、激活层、最大池化处理，然后在经过不同层的残差块后进行下采样，依据这些下采样后的不同层级的特征图进行融合。优选地，所述步骤S6中评测时，保证在一次评测中输入的图分辨率不变，同时在计算传播时间时，减去因网络传输所损失的时间，只计算预处理、模型推理、后处理、所有分支的预测结果合并的时间，并使用同一批数据评测传播时间。与现有技术相比，本专利技术具有以下有益效果：(1)能够有效的提取深度特征，避免复杂的网络结构带来的庞大参数量；(2)在保证精度的情况下，能够实现快速推理。(3)本专利技术通过统计行人标注框的长宽比，设定了适用于行人的高斯核分布形式，有效的避免了因行人相互遮挡带来的检测精度下降。附图说明图1为本专利技术的的基于嵌入式设备改进CenterNet的行人检测方法的总体流程图；图2为改进后的CenterNet网络示意图；图3为BiFPN结构示意图；图4(a)为行人遮挡图示意图；图4(b)为对应的高斯核图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。如图1所示，本实例是一种基于嵌入式设备改进CenterNet的行人检测方法，其实现步骤如下：S1、如图3所示，基于BiFPN结构这一能有效提取特征的网络结构，将原CenterNet的骨干网络按照此结构重新设计，同时将下采样过程中不同层次的特征进行放缩按照不同的权值进行融合。首先将输入图像经过标准的卷积、批标准化、激活层、最大池化处理，然后在经过不同层的残差块后进行下采样，依据这些下采样后的不同层级的特征图进行融合。在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式以不同的权值对分辨率相同的特征图进行融合，式中，i表示特征图的层数、j表示对应特征图的权值排序的序号，Ii表示融合过程中的所有被融合前的特征图、wi为其对应的权值，是一个可训练的参数，∑jwj表示所有的权值之和、O表示融合后结果特征图的输出，∈为足够小的数。图2中展示了本实施例依据BiFPN结构重新设计的CenterNet行人检测模型，从图2的网络结构可以看出，输入图像首先经过一个卷积层Conv1、批标准化Bn1、激活层Relu、最大池化maxpool的结构得到一个64维的特征图，然后使用残差块ResBolock进一步提取特征，分别将残差块下采样输出的特征相对应的进行分辨率调整，并且按图中BiFPN结构进行融合，经过BiFPN结构之后得到对应输入的不同层融合之后的特征，将这些特征经过卷积Conv，可变形卷积DeConv送入到包含HeatMap、offset、scale在内的头部分支，最后再在不同的分支分别进行卷积，得到各个头部检测分支的对应结果。S2、按照特定的行人数据集统计宽高比，设置每个检测框对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σp，公式为gw和gh为本文档来自技高网...

【技术保护点】
1.一种基于嵌入式设备改进CenterNet的行人检测方法，其特征在于，其包括以下步骤：/nS1、将CenterNet的骨干网络按照BiFPN结构重新设计，将下采样过程中不同层次的特征进行放缩，同时按照不同的权值进行融合，在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式

【技术特征摘要】
1.一种基于嵌入式设备改进CenterNet的行人检测方法，其特征在于，其包括以下步骤：
S1、将CenterNet的骨干网络按照BiFPN结构重新设计，将下采样过程中不同层次的特征进行放缩，同时按照不同的权值进行融合，在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式以不同的权值对分辨率相同的特征图进行融合，i表示特征图的层数、j表示对应特征图的权值排序的序号、Ii表示融合过程中的所有被融合前的特征图、wi为其对应的权值、∑jwj表示所有的权值之和、O表示融合后结果特征图的输出、∈为足够小的数；
S2、按照特定的行人数据集统计宽高比，设置每个检测框相对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σp，公式为：gw和gh为标注框对应的宽和高，Yxy表示高斯核函数分布形式，为原输入图像中行人目标中心点下采样后在热力图HeatMap上的对应位置，x、y是围绕这一中心点绘制高斯核的双自变量；
S3、根据步骤S2中的高斯核分布设置focalloss损失函数形式如下：



式中，Lk表示头部网络中HeatMap分支的损失，表示HeatMap分支相对应Yxy的预测值，α、β是focalloss的参数，N代表中心点数量，Yy表示仅在y方向上对损失函数进行衰减；
最终的损失为HeatMap分支损失、offset分支损失与scale损失之和，offset分支损失和scale损失按照原模型损失函数...

【专利技术属性】
技术研发人员：张立国，刘博，金梅，孙胜春，李枫，张少阔，张子豪，张勇，郎梦园，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13