一种基于融合信息的外卖人员身份识别方法技术

本发明专利技术公开了一种基于融合信息的外卖人员身份识别方法。本发明专利技术提出了一种基于多级特征和空间注意力机制的多目标检测网络MFCNet。该网络结构包括四部分，即特征提取主干网络模块、特征融合模块、多尺度信息提取模块以及空间注意力机制模块。针对MFCNet网络的训练，首先先使用PASCAL VOC数据集进行预训练，得到含有基础目标识别能力的预训练模型。然后通过收集外卖人员的多个属性特征，进行标记，做成数据集。最后在预训练模型的基础上，进行进一步的训练得到最终MFCNet识别模型，从而进行测试检测。本发明专利技术方法不但具有更好的鲁棒性和自适应能力。本发明专利技术不但采集了目标整体特征，而且通过多个附加目标信息的识别，能够较为准确的给出目标身份，适用性较强。

【技术实现步骤摘要】
一种基于融合信息的外卖人员身份识别方法
本文专利技术涉及外卖人员身份识别的方法，具体来讲是一种基于融合信息的外卖人员身份识别方法，属于目标识别

技术介绍
使用深度学习进行目标识别，已经得到了广泛的应用。建立在目标识别技术基础上的人员身份的识别，通常通过提取目标整体特征进行判断。这种做法仍存在数据集缺失，判断准确度不高，鲁棒性差等问题。使用多个目标信息综合判断人员身份的方法，具有一定合理性，它不但采集了目标整体特征，而且通过多个附加目标信息的识别，能够较为准确的给出目标身份，适用性较强。外卖人员身份识别过程中，存在外卖车辆，外卖箱，外卖公司logo等属性信息。可以通过对这些信息的提取判断，综合给出外卖人员身份。这些属性信息没有特定的数据集需要进一步收集。另外，多个目标信息存在尺度变化较大的问题，需要进一步设计相关机制进行提取。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于融合信息的外卖人员身份识别方法，进行多家外卖人员身份识别任务。针对外卖人员目标尺度变化较大、姿态多样、logo等易与周围物体混淆等问题，提出了一种基于多级特征和空间注意力机制的多目标检测网络MFCNet。该网络结构包括四部分，即特征提取主干网络模块、特征融合模块、多尺度信息提取模块以及空间注意力机制模块。首先，通过将网络浅层特征和中间层特征信息融合，形成包含上下文信息的融合特征，用于解决浅层特征图中小目标语义信息不丰富、分类能力弱的问题；然后，利用空洞卷积增大感受野、不增加参数的特性，对融合特征进行多尺度分解，满足网络对多尺度目标的定位和检测；最后，空间注意力模块通过融合全局像素关联空间注意力，增强对关键信息贡献大的特征，来增强网络对目标和背景的区分能力。针对MFCNet网络的训练，首先先使用PASCALVOC数据集进行预训练，得到含有基础目标识别能力的预训练模型。然后通过收集外卖人员的多个属性特征，进行标记，做成数据集。最后在预训练模型的基础上，进行进一步的训练得到最终MFCNet识别模型，从而进行测试检测。本专利技术有益效果如下：结果表明，本专利技术方法不但具有更好的鲁棒性和自适应能力；而且本专利技术使用多个目标信息综合判断人员身份的方法，更加合理；本专利技术不但采集了目标整体特征，而且通过多个附加目标信息的识别，能够较为准确的给出目标身份，适用性较强。附图说明图1是本专利技术的整体实施方案流程图；图2是本专利技术的特征融合模块示意图；图3是本专利技术的进一步融合操作示意图；图4是本专利技术的多尺度信息提取模块示意图；图5是本专利技术的空间注意力机制示意图；图6是本专利技术的MFCNet网络结构示意图；具体实施方式下面结合附图对本专利技术作进一步描述。参照图1是本专利技术的整体实施方案流程图，一种基于融合信息的外卖人员身份识别方法，按照如下步骤进行：步骤(1)使用特征提取主干网络模块、特征融合模块、多尺度信息提取模块和空间注意力机制模块，构建深度学习网络MFCNet；步骤(2)在PASCALVOC数据集上对深度学习网络MFCNet进行预训练，得到预训练识别模型。步骤(3)对外卖人员身份特征信息图片进行收集并标识。收集的身份特征信息图片包括：外卖电动车、外卖logo、外卖箱和外卖服装。使用收集的数据集对步骤(2)中的预训练识别模型进行进一步训练，得到最终的检测模型。步骤(4)将测试图片输入最终的MFCNet识别模型，检测出外卖电动车、外卖logo、外卖箱和外卖服装所属类别，对检测结果进行综合判断，以得出外卖人员身份类别。步骤(1)所述构建深度学习网络MFCNet，具体实现过程如下：1.1使用VGG16作为主干网络用于得到主干网络特征图，称之为特征提取主干网络模块；1.2构建特征融合模块，首先利用1*1的卷积层，来降维浅层特征图和深层特征图的通道，使得浅层特征图和深层特征图的通道数一致；然后对将经过降维的深层特征图通过上采样放大到和浅层特征图相同的尺寸；最后利用concate操作将所有相同尺寸的浅层特征图和深层特征图连接，形成主干网络融合特征图，从而能够保证不同特征图检测的同一个目标所包含的特征区域被激活。具体过程如图2所示：1.3将步骤1.2中获取的主干网络融合特征图和步骤1.1中获取主干网络特征图进一步融合，即将主干网络融合特征图和主干网络特征图相加形成新的特征图。1.3.1对主干网络特征图进行反卷积操作，使得主干网络特征图与特征融合模块输出的主干网络融合特征图具有相同的长宽，确保尺度完全一样。1.3.2对主干网络融合特征图卷积操作，使得卷积后的主干网络融合特征图的通道数与步骤1.3.1反卷积后的主干网络特征图通道数相同。1.3.3将经过卷积后的主干网络融合特征图与经过反卷积后的主干网络特征图进行像素级相加操作，得到新的进一步融合特征图。如图3所示：1.4将进一步融合特征图送入多尺度信息提取模块，多尺度信息提取模块使用并行的空洞卷积操作。1.4.1利用1*1的卷积层，减少特征图的通道数以降低计算量,并加入ReLU激活函数。1.4.2利用大小为3*3，空洞率分别为1、2、4和8，对应步长为1,2,4,8的空洞卷积来提取不同尺度的特征信息。1.4.3将步骤1.4.2获取的不同尺度的特征信息的特征通道进行连接，用1*1的卷积核将特征通道数变换为进一步融合特征图相同的通道数，并与进一步融合特征图对应像素点进行叠加，获得叠加后的多尺度融合特征图，多尺度融合特征图既保留特征融合模块的特征，又加入了不同大小感受野的特征信息，有效改善提取较小尺寸的物体特征。具体操作如图4所示：1.5将多尺度融合特征图送入空间注意力机制模块，提取不同空间信息，得到包含关键信息的特征图，具体流程如图5所示：其中，输入多尺度融合特征图为x∈Rh*w*c，首先，通过全局最大池化和全局平均池化操作，沿通道维度生成两个新的特征描述:并通过concate操作融合新的特征描述。然后，通过一个标准的卷积操作对融合后新的特征描述进行激活，获得最终的注意力图G(x)，整个注意力图提取过程描述如下所示。其中：激活函数σ()为sigmoid函数；f3*3表示3×3的标准卷积操作。以上操作可以描述为：首先，空间注意力机制通过压缩通道维度，只留下空间位置信息；然后，通过卷积操作对全局区域进行注意力学习，得到包含全局上下文信息的注意力图。步骤(2)所述，具体实现过程如下：2.1将上述模块组合构成深度学习网络MFCNet，如图6所示。设置不同步长的学习批次，处理批次设置为32。动量和权值衰减分别设置为0.9和0.0005。2.2下载PASCALVOC数据集，使用PASCALVOC数据集对深度学习网络MFCNet进行训练，获得预训练模型。步骤(3)所述，具体实现过程如下：3.1对外卖人员身份本文档来自技高网...

【技术保护点】
1.一种基于融合信息的外卖人员身份识别方法，其特征在于包括如下步骤：/n步骤(1)使用特征提取主干网络模块、特征融合模块、多尺度信息提取模块和空间注意力机制模块，构建深度学习网络MFCNet；/n步骤(2)在PASCALVOC数据集上对深度学习网络MFCNet进行预训练，得到预训练识别模型；/n步骤(3)对外卖人员身份特征信息图片进行收集并标识；收集的身份特征信息图片包括：外卖电动车、外卖logo、外卖箱和外卖服装；使用收集的数据集对步骤(2)中的预训练识别模型进行进一步训练，得到最终的检测模型；/n步骤(4)将测试图片输入最终的MFCNet识别模型，检测出外卖电动车、外卖logo、外卖箱和外卖服装所属类别，对检测结果进行综合判断，以得出外卖人员身份类别。/n

【技术特征摘要】
1.一种基于融合信息的外卖人员身份识别方法，其特征在于包括如下步骤：
步骤(1)使用特征提取主干网络模块、特征融合模块、多尺度信息提取模块和空间注意力机制模块，构建深度学习网络MFCNet；
步骤(2)在PASCALVOC数据集上对深度学习网络MFCNet进行预训练，得到预训练识别模型；
步骤(3)对外卖人员身份特征信息图片进行收集并标识；收集的身份特征信息图片包括：外卖电动车、外卖logo、外卖箱和外卖服装；使用收集的数据集对步骤(2)中的预训练识别模型进行进一步训练，得到最终的检测模型；
步骤(4)将测试图片输入最终的MFCNet识别模型，检测出外卖电动车、外卖logo、外卖箱和外卖服装所属类别，对检测结果进行综合判断，以得出外卖人员身份类别。


2.根据权利要求1所述的一种基于融合信息的外卖人员身份识别方法，其特征在于步骤(1)所述构建深度学习网络MFCNet，具体实现过程如下：
1.1使用VGG16作为主干网络用于得到主干网络特征图，称之为特征提取主干网络模块；
1.2构建特征融合模块，首先利用1*1的卷积层，来降维浅层特征图和深层特征图的通道，使得浅层特征图和深层特征图的通道数一致；然后对将经过降维的深层特征图通过上采样放大到和浅层特征图相同的尺寸；最后利用concate操作将所有相同尺寸的浅层特征图和深层特征图连接，形成主干网络融合特征图，从而能够保证不同特征图检测的同一个目标所包含的特征区域被激活；具体过程如图2所示：
1.3将步骤1.2中获取的主干网络融合特征图和步骤1.1中获取主干网络特征图进一步融合，即将主干网络融合特征图和主干网络特征图相加形成新的特征图；
1.4将进一步融合特征图送入多尺度信息提取模块，多尺度信息提取模块使用并行的空洞卷积操作；
1.5将多尺度融合特征图送入空间注意力机制模块，提取不同空间信息，得到包含关键信息的特征图。


3.根据权利要求2所述的一种基于融合信息的外卖人员身份识别方法，其特征在于步骤1.3具体实现如下：
1.3.1对主干网络特征图进行反卷积操作，使得主干网络特征图与特征融合模块输出的主干网络融合特征图具有相同的长宽，确保尺度完全一样；
1.3.2对主干网络融合特征图卷积操作，使得卷积后的主干网络融合特征图的通道数与步骤1.3.1反卷积后的主干网络特征图通道数相同；
1.3.3将经过卷积后的主干网络融合特征图与经过反卷积后的主干网络特征图进行像素级相加操作，得到新的进一步融合特征图。


4.根据权利要求3所述的一种基于融合信息的外卖人员身份识别方法，其特征在于步骤1.4具体实现如下：
1.4.1利用1*1的卷积层，减少特征图的通道数以降低计算量,并加入ReLU激活函数；
1.4.2利用大小为3...

【专利技术属性】
技术研发人员：姜明，李鹏飞，张旻，汤景凡，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33