一种基于多尺度特征的人体图像解析方法技术

本发明专利技术公开了一种基于多尺度特征的人体图像解析方法。本发明专利技术首先利用残差网络对人体图像不断进行下采样；然后利用双线性插值和通道压缩的方法不断对人体特征图进行上采样；最后通过多尺度特征融合的方式将上采样和上采样过程中产生的人体特征图进行多尺度特征融合，以同时利用不同感受野大小的人体图像信息。本发明专利技术利用不同倍率的空洞卷积做多尺度特征融合，有效解决传统人体解析方法对于人体边缘检测像素精度不够的问题，相比现有特征融合方法能大幅提高效率和精度。

【技术实现步骤摘要】
一种基于多尺度特征的人体图像解析方法
本专利技术涉及一种基于多尺度特征的人体图像解析方法，属于互联网计算机视觉

技术介绍
自2012年AlexNet在图像分类任务中取得了惊人的成果，卷积神经网络在深度学习中的地位变得不可替代。它在计算机视觉领域表现卓越，几乎替代了以前的传统机器学习方法。经众多研究者进一步探索之后，基于深度学习的图片分类或检测技术已经较为成熟和饱和，研究者们开始着重于研究更为复杂的像素级分类问题，如语义分割(semanticsegmentation)。通用语义分割是目前最具挑战性的任务之一，其任务是对图片中每一个像素进行分类。人体语义分割，又称人体解析(humanparsing)，是语义分割的子任务。其目标是将一个人身体的各个部位或者所着衣物配饰加以识别，亦可称为服装解析(clothingparsing)。所有组成人体的像素均被标记，并且归类为对应类别。人体语义分割在诸多领域均有应用，如人体外观转移(humanappearancetransfer)、行为识别(behaviorrecognition)、行人重识别(personre-identification)、时装合成(fashionsynthesis)。因此，人体解析具有重要的研究意义和应用价值。和通用语义分割不同，人体解析集中于以人为中心的分割，须识别出人体的脸部、肩膀、手臂、腿部等区域，从像素级别提取人体图像的语义特征。基于卷积神经网络的人体解析已经获得了极大的突破，但面对多变的人体姿态、复杂的场景、多变的衣着等挑战，以及网络模型本身对人体语义特征学习的不足，容易造成解析结果区域不连续、错误识别、边缘勾勒不精细等问题，这些问题严重影响着解析精度。
技术实现思路
为解决上述问题，本专利技术提出一种基于多尺度特征的人体图像解析方法，利用改进的残差网络提取人体图像特征，并使用双线性插值和通道压缩对人体特征进行上采样，最终通过多尺度特征融合进行像素级的预测。为了达到上述目的，本专利技术提供的一种基于多尺度特征的人体图像解析方法，首先利用改进的残差网络对人体图像不断进行下采样特征提取，然后利用双线性插值和通道压缩的方法不断对人体特征图上这些特征进行上采样，在上采样和下采样的过程中利用多尺度特征融合的方式对人体图像的高阶和低阶特征进行多尺度特征融合，以同时利用不同感受野大小的人体图像信息。具体的，一种基于多尺度特征的人体图像解析方法，包括如下步骤：步骤1，对人体图片进行下采样首先改进ResNet残差网络，使其适用于人体解析任务，然后将输入人体图像的大小调整为128×128，使其适用于改进的ResNet，并输出人体特征图；步骤2，对人体图片进行上采样使用双线性插值和通道压缩不断对人体特征图进行上采样，最终恢复至原始尺寸；步骤3，多尺度特征融合人体高阶和低阶特征对于步骤1和步骤2中每一步产生的人体特征图，在不改变特征图尺寸的前提下，使用不同倍率的空洞卷积将低阶特征和高阶特征融合。进一步的，所述步骤1根据公式(1)，输出为16×16×512的人体特征图：其中，M为输出的尺寸，N是原始图像的尺寸，P是填充个数，F是卷积核尺寸，S是卷积步长。进一步的，所述步骤2包括如下子步骤：子步骤2-1，使用双线性插值增加人体特征图的尺寸在特征图中取4个点P11＝(x1，y1)、P12＝(x1，y2)、P21＝(x2，y1)、P22＝(x2，y2)；然后根据公式(2)和公式(3)在x方向上进行线性插值：其中f为未知函数，f(P11)、f(P12)、f(P21)、f(P22)为函数f在四个点处已知的值，Q1＝(x，y1)，Q2＝(x，y2)；随后根据公式(4)在y方向上进行线性插值：其中T＝(x，y)是待求值的坐标点，f(T)为待求的值；使用双线性插值算法在解码器的每一层将特征图尺寸上采样两倍，通道数不变；子步骤2-2，通道压缩首先使用1×1的卷积来压缩人体特征图的通道；然后根据公式(5)，在1×1卷积之后添加一个基于标准差的矩阵即批归一化模块；最后根据公式(6)，在批归一化模块后添加ReLU激活函数：f(x)＝max(0，wTx+b)(6)。进一步的，所述步骤3包括如下子步骤：子步骤3-1，多尺度空洞卷积多尺度空洞卷积共有4个平行的卷积层，输入H×W×C的特征图，先经过1×1的卷积，输出大小为H×W×C的特征图；其余3个卷积层是不同空洞率的空洞卷积层；并且根据公式(7)，当卷积填充的像素数和空洞率相同时，卷积后的特征图尺寸不变，因此都输出H×W×C的特征图：其中o为输出的特征图尺寸，i为输入的特征图尺寸，p为卷积填充的像素数，k为卷积核的大小，r为空洞率，s是卷积步长；子步骤3-2，采用按位相加和拼接两种特征融合方式进行特征融合首先将上一步骤输出的4个H×W×C的特征图按位相加，生成一个大小仍为H×W×C的特征图；然后采用拼接的方式将这5个大小相同的特征图进行特征融合，输出一个H×W×5C的特征图；子步骤3-3，通道压缩首先使用1×1的卷积来压缩人体特征图的通道，将特征图从H×W×5C压缩成H×W×C大小；在1×1卷积之后添加一个批归一化模块；最后在批归一化模块后添加ReLU激活函数。与现有技术相比，本专利技术具有如下优点和有益效果：1.本专利技术方法能够像素级地检测人体的不同区域并输出掩码图，相比传统方法，能够减少训练时间和提高运行效率，而且能够有效改善传统人体解析方法普遍存在的准确率不足问题，能大幅提高效率和精度。2.该方法采用改进的残差网络提取人体特征，与传统人体解析模型相比，人体特征提取更加充分。3.该方法采用双线性插值的方法上采样，能够有效改善现有人体解析方法使用反卷积导致信息丢失的问题，在最终的人体掩码图中边缘勾勒更清晰，效果更好。4.该方法采用不同倍率的空洞卷积实现多尺度特征融合，能够显著扩大特征图的感受野，且综合考虑了不同尺度的特征信息。附图说明图1为本专利技术提供的一种基于多尺度特征的人体图像解析方法流程图，图中为本专利技术从训练到检测的全过程。图2为双线性插值算法的计算示意图。图3为1×1卷积的计算示意图。图4为多尺度特征融合的计算示意图。具体实施方式以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。本专利技术提供的一种基于多尺度特征的人体图像解析方法，流程如图1所示，其具体实施步骤如下：步骤1，对人体图片进行下采样。如表1所示，本专利技术首先对34层的残差网络ResNet-34进行改进，使其适用于人体解析任务。改进的残差网络输入为128×128×3的RGB三通道人体图像，根据公式(1)，输出为16×16×512的人体特征图。<本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征的人体图像解析方法，其特征在于，包括如下步骤：/n步骤1，对人体图片进行下采样/n首先改进ResNet残差网络，使其适用于人体解析任务，然后将输入人体图像的大小调整为128×128，使其适用于改进的ResNet，并输出人体特征图；/n步骤2，对人体图片进行上采样/n使用双线性插值和通道压缩不断对人体特征图进行上采样，最终恢复至原始尺寸；/n步骤3，多尺度特征融合人体高阶和低阶特征/n对于步骤1和步骤2中每一步产生的人体特征图，在不改变特征图尺寸的前提下，使用不同倍率的空洞卷积将低阶特征和高阶特征融合。/n

【技术特征摘要】
1.一种基于多尺度特征的人体图像解析方法，其特征在于，包括如下步骤：
步骤1，对人体图片进行下采样
首先改进ResNet残差网络，使其适用于人体解析任务，然后将输入人体图像的大小调整为128×128，使其适用于改进的ResNet，并输出人体特征图；
步骤2，对人体图片进行上采样
使用双线性插值和通道压缩不断对人体特征图进行上采样，最终恢复至原始尺寸；
步骤3，多尺度特征融合人体高阶和低阶特征
对于步骤1和步骤2中每一步产生的人体特征图，在不改变特征图尺寸的前提下，使用不同倍率的空洞卷积将低阶特征和高阶特征融合。


2.根据权利要求1所述的基于多尺度特征的人体图像解析方法，其特征在于，所述步骤1根据公式(1)，输出为16×16×512的人体特征图：



其中，M为输出的尺寸，N是原始图像的尺寸，P是填充个数，F是卷积核尺寸，S是卷积步长。


3.根据权利要求1所述的基于多尺度特征的人体图像解析方法，其特征在于，所述步骤2包括如下子步骤：
子步骤2-1，使用双线性插值增加人体特征图的尺寸
在特征图中取4个点P11＝(x1,y1)、P12＝(x1,y2)、P21＝(x2,y1)、P22＝(x2,y2)；然后根据公式(2)和公式(3)在x方向上进行线性插值：






其中f为未知函数，f(P11)、f(P12)、f(P21)、f(P22)为函数f在四个点处已知的值，Q1＝(x,y1)，Q2＝(x,y2)；随后根据公式(4)在y方向上进行线性插值：


<...

【专利技术属性】
技术研发人员：杨鹏，范路平，常欣辰，于晓潭，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32