本发明专利技术涉及一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet‑101、GlobalNet和RefineNet，通过ResNet‑101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。
Clothing Key Point Location Method Combining Void Convolution and Cascade Pyramid Network
The invention relates to a clothing key point location method combining hollow convolution and cascade pyramid network, which consists of three parts: ResNet 101, GlobalNet and RefineNet, which extracts image features through ResNet 101; GlobalNet carries out simple key point location; RefineNet integrates features from GlobalNet to identify remaining difficult key points.
【技术实现步骤摘要】
结合空洞卷积与级联金字塔网络的服饰关键点定位方法
本专利技术涉及时尚领域、图像处理领域、关键点定位领域、深度学习领域，将级联金字塔网络(CascadePyramidNetwork，CPN)与空洞卷积相结合进行改进，实现服饰关键点定位任务。
技术介绍
近些年来，随着电商平台和时尚行业的快速发展，对于服饰分析的算法需求越来越迫切。服饰关键点定位能够有效提升服饰部位对齐，加速物体属性识别，使图像可自动分类归属，已引起社会广泛关注。目前应用于人体关键点检测算法已经取得长足发展，但在与时尚行业相互融合过程中，由于服饰在类别、比例和外观上的多变性，服饰关键点定位算法仍然面临重大挑战。对于人体关键点定位，大多数方法都是直接回归出人体关节点的坐标，但是由于人体运动的灵活性以及回归模型可扩展性较差，此类方法的效果都不太理想。随着深度学习技术的发展，其在图像分类、识别、以及关键点检测上已得到广泛应用，2016年Wei等提出的CPM(ConvolutionalPoseMachines，CPM)网络通过顺序化卷积方式进行空间信息以及纹理信息的表达，实现鲁棒性较强的关键点定位算法。同年Alejandro等提出Hourglass(StackHourglassNetworks)网络，通过引入多模块全卷积神经网络(ConvolutionalNeuralNetwork，CNN)来解决单人关键点定位，每个CNN模块捕捉不同尺度图片的特征，以此来发现人体空间关系，推断人体的关节点位置。随后，多人关键点检测算法逐渐出现，效果较好的为自顶向下的算法，即先检测出单人，再定位每个人的关键点。2017年Papandreou等提出的G-RMI算法，首先利用FasterR-CNN检测图中的多个人，而后使用深度残差网络(DeepResidualNetworks，ResNet)精确定位关键点；同年何恺明在R-CNN、FastR-CNN和FasterR-CNN基础上提出MASKR-CNN改进算法，在实例分割、边界框检测和人体关键点定位等多个任务中都取得优于单一模型的效果；随后RMPE算法为克服由单人检测框差异而造成关键点定位误差的问题，利用金字塔结构的单目标检测算法SSD(SingleShotDetector，SSD)检测单个人，再使用Hourglass网络进行单人姿态的关键点检测。Chen等人为解决较难关键点检测提出级联金字塔结构网络(CascadedPyramidNetwork，CPN)，首先通过MASKR-CNN的目标检测结构发现图中的多个人，之后通过GlobalNet(GlobalPyramidNetwork)和RefineNet(RefinedPyramidNetwork)的级联网络结构实现对每个人的较难关键点检测，夺得2017年人体关键点检测挑战赛冠军。CPN网络通过区分简单和困难的关键点使定位的精确度大幅提高，但是网络依然没有很好地将图像底层细节信息用于关键点定位，因此需要进一步改进。
技术实现思路
本专利技术的目的是提供一种可以更好地将图像底层细节信息用于关键点定位的服饰关键点定位方法：ICPN(ImprovedCascadedPyramidNetwork，ICPN)。ICPN算法针对关键点定位任务中不同层级的语义信息融合问题，利用空洞卷积，在不降低高层特征图感受野的情况下，提高特征图的空间分辨率，从而获取更多的图像细节信息特征，进一步提升关键点检测精度，通过多种数据增强操作提高算法的鲁棒性，并通过相应的特征裁剪避免空洞卷积带来的计算复杂度变大问题。技术方案如下：一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet-101、GlobalNet和RefineNet，通过ResNet-101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点，包括：1)ResNet-101特征提取网络：对于一张大小为N×N的输入图像，引入捷径跳过某些层的连接，再与主径汇合。2)基于GlobalNet的提取不同尺度特征的级联金字塔结构模块：在Conv4-Conv5以空洞卷积代替原本的卷积操作，在增加感受野的同时不降低空间分辨率，分别产生空间尺度为256×N/4×N/4,512×N/8×N/8,512×N/8×N/8,512×N/8×N/8的特征图，后三组特征图尺度一样，底层的特征图Conv2和Conv3有比较高的空间分辨率，但是语义信息比较低；而高层的特征图Conv4和Conv5包含有更多的语义信息且空间分辨率未降低。3)基于GlobalNet的融合不同尺度特征级联模块：引入空洞卷积使得后三组特征图已经具有相同的尺寸可直接相加，仅在最后一层需要进行上采样操作后融合。4)利用RefineNet对来自GlobalNet的特征表征进行聚合来定位困难关键点，在RefineNet中只保留了Conv2与Conv4产生的特征图。5)网络训练和测试：对于训练图像进行相应的图像旋转、热力图高斯模糊等数据增强操作来提高数据量且提升网络鲁棒性，通过测试数据集测试结果，输出服饰关键点定位结果图，以及最终结果的关键点坐标相对于真实标签的误差率。本专利技术通过空洞卷积与CPN网络相结合的方法进行服饰关键点定位的任务，与一些经典的方法相比较，优势主要体现在：新颖性：本专利技术将人工智能引入时尚领域，有效提升了服饰关键点定位的精度，在电商、时尚搭配等场景下具有重大商业应用价值。本专利技术通过空洞卷积改进CPN网络，克服了原网络中的特征金字塔结构会大量丢失深层特征图中的底层细节信息的问题，在服饰关键点定位任务中取得了较好的效果。鲁棒性：本专利技术的算法可适用于多种关键点定位任务，本专利技术通过相应的图像旋转、热力图高斯模糊等数据增强操作进一步提高模型的鲁棒性。附图说明图1改进的CPN网络算法框架图2ResNet网络结构示意图图3的(a)(b)(c)为空洞卷积原理示意图图4特征金字塔结构示意图，(a)原始特征金字塔(b)改进特征金字塔图5不同网络检测结果对比图，(a)真实标签；(b)Horglass；(c)CPM；(d)CPN；(e)ICPN具体实施方式本专利技术共包含三个部分：ResNet-101、GlobalNet和RefineNet。其中通过ResNet-101进行图像特征提取；GlobalNet通过空洞卷积改进的金字塔结构进行特征融合与简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，聚合不同维度的特征，识别余下的困难关键点，为避免因空洞卷积带来的计算复杂度变大，本专利技术在该部分进行相应的特征裁剪，只保留了Conv2与Conv4产生的特征图。图1为本专利技术的整体算法框架。空洞卷积与CPN结合的服饰关键点定位包括以下几步：1)特征提取网络，对于一张大小为N×N的输入图像，本专利技术首先通过ResNet-101进行特征提取，如图2所示，相比较普通网络，ResNet引入捷径跳过某些层的连接，再与主径汇合，使得底层的误差可通过捷径向上层传递而解决梯度消失的问题，在不增加额外参数又不提高计算复杂度的同时增加网络模型的训练速度、提高训练效果。2)GlobalNet提取不同尺度特征的级联金字塔结构模块，本文档来自技高网...
【技术保护点】
1.一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet‑101、GlobalNet和RefineNet，通过ResNet‑101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。包括：1)ResNet‑101特征提取网络：对于一张大小为N×N的输入图像，引入捷径跳过某些层的连接，再与主径汇合；2)基于GlobalNet的提取不同尺度特征的级联金字塔结构模块：在Conv4‑Conv5以空洞卷积代替原本的卷积操作，在增加感受野的同时不降低空间分辨率，分别产生空间尺度为256×N/4×N/4,512×N/8×N/8,512×N/8×N/8,512×N/8×N/8的特征图，后三组特征图尺度一样，底层的特征图Conv2和Conv3有比较高的空间分辨率，但是语义信息比较低；而高层的特征图Conv4和Conv5包含有更多的语义信息且空间分辨率未降低；3)基于GlobalNet的融合不同尺度特征级联模块：引入空洞卷积使得后三组特征图已经具有相同的尺寸可直接相加，仅在最后一层需要进行上采样操作后融合；4)利用RefineNet对来自GlobalNet的特征表征进行聚合来定位困难关键点，在RefineNet中只保留了Conv2与Conv4产生的特征图；5)网络训练和测试：对于训练图像进行相应的图像旋转、热力图高斯模糊等数据增强操作来提高数据量且提升网络鲁棒性，通过测试数据集测试结果，输出服饰关键点定位结果图，以及最终结果的关键点坐标相对于真实标签的误差率。...
【技术特征摘要】
1.一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet-101、GlobalNet和RefineNet，通过ResNet-101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。包括：1)ResNet-101特征提取网络：对于一张大小为N×N的输入图像，引入捷径跳过某些层的连接，再与主径汇合；2)基于GlobalNet的提取不同尺度特征的级联金字塔结构模块：在Conv4-Conv5以空洞卷积代替原本的卷积操作，在增加感受野的同时不降低空间分辨率，分别产生空间尺度为256×N/4×N/4,512×N/8×N/8,512×N/8×N/8,512×N/8×N/8的特征图...
【专利技术属性】
技术研发人员：姚麟倩，李锵，关欣，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。