一种基于精细化网络模型的多标签服装解析方法技术

本发明专利技术公开了一种基于精细化网络模型的多标签服装解析方法，其中，该方法包括：获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。在本发明专利技术实施例中，能够在进行解析服装标签时抑制标签对损失函数值产生的贡献数量，尽最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。

A Multi-Label Clothing Analysis Method Based on Fine Network Model

The invention discloses a multi-label clothing parsing method based on refined network model, which includes: acquiring human clothing data set, initializing processing, obtaining tagged initial data set, establishing refined network model, training by incorporating focus loss function, and obtaining well-trained clothing data set. Fine network model; acquire the fine network model trained, test and evaluate, and obtain the segmented garment image. In the embodiment of the present invention, the amount of contribution of tags to loss function value can be restrained while parsing garment tags, the refined semantic information can be retained to the greatest extent, the accuracy of parsing results can be improved, the convenience can be provided for programmers, and the unnecessary manual operation steps can be reduced.

【技术实现步骤摘要】
一种基于精细化网络模型的多标签服装解析方法
本专利技术涉及深度学习、服装解析
，尤其涉及一种基于精细化网络模型的多标签服装解析方法。
技术介绍
时尚和服装对我们现代人类社会的影响是十分巨大的。穿什么样的衣服好看，怎么搭配更具有时尚感更加有个性，挎怎样的包包、佩戴怎样的装饰品已成为人们日常探讨的话题。因此在最近这几年，服装解析这一研究方向在计算机视觉领域也逐渐兴起。因为对服装分析的研究不仅在社会学人类学领域具有重要的价值，在信息科学领域中，例如人体识别、视觉跟踪、人体姿势估计等等方向都有巨大的潜在实用性，因为服装的穿着搭配是有很强关联性。例如说帽子是戴在头上的是几乎不可能在脚上，衬衫只会穿在上半身不可能出现在下半身，裤子只会穿在腿上不可能穿在其他地方……因此，知道一个人的穿着情况，通过这些服装解析的判断，可以提高人体姿势估计，人体识别等问题的精确度。除此之外，随着电子商务的迅猛崛起，虚拟现实技术的快速普及，创建一个基于计算机视觉，根据用户上传某张图片或影像而自动对图片视频中的服装进行匹配检索的应用将会获得相当大程度的运用并由此获得巨大的收益。所以服装解析技术的研究具有相当大的潜在价值与探索意义。但是，服装解析的研究也具有相当大的挑战性。不仅仅是由于服装种类的多样性，而且服装的搭配、个人风格的喜好等都因人而异，再加上人体姿态的不同，服装信息在图像上的重叠，服装图片背景的多样性等等不可抗力的因素影响，导致对于图片中服装的识别分割具有相当高的难度。随着这几年许多学者的研究，利用深度学习、条件随机场甚至人体姿势估计等技术，对于服装分割技术的研究已经有了很大进步与突破。但由于服装解析这一领域具有相当高难度性，其研究的准确度相对与其他语义分割研究来说并不算太高，特别是对于服装细节的分辨，例如首饰的识别等等；还有相似服装的区分，例如裙子和短裙的区分等，预测准确度还相对较低，甚至由于服装分析的研究要精确到图片中的每一个像素，如果图片背景比较特殊复杂，还会导致服装和背景图像的分辨错误。况且图片中人体姿势各异，如果人体中缺少某一部分的信息，例如图片中只展示人体的部分区域或者人体的站姿坐姿有些许变化，就会对精确度造成比较严重的影响。因此，对于服装解析的研究还有相当多的问题尚未解决，但也由此表明此研究领域还有相当大的研究空间和发展空间。目前有人在Fashionista中运用全身的人体姿势估计进行整体的服装分析，具体是利用现有图割技术把图片分成一片篇超像素块；对人体进行全身的姿势估计；进行服装的解析工作；利用解析的数据再一次校正人体的姿势估计数据。也有人在Paperdoll方法中对自己所提出的Fashionista方法做出了更进一步的改进。其把研究框架分成两个部分，一个部分是图片检索，一部分是服装解析。首先对输入的图片进行特征提取，然后在PaperDoll数据库中搜寻与其相似的图片若干张，再利用这些图片构建三种解析方法，分别是全局解析(把原始图片输入Fashionista数据库所获得的分类器，得到的解析结果)、最邻近解析(通过检索得到的N张图片所训练出来的分类器所得到的解析结果，每进入一张图片都要重新解析)和转移解析(通过统计检索图片当中相似超像素块的标签信息来得到目标图片中超像素块的标签)，得出三张服装解析图，再把这三张解析图进行融合+平滑操作，输出最终的结果。还有人则利用了深度学习的模型，首先利用全卷积神经网络进行服装信息的提取，然后利用全连接条件随机场对服装分割结果做出进一步的优化工作。该模型利用了VGG-16网络结构来提取特征。在VGG-16的最后层中，其独特设计了一个全局服装解析(Outfitencoder)分支，对每个像素点的服装标注进行一个分类操作，目的是利用在神经网络的中后层当中感受野可以覆盖足够大得区域，预测分辨出不同但是相似的物件，例如说毛衣和夹克、连衣裙和短裙等等，也防止一些不该同时出现的服装组合同时出现，例如连衣裙和短裙等等。对于前述两种方法，首先两种方法的计算量很大，对于一张图片，这两种方法都要识别半分钟以上的时间才能出结果；而且这两种方法只能识别具有完整正面人体的照片，如果人体人体姿势不完整的或者多人的图片程序会报错。并且该两个方法没有运用深度学习技术，特征的提取、特征之间的联系等工作很多都是人为手动去发掘定义添加的，机器并没有太大的能力自己去挖掘他们内在之间的特征联系，这样相当程度限制了语义分析精确度的进一步提高。第三种方法虽然利用深度学习的网络架构进行特征的提取，但网络架构不新颖，且说服力不强。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于精细化网络模型的多标签服装解析方法，主要是解决两个问题，第一是在卷积神经网络中精细化语义丢失严重的问题，第二个问题是解决在服装解析中由于数据集标签不平衡所引发的的问题；能够在进行服装信息解析时最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。为了解决上述问题，本专利技术提出了一种基于精细化网络模型的多标签服装解析方法，所述方法包括：获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。优选地，所述进行初始化处理的具体步骤包括：获取人体服装数据集，进行分类处理，获得训练集、验证集、测试集；对训练集、验证集、测试集进行标签处理，获得有标注信息的训练集、验证集、测试集；获取有标注信息的训练集、验证集、测试集，进行等比例缩放处理，获得比例统一、有标签的初始化数据集。若图片不高于640*640像素分辨率的要求，则不对所述图片进行改动。优选地，所述的建立精细化网络模型在调节时还融入了多尺度特征自监督模型对不同尺度的特征预测。优选地，所述的精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型具体步骤包括：建立精细化网络模型，对所述网络模型中自下而上部分的末端加入金字塔型的残差池化结构，利用跳跃连接结构把bottom-up部分和top-down部分以相加的操作连接起来，并在跳跃连接中也加入了经过改进的空洞卷积结构，提取出厚尺度的特征；对所述网络模型中自顶向下部分通过双线性插值方法进行上采样处理；获得预测得分图；利用聚焦损失函数和经过下采样处理的真值图对预测得分图进行监督调节处理，获得不同尺度的特征图；获取不同尺度的特征图，通过多层次的级联结构与从底层结构得到的特征图进行调节、结合，获得最底层的预测得分图作为最终的预测结果；利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型通过随机梯度下降算法进行结构的训练，获得训练好的精细化网络模型。优选地，所述获取训练好的精细化网络模型，进行测试与评估处理的步骤包括：利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型进行测试，获得不同尺度的预测得分图；利用准确度、前景准确度、平均精度、平均召回率、平均F-1分数5个评价尺度对不同尺度的预测得分图进行评估处理，最终获得对比结果。在本专利技术实施例中，能够在进行解析服装标签时抑制标签对损失函数值产生的贡献数量，尽最大程度保留精细本文档来自技高网...

【技术保护点】
1.一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述方法包括：获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。

【技术特征摘要】
1.一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述方法包括：获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。2.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述进行初始化处理的具体步骤包括：获取人体服装数据集，进行分类处理，获得训练集、验证集、测试集；对训练集、验证集、测试集进行标签处理，获得有标注信息的训练集、验证集、测试集；获取有标注信息的训练集、验证集、测试集，进行等比例缩放处理，获得比例统一、有标签的初始化数据集。若图片不高于640*640像素分辨率的要求，则不对所述图片进行改动。3.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述的建立精细化网络模型在调节时还融入了多尺度特征自监督模型对不同尺度的特征预测。4.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型具...

【专利技术属性】
技术研发人员：罗祥辉，苏卓，陈强，林格，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44