基于时尚图迁移的特定行人衣物解析方法及系统技术方案

本发明专利技术公开了一种基于时尚图迁移的特定行人衣物解析方法及系统，包括：首先，通过训练时尚数据集初始化该模型；然后，将该模型用于解析含有行人的监控图像，并引入条带约束优化解析结果；最后，采用监控数据集中的弱标签通过基于示例的迁移学习方法处理模型迁移问题。本发明专利技术提出的方法可以获得时尚图集中的衣服信息，并结合弱监督通过迁移学习将其应用于监控领域，既可以保留衣服解析在时尚领域获取的信息，同时也可以改善监控衣物解析效果，并极大地减轻数据的标注工作量。在对实际监控数据集的定量和定性测试中，都佐证了本发明专利技术所提方法的有效性。

A specific pedestrian clothing analysis method and system based on fashion map migration

The invention discloses a specific analytical method and system for pedestrian clothing, fashion map based on migration include: first, through the training data set are to initialize the model; then, the model is used to monitor the image analysis with pedestrians, and the introduction of the analytical results of constrained optimization; finally, through the example of the transfer learning method based on the weak migration model tag monitoring data set. The method of the invention can obtain the fashion clothes on information, combined with the weak supervision through the transfer of learning will be applied to the monitoring field, can remain in the field of fashion clothes to obtain analytical information, but also can improve the monitoring and analysis of effects of clothing, and greatly reduce the workload of data annotation. The validity of the proposed method is proved in the quantitative and qualitative test of the actual monitoring data set.

【技术实现步骤摘要】
基于时尚图迁移的特定行人衣物解析方法及系统
本专利技术涉及监控图像分割
，涉及一种行人衣物解析方法，尤其涉及一种基于时尚图迁移的特定行人衣物解析方法及系统。
技术介绍
衣物解析是一种针对具体衣物及人体部件的图像分割任务。虽然衣物解析是计算机视觉中近些年才兴起的研究热点，但其已广泛应用于人物识别、姿态估计、时尚图解析等领域。特别是与时尚图相关的衣物解析取得了较为成功的研究成果与应用，如：服装检索、电子商务等。与此同时，尽管针对监控视频中行人的衣物解析可以得到行人身份、位置、遮挡等智能安防系统中的关键信息，可为打击犯罪、维护社会安全方面提供有效手段，但与时尚图相比，目前对监控中的衣物解析的成果仍十分有限。目前实际监控场景中的衣物解析，主要面临两方面的挑战：(1)复杂的环境干扰，如光照变化、视角变化、低分辨率、运动模糊等；(2)分割标注工作任务量繁重，尤其流行的深度模型对训练数据量提出了更高的要求。虽然在高清时尚图像集中利用低级特征加人物姿态的方法取得了一定的效果[1]～[2]，并在后来结合深度学习取得了更好的成果[3]，但受限于监控场景的条件制约，监控视频中的衣物解析的相关进展较为缓慢。若能将高清图集中获取的信息迁移到监控图集中无疑是一种理想的解决上述两者挑战的途径。然而现有迁移方法仅仅关注属性级别的迁移[4]～[5]。针对以上问题，本专利技术提出了一种基于时尚图迁移的特定行人衣物解析方法，该方法可以利用时尚领域的衣物信息，通过迁移学习将其应用于监控领域，保留了时尚图集的优势，改善了监控衣物解析效果，并极大地减轻数据标注量。对已有类似的解析工作展开分析，迄今为止已有公开专利13项，但没有与本项专利技术确切相关的“衣物解析”任务，下面列出其中与本专利技术最为相关的6项公开专利的分析。中国专利文献号CN102521565B，公开(公告)日2014.02.26，公开了一种低分辨率视频的服装识别方法，其首先利用背景建模技术获得人体分割区域，再利用人体生物特征对人体进行分块，通过颜色纹理特征与预设的库特征对比，得到服装的类别。该专利技术主要考虑服装的类别区分，仅给出服装的大致位置，没有考虑服装的上下边缘的像素级分割信息，因而还有优化空间。中国专利文献号CN105760999A，公开(公告)日2016.07.13，公开了一种衣服推荐管理方法及系统，在衣服提取阶段，其采用了人脸定位人体位置，再结合衣服的边缘信息确定衣服区域的方法，然后通过衣物识别为该区域添加衣物标签，然而该方法仅得到衣服的矩形区域，而非像素级别的分割区域。中国专利文献号CN103578004A，公开(公告)日2014.02.12，公开了一种用于展示虚拟试衣效果的方法，在提取人体分割区域时，首先获取图像四个顶点的像素点的颜色平均值作为背景色，然后计算图像每个像素与背景色的RGB加权色差，再得到二值化图像获得人体分割区域。然而该专利技术主要针对人体进行分割，缺少了对衣物信息的挖掘。中国专利文献号CN104794722A，公开(公告)日2015.07.22，公开了利用单个Kinect计算着装人体三维净体模型的方法，该专利技术在提取人体分割区域时通过Kinect摄像头，捕捉着装人体RGB-D图像及骨架信息，提取人体深度图像后去噪，利用深度信息，然后将人体分为多个刚性部位，该方法与本专利技术的区别在于利用了额外的深度信息，并且无法得到衣物的类别信息。中国专利文献号CN104504745A，公开(公告)日2015.04.08，公开了一种基于图像分割和抠图的证件照生成方法，在人像分割阶段，其计算图像梯度，根据图像梯度对图像进行采样，得到一组前景、背景候选点集合。但其分割对象为含有衣服的上半身人像，与本专利技术所提的衣物解析不同。中国专利文献号CN103345744A，公开(公告)日2013.10.09，公开了一种基于多图像的人体目标部件自动解析方法，给定多个人体目标图像的基础上，利用目标间存在的共现性，自动地实现图像中人体目标部件解析。所述方法迭代地执行人体目标分类模块和人体目标解析模块，直到达到终止条件。然而该方法主要针对人体部件的解析，并没有进一步发掘出具体的衣物信息。相关参考文献：[1]KotaYamaguchi,MHadiKiapour,LuisEOrtiz,andTamaraLBerg,“Parsingclothinginfashionphotographs,”inComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012,pp.3570–3577.[2]KotaYamaguchi,M.HadiKiapour,andTamaraLBerg,“Paperdollparsing:Retrievingsimilarstylestoparseclothingitems,”inIEEEInternationalConferenceonComputerVision,2013,pp.3519–3526.[3]PongsateTangseng,ZhipengWu,andKotaYamaguchi,“Lookingatoutfittoparseclothing,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2017[4]QiangChen,JunshiHuang,RogerioFeris,LisaMBrown,JianDong,andShuichengYan,“Deepdomainadaptationfordescribingpeoplebasedonfine-grainedclothingattributes,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.5315–5324[5]ZhiyuanShi,TimothyMHospedales,andTaoXiang,“Transferringasemanticrepresentationforpersonre-identificationandsearch,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.4184–4193.
技术实现思路
针对现有技术在监控环境下行人衣物解析的空缺，本专利技术提供了一种基于时尚图迁移的特定行人衣物解析方法。本专利技术基于时尚图迁移的特定行人衣物解析方法，包括：S1采用全卷积网络对时尚数据集进行训练，得到初始化的衣物解析模型；所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置；S2监控图像中使用条带的强约束修正初始化的衣物解析模型，具体为：根据人体各部位比例的统计数据，采用条带将监控图像中行人划分为若干横向区域，各横向区域对应人体一部位，即一衣物标签对应一条带；采用衣物解析模型解析监控图像，获得各衣物标签对应像素的位置的解析结果，将该解析结果乘以衣物标签对应的fn(y)，以修正衣物解析模型；所述其中本文档来自技高网...

【技术保护点】
基于时尚图迁移的特定行人衣物解析方法，其特征是，包括：S100对时尚数据集进行训练，得到初始化的衣物解析模型；所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置；S200利用衣物解析模型解析监控数据集中的监控图像，并引入条带以约束监控场景中的衣物标签，以修正衣物解析模型；S300利用监控数据集中的弱标签通过示例迁移学习更新衣物解析模型。

【技术特征摘要】
1.基于时尚图迁移的特定行人衣物解析方法，其特征是，包括：S100对时尚数据集进行训练，得到初始化的衣物解析模型；所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置；S200利用衣物解析模型解析监控数据集中的监控图像，并引入条带以约束监控场景中的衣物标签，以修正衣物解析模型；S300利用监控数据集中的弱标签通过示例迁移学习更新衣物解析模型。2.如权利要求1所述的基于时尚图迁移的特定行人衣物解析方法，其特征是：所述对时尚数据集进行训练是，采用全卷积网络设计一具有45个类的端对端深度学习网络，以对时尚数据集进行训练。3.如权利要求1所述的基于时尚图迁移的特定行人衣物解析方法，其特征是：所述引入条带以约束监控场景中的衣物标签，以修正衣物解析模型，具体为：根据人体各部位比例的统计数据，采用条带将监控图像中行人划分为若干横向区域，各横向区域对应人体一部位，即一衣物标签对应一条带；采用衣物解析模型解析监控图像，获得各衣物标签对应像素的位置的解析结果，将该解析结果乘以衣物标签对应的fn(y)，以修正衣物解析模型；所述其中，y表示衣物标签对应像素预测的纵坐标；n表示衣物标签的序号；fn(y)表示序号为n的衣物标签在纵坐标为y时衣物解析模型预测正确的可能性；Tn、Bn分别表示第n个衣物标签对应条带的上边缘和下边缘的纵坐标；Hn表示条带高度；αn、βn表示两个约束参数，为经验值。4.如权利要求1所述的基于时尚图迁移的特定行人衣物解析方法，其特征是：所述利用监控数据集中的弱标签通过示例迁移学习更新衣物解析模型，具体为：S310以时尚数据集初始化训练数据集；S320对监控数据集中各监控图像分别进行解析处理，并更新训练数据集；具体为：S321采用步骤S2方法修正后的衣物解析模型对监控图像进行解析，获得解析结果；S322计算监控图像的置信度C＝ch·cl；采用经典CNN模型全局评估监控图像的分割图，获得置信度ch；所述cl表示对监控图像中衣物标签计算其对应的置信度，所述其中，f(·)是双曲正切函数；wp和wa分别表示位置项和面积项的权重；Dp表示监控图像中衣物标签中心位置和该衣物标签对应部位的平均中心位置的欧氏距离，所述平均中心位置为从监控数据集获得的统计值；g(|aL-a0|)表示aL向量和a0向量的差的平均值，aL的计算具体为：计算各衣物标签所占面和总解析面积的比构成向量；a0表示衣物标签对应部位的平均面积比，具体为当前衣物标签对应部位所占面积和总解析面积的比的平均值构成向量，该平均面积比为从监控数据集获得的统计值；S323比较置信度和置信度阈值的大小，若置信度大于置信度阈值，将该监控图像以及对应的解析结果放入训练数据集；否则，不放入训练数据集；S234对监控数据集中各监控图像分别重复步骤S321～S323，得到更新后的训练数据集；S330采用全卷积网络对更新后的训练数据集进行训练，得到更新后的衣物解析模型，采用步骤S2方法修正更新后的衣物解析模型；S340重复步骤S32...

【专利技术属性】
技术研发人员：胡瑞敏，郑淇，黄鹏，陈军，梁超，阮威健，熊明福，里想，黄文军，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42