当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于语义一致性的人体衣物分割方法技术

技术编号:19746245 阅读:40 留言:0更新日期:2018-12-12 04:54
本发明专利技术公开了一种基于语义一致性的人体衣物分割方法,用于在给定单帧单人衣物图片的情况下,分析每一帧的衣物区域语义情况。具体包括如下步骤:获取用于训练人体衣物分割的图像数据集,并定义算法目标;对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对;对每一组图片对在流型空间中的相邻关系进行联合建模;建立衣物分割的预测模型;使用所述预测模型解析图片中衣物的语义信息。本发明专利技术适用于真实图像中的衣物分割分析,面对各类复杂情况具有较佳的效果和鲁棒性。

【技术实现步骤摘要】
一种基于语义一致性的人体衣物分割方法
本专利技术涉及计算机视觉领域,特别地涉及一种基于语义一致性的人体衣物分割方法。
技术介绍
衣物语义分割作为一种低层视觉技术,常作为一些高层视觉任务的辅助信息,如衣物检索、衣物属性分析等。衣物分割的目标是给定一张图像,预测图片中每个像素点的分类标签。衣物分割的关键因素主要包括衣物种类类内表观差异性巨大、衣物的非刚性以及衣物的极度可变形特点。传统方法一般将衣物分割任务看成一个语义分割问题,尽管一些方法在分类精度上取得了突破,但是其没有充分利用已有数据的信息。由于统计建模的有效性,目前基于学习的方法逐渐被应用到语义分割任务中。现有的基于学习方法主要是采用端到端的深度学习框架,输入一张原始三通道颜色图片,输出预测的语义分割图。深度学习能够有效地解决特征表示的问题,但是在面对衣物分割中缺乏足够的精确标注的数据集的问题时,数据量的不足限制了深度学习的效果,同时衣物的可变形特点使得普通的卷积无法提取到合理的特征。
技术实现思路
针对以上问题及实际中配电网建设的需要,本专利技术提供了一种基于语义一致性的人体衣物分割方法。本专利技术具体采用的技术方案如下:一种基于语义一致性的人体衣物分割方法包括以下步骤:S1、获取用于训练人体衣物分割的图像数据集,并定义算法目标;S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对;S3、对每一组图片对在流型空间(即语义空间)中的相邻关系进行联合建模;S4、建立衣物分割的预测模型;S5、使用所述预测模型解析图片中衣物的语义信息。作为优选,所述S1中的图像数据集包括单帧图像Itrain和人工标注的语义分割图Ptrain;所述的算法目标为预测单帧图像中的衣物语义分割图作为优选,所述S2包括以下子步骤:S21、对于每个单帧图像Itrain,从预训练好的人体姿态估计模型Openpose中提取人体姿态特征Cpose和图像表观特征Cappearance,通过串接Cpose和Cappearance,得到单帧图像Itrain对应的图片特征GI;S22、对图像数据集中的图片两两计算相似度,其中,任意两张图片Itrain和I′train的相似度α计算如下:其中Cempty为与GI图片大小一样且值全部为0的一张图像的图片特征;C′I为对于单帧图像I′train,根据与单帧图像Itrain相同的方法得到的图片特征;Euclidean()表示计算欧氏距离;S23、通过相似度计算和比较,对每个单帧图像Itrain,检索到与之最相似的图像I'train,得到图片对(Itrain,I'train)以及对应的相似度值α。作为优选,所述S3包括以下子步骤:S31、使用四层卷积操作和池化操作对图片对中的Itrain和I′train分别提取特征得到SI和S′I,即:SI=fsingle(Itrain;θ)S′I=fsingle(I′train;θ)其中fsingle()为四层卷积操作和池化操作构建的函数,θ为卷积参数;S32、对S31中得到的特征SI和S′I进行融合得到融合后特征Sinteraction:Sinteraction=(1-α)*SI+α*S′IS33、使用三层卷积操作对融合后特征Sinteraction进行图片语义信息的重构,得到大小为图像Itrain八分之一大小的语义分割图同时使用四层卷积和上采样操作对单个图像特征SI进行语义信息重构,得到与图像Itrain大小一致的语义分割图S34、对所有的图片对执行S31-S33的操作。作为优选,所述S4包括以下子步骤:S41、建立深度卷积神经网络,神经网络的输入为一对图片对(Itrain,I′train),输出为相对于图片Itrain的语义分割图像神经网络的结构表示为映射用公式表示为:其中θ1为预测模型预测语义分割结果时所用的卷积参数,f()为深度卷积神经网络的预测函数;S42、神经网络的损失函数为:其中P和Psmall分别表示对应的真实语义分割图像和对应的真实语义分割图;表示原始尺度的预测语义分割图和其真实语义图片的损失误差;表示小尺度的预测语义分割图和其真实语义图片的损失误差,所述小尺度为原始尺度的八分之一;λ为权重参数;S43、使用Adam优化方法和反向传播算法在损失函数L下训练整个神经网络,直到神经网络收敛。本方法基于深度神经网络,利用相似图片在流型空间中语义信息的相邻关系,采用可变形卷积对衣物的变形特征进行建模,能够更好地适应不同场景下的衣物语义分割。相比于传统的衣物语义分割方法,本专利技术具有如下收益:首先,本专利技术的衣物语义分割方法定义了衣物语义分割中三个重要的问题,即衣物的极度可变形特点、相似图片的语义一致关系的建模以及计算准确性。通过寻求这两个方向的解决方法,可以有效地解决在数据量不足下的衣物语义分割。其次,本专利技术的衣物语义分割方法基于深度卷积神经网络,建立了语义一致性模型,并同时具有计算准确性的优点。深度卷积神经网络能够更好地表达视觉特征,另外,视觉特征的提取和对应结构化模型的学习被统一在同一个框架里,提高了方法的最终效果。最后,本专利技术的衣物语义分割方法提出了通过利用卷积神经网络建模相似图片对的语义一致性关系,以此预测衣物语义分割,并针对衣物可变性的特点使用可变性卷积来提取衣物的特征信息。这种方法能够有效地挖掘内容相似的图片对的语义一致性关系,并在语义空间中保持对这种语义一致性结构进行约束。本方法在衣物检索和衣物属性分析中,能够有效提高检索和分析的准确度和效率,具有良好的应用价值。例如,在服装电商零售的应用场景里,本方法能够快速和准确地分析出模特身上的衣物区域与类别,从而能够快速完成模特身上的衣物种类,为同款检索的电商零售提供依据。附图说明图1为本专利技术的流程示意图;图2为本专利技术的实验效果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。相反,本专利技术涵盖任何由权利要求定义的在本专利技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本专利技术有更好的了解,在下文对本专利技术的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。参考图1,一种基于语义一致性的人体衣物分割方法包括以下步骤:S1、获取用于训练人体衣物分割的图像数据集,并定义算法目标;本步骤中所述的图像数据集包括单帧图像Itrain和人工标注的语义分割图Ptrain;所述的算法目标为预测单帧图像中的衣物语义分割图S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对;本步骤包含以下子步骤:S21、对于每个单帧图像Itrain,从预训练好的人体姿态估计模型Openpose中提取人体姿态特征Cpose和图像表观特征Cappearance,通过串接(即直接拼接)Cpose和Cappearance,得到单帧图像Itrain对应的图片特征GI;S22、对图像数据集中的图片两两计算相似度,得到任意两张图片见的相似度。其中,任意两张图片Itrain和I′train的相似度α计算如下:其中Cempty为与GI图片大小一样且值全部为0的一张图像的图片特征;C本文档来自技高网...

【技术保护点】
1.一种基于语义一致性的人体衣物分割方法,其特征在于包括以下步骤:S1、获取用于训练人体衣物分割的图像数据集,并定义算法目标;S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对;S3、对每一组图片对在流型空间中的相邻关系进行联合建模;S4、建立衣物分割的预测模型;S5、使用所述预测模型解析图片中衣物的语义信息。

【技术特征摘要】
1.一种基于语义一致性的人体衣物分割方法,其特征在于包括以下步骤:S1、获取用于训练人体衣物分割的图像数据集,并定义算法目标;S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对;S3、对每一组图片对在流型空间中的相邻关系进行联合建模;S4、建立衣物分割的预测模型;S5、使用所述预测模型解析图片中衣物的语义信息。2.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法,其特征在于所述S1中的图像数据集包括单帧图像Itrain和人工标注的语义分割图Ptrain;所述的算法目标为预测单帧图像中的衣物语义分割图3.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法,其特征在于所述S2包括以下子步骤:S21、对于每个单帧图像Itrain,从预训练好的人体姿态估计模型Openpose中提取人体姿态特征Cpose和图像表观特征Cappearance,通过串接Cpose和Cappearance,得到单帧图像Itrain对应的图片特征CI;S22、对图像数据集中的图片两两计算相似度,其中,任意两张图片Itrain和I′train的相似度α计算如下:其中Cempty为与CI图片大小一样且值全部为0的一张图像的图片特征;C′I为对于单帧图像I′train,根据与单帧图像Itrain相同的方法得到的图片特征;Euclidean()表示计算欧氏距离;S23、通过相似度计算和比较,对每个单帧图像Itrain,检索到与之最相似的图像I'train,得到图片对(Itrain,I′train)以及对应的相似度值α。4.根据权利要求1所述的所述的一种基于语义一致性的人体衣物分割方法,其特征在于所述S3包...

【专利技术属性】
技术研发人员:李玺吉炜
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1