模型训练方法、服饰识别处理方法及相关装置、终端制造方法及图纸

本申请涉及模型训练方法、服饰识别处理方法及相关装置、终端，属于服饰识别技术领域。本申请基于拍摄角度不同和/或露出比例不同的样本图像，得到服饰区域图像，利用各服饰区域图像的特征对服饰区域图像进行聚类，通过服饰区域图像对应的人物姿态信息，从各聚类簇中选取出代表图像，利用代表图像的特征相似度和样本图像的服饰标注信息，训练聚类簇合并，让合并得到的各服饰图像集的集内图像对应同一服饰、以及不同服饰图像集对应的服饰不同，以此完成模型训练，由此，可实现将拍摄角度不同和/或露出比例不同的服饰区域图像对应到同一服饰下，实现窥一斑而知全豹，使同一款服饰有一个稳定的识别结果，提升服饰识别的召回率。提升服饰识别的召回率。提升服饰识别的召回率。

【技术实现步骤摘要】
模型训练方法、服饰识别处理方法及相关装置、终端


[0001]本申请属于服饰识别
，具体涉及模型训练方法、服饰识别处理方法及相关装置、终端、介质。

技术介绍

[0002]影视剧拍摄过程中会为了提高整体拍摄的美感，对于演员的造型和服饰进行设计，尤其是对于现代都市剧，会提供大量时尚好看的服饰搭配，提高整体影视剧的拍摄效果，给观众带来更好的观看体验。同时，观众也会对其中的一些服饰搭配产生想了解具体服饰品牌信息的想法，但由于观众受限于对服饰品牌及商品外形认知的匮乏，很难进行人工的辨识。这个需求可以通过AI算法解决，现有具体做法为不断收集各个品牌的服饰图像，提取服饰特征集录入数据库，形成服饰特征集
‑
商品信息的key
‑
value结构。
[0003]但影视剧的使用场景有其特殊性，不同于各种拍照购场景下用户拍摄的是服饰的主体信息，影视剧是以表现剧本及演员活动为主体，视频镜头经常会从各种角度对演员进行拍摄，比如影视剧中经常会出现演员的特写，其所穿的服饰只露出到肩膀、或者是演员侧身、服饰被遮挡的场景，如果将这些情况下的服饰进行识别，往往会因为服饰外形的变化很大，在数据库中查询获得不同的服饰搜索结果。
[0004]对于用户而言，观众所认知的相同服饰在AI算法中识别到结果确是五花八门，这种效果会影响用户的体验。如若只选择个别正面的场景进行识别，则会导致视频中出现的服饰识别点位很少，同样也会影响用户体验。

技术实现思路

[0005]为此，本申请提供模型训练方法、服饰识别处理方法及相关装置、终端，有助于解决由于摄角度不同和/或露出比例不同，导致同一服饰识别容易出现不同服饰识别结果的问题。
[0006]为实现以上目的，本申请采用如下技术方案：
[0007]第一方面，本申请提供一种模型的训练方法，所述方法包括：
[0008]接收样本图像集，所述样本图像集包括拍摄角度不同和/或露出比例不同的样本图像；
[0009]获取所述样本图像集中样本图像的服饰区域图像；
[0010]提取所述服饰区域图像的特征，对所述服饰区域图像进行聚类处理，得到聚类结果；
[0011]获取所述服饰区域图像对应的人物姿态信息，利用所述人物姿态信息得到所述聚类结果下各聚类簇的代表图像；
[0012]基于所述代表图像的特征，得到不同所述聚类簇之间的相似度；
[0013]将相似度小于或者等于阈值相似度的所述聚类簇进行合并，利用样本图像的服饰标注信息，确定合并得到的各服饰图像集的集内图像是否对应同一服饰、以及不同所述服
饰图像集对应的服饰是否不同，若是，则完成模型的训练，若否，则调整所述阈值相似度，并重新执行将相似度小于或者等于所述阈值相似度的所述聚类簇进行合并的步骤及其后续步骤。
[0014]第二方面，本申请提供一种服饰识别处理方法，所述方法应用于服饰信息查询请求接收端，所述服饰信息查询请求接收端部署有通过上述训练方法训练得到的模型，所述方法包括：
[0015]当接收到服饰信息查询请求发送端发送的服饰信息查询请求时，将所述服饰信息查询请求携带的服饰图像输入到所述模型，以通过所述模型确定对应的服饰图像集，获取确定出的服饰图像集对应的参考图像，得到所述参考图像对应的服饰信息；
[0016]将所述参考图像对应的服饰信息作为服饰识别信息发送回所述服饰信息查询请求发送端，以在所述服饰信息查询请求发送端上显示所述服饰识别信息。
[0017]第三方面，本申请提供一种服饰识别处理方法，所述方法应用于服饰信息查询请求发送端，所述方法包括：
[0018]响应于交互指令，获取根据所述交互指令所得到的服饰图像；
[0019]基于所述服饰图像生成服饰信息查询请求；
[0020]将所述服饰信息查询请求发送至服饰信息查询请求接收端，其中，所述服饰信息查询请求接收端部署有通过上述训练方法训练得到的模型，以及所述服饰信息查询请求接收端用于实现上述的服饰识别处理方法；
[0021]接收并显示所述服饰信息查询请求接收端返回的服饰识别信息。
[0022]第四方面，本申请提供一种模型的训练装置，所述装置包括：
[0023]图像集接收模块，用于接收样本图像集，所述样本图像集包括拍摄角度不同和/或露出比例不同的样本图像；
[0024]服饰区域图像获取模块，用于获取所述样本图像集中样本图像的服饰区域图像；
[0025]聚类模块，用于提取所述服饰区域图像的特征，对所述服饰区域图像进行聚类处理，得到聚类结果；
[0026]代表图像得到模块，用于获取所述服饰区域图像对应的人物姿态信息，利用所述人物姿态信息得到所述聚类结果下各聚类簇的代表图像；
[0027]聚类簇相似度得到模块，用于基于所述代表图像的特征，得到不同所述聚类簇之间的相似度；
[0028]聚类簇合并调整模块，用于将相似度小于或者等于阈值相似度的所述聚类簇进行合并，利用样本图像的服饰标注信息，确定合并得到的各服饰图像集的集内图像是否对应同一服饰、以及不同所述服饰图像集对应的服饰是否不同，若是，则完成模型的训练，若否，则调整所述阈值相似度，并重新执行将相似度小于或者等于所述阈值相似度的所述聚类簇进行合并的步骤及其后续步骤。
[0029]第五方面，本申请提供一种服饰识别处理装置，所述装置应用于服饰信息查询请求接收端，所述服饰信息查询请求接收端部署有通过上述训练方法训练得到的模型，所述装置包括：
[0030]参考图像服饰信息得到模块，用于当接收到服饰信息查询请求发送端发送的服饰信息查询请求时，将所述服饰信息查询请求携带的服饰图像输入到所述模型，以通过所述
模型确定对应的服饰图像集，获取确定出的服饰图像集对应的参考图像，得到所述参考图像对应的服饰信息；
[0031]服饰识别信息发送模块，用于将所述参考图像对应的服饰信息作为服饰识别信息发送回所述服饰信息查询请求发送端，以在所述服饰信息查询请求发送端上显示所述服饰识别信息。
[0032]第六方面，本申请提供一种服饰识别处理装置，所述装置应用于服饰信息查询请求发送端，所述装置包括：
[0033]获取服饰图像模块，用于响应于交互指令，获取根据所述交互指令所得到的服饰图像；
[0034]生成请求模块，用于基于所述服饰图像生成服饰信息查询请求；
[0035]发送请求模块，用于将所述服饰信息查询请求发送至服饰信息查询请求接收端，其中，所述服饰信息查询请求接收端部署有通过上述训练方法训练得到的模型，以及所述服饰信息查询请求接收端用于实现上述应用于服饰信息查询请求接收端的服饰识别处理方法；
[0036]服饰识别信息接收显示模块，用于接收并显示所述服饰信息查询请求接收端返回的服饰识别信息。
[0037]第七方面，本申请提供一种服饰信息查询请求接收端，包括：
[0038]一个或者多个存储器，其上存储有可执行程序；
[0039]一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的训练方法，其特征在于，所述方法包括：接收样本图像集，所述样本图像集包括拍摄角度不同和/或露出比例不同的样本图像；获取所述样本图像集中样本图像的服饰区域图像；提取所述服饰区域图像的特征，对所述服饰区域图像进行聚类处理，得到聚类结果；获取所述服饰区域图像对应的人物姿态信息，利用所述人物姿态信息得到所述聚类结果下各聚类簇的代表图像；基于所述代表图像的特征，得到不同所述聚类簇之间的相似度；将相似度小于或者等于阈值相似度的所述聚类簇进行合并，利用样本图像的服饰标注信息，确定合并得到的各服饰图像集的集内图像是否对应同一服饰、以及不同所述服饰图像集对应的服饰是否不同，若是，则完成模型的训练，若否，则调整所述阈值相似度，并重新执行将相似度小于或者等于所述阈值相似度的所述聚类簇进行合并的步骤及其后续步骤。2.根据权利要求1所述的方法，其特征在于，所述获取所述服饰区域图像对应的人物姿态信息，利用所述人物姿态信息得到所述聚类结果下各聚类簇的代表图像，包括：获取所述服饰区域图像对应的人物区域图像；提取所述人物区域图像的人体关键点信息，所述人体关键点信息包括：人体关键点的位置信息和/或置信度信息，其中，所述位置信息用于得到人体正侧面情况，所述置信度信息用于得到人体半全身情况；利用所述人体关键点信息，对人体正侧面情况和/或半全身情况进行评分，得到评分结果；基于所述评分结果中的最值，得到所述聚类结果下各聚类簇的所述代表图像。3.根据权利要求2所述的方法，其特征在于，其中，所述评分结果中的最值包括：人体最正面评分、人体最侧面评分、人体最全身评分和人体最半身评分中的一种或者多种。4.根据权利要求2所述的方法，其特征在于，所述获取所述服饰区域图像对应的人物区域图像，包括：获取所述样本图像中的人物区域图像；针对所述样本图像下的所述服饰区域图像和所述人物区域图像，计算所述服饰区域图像与所述人物区域图像之间的重合度，并将重合度大于或者等于阈值重合度的所述服饰区域图像和所述人物区域图像进行关联；获取与所述服饰区域图像形成关联的所述人物区域图像。5.根据权利要求1所述的方法，其特征在于，所述对所述服饰区域图像进行聚类处理，得到聚类结果，包括：以所述服饰区域图像作为顶点，通过所述服饰区域图像的特征得到不同顶点之间的相似度，根据不同顶点之间的相似度确定各顶点的邻居顶点；通过各顶点及各顶点的邻居顶点建立关联图；对所述关联图进行第一图卷积处理，得到所述关联图中所有顶点的置信度，其中，所述关联图中，形成邻居关系的两顶点，两者置信度越大，属于同一类的概率越大；将所述关联图中置信度大于第一阈值置信度的顶点作为第一顶点，为各所述第一顶点分别构建子图，所述子图中包括作为中心顶点的所述第一顶点，以及与所述中心顶点成邻居关系的其他所述第一顶点；
对所述子图进行第二图卷积处理，得到所述子图中所有顶点的新的置信度；基于所述子图中所有顶点的新的置信度，将所述子图中置信度大于第二阈值置信度的所述第一顶点作为第二顶点；基于所述第二顶点间是否成邻居关系，对所述第二顶点进行聚类，得到第一聚类结果。6.根据权利要求5所述的方法，其特征在于，所述对所述服饰区域图像进行聚类处理，得到聚类结果，还包括：以所述第一聚类结果下的各聚类簇为基础，进行至少一次迭代合并过程，直至迭代合并停止；其中，任意一次迭代合并过程，包括：获取第一聚类簇的聚类中心图像，其中，所述第一聚类簇为任意一次迭代合并前的聚类簇；基于聚类中心图像的特征，计算任意两个聚类中心图像之间的距离，若所述距离小于或者等于预设阈值距离，则将所述任意两个聚类中心图像所对应的所述第一聚类簇合并。7.根据权利要求1所述的方法，其特征在于，所述样本图像集是通过提取视频的视频帧得到。8.一种服饰识别处理方法，其特征在于，所述方法应用于服饰信息查询请求接收端，所述服饰信息查询请求接收端部署有通过权利要求1
‑
7任一项所述训练方法训练得到的模型，所述方法包括：当接收到服饰信息查询请求发送端发送的服饰信息查询请求时，将所述服饰信息查询请求携带的服饰图像输入到所述模型，以通过所述模型确定对应的服饰图像集，获取确定出的服饰图像集对应的参考图像，得到所述参考图像对应的服饰信息；将所述参考图像对应的服饰信息作为服饰识别信息发送回所述服饰信息查询...

【专利技术属性】
技术研发人员：毕泊，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：