服饰检测方法、装置、电子设备、程序和介质制造方法及图纸

本发明专利技术实施例公开了一种服饰检测方法、装置、电子设备、程序和介质，其中，方法包括：提取待检测图像中的人体预测关键点；提取待检测图像中的服饰特征；根据服饰特征和人体预测关键点进行服饰检测，获得服饰检测结果。本发明专利技术实施例可以通过从待检测图像中提取人体预测关键点和服饰特征，结合人体预测关键点和服饰特征来获得服饰检测结果，由于人体关键点可以为服饰检测提供更好的上下文信息，因此使用人体关键点来辅助服饰的检测，可以提高检测服饰的准确度。

【技术实现步骤摘要】
服饰检测方法、装置、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种服饰检测方法、装置、电子设备、程序和介质。
技术介绍
智能手机和移动互联网的发展产生了海量的图片数据，基于图片数据的计算机视觉相关技术也取得到了飞速的发展。在计算机视觉中，图片中物体的检测是一项重要的任务，它是物体识别的基础。目前大数据驱动的深度学习方法是人工智能领域的一大热点，它也普遍应用到计算机视觉中物体的检测。利用物体识别进行图片中人体服饰的检测可以为用户进行个性化推荐，提高用户体验。目前，在进行包含服饰的图片的图像识别之前，会预先收集相关的服饰特征，根据预先收集的服饰特征对整体图片进行相似度比对识别。由于针对已收集到的服饰特征对整体图片中的所有特征进行对比识别，导致识别特征的准确度较低。
技术实现思路
本专利技术实施例提供一种用于服饰检测的技术方案。根据本专利技术实施例的一个方面，提供的一种服饰检测方法，包括：提取待检测图像中的人体预测关键点；提取所述待检测图像中的服饰特征；根据所述服饰特征和所述人体预测关键点进行服饰检测，获得服饰检测结果。在本专利技术的一种实施方式中，所述提取待检测图像中的人体预测关键点，包括:基于人体关键点网络,获取所述待检测图像中的人体预测关键点；和/或,所述提取所述待检测图像中的服饰特征，包括:基于服饰检测网络,获取所述待检测图像中的服饰特征。在本专利技术的另一种实施方式中，所述人体关键点网络和所述服饰检测网络共享第1至N个卷积层，所述第1至N个卷积层为共享网络层，所述N为大于或等于2的整数。在本专利技术的又一种实施方式中，所述人体关键点网络包括：所述共享网络层和关键点检测分支层；所述共享网络层输出的特征为共享层特征，以所述共享层特征作为人体关键点特征；所述关键点检测分支层包括M个卷积层，所述M为大于或等于1的整数；所述关键点检测分支层用于根据所述共享网络层输出的人体关键点特征回归人体关键点的位置，得到所述人体预测关键点。在本专利技术的再一种实施方式中，所述服饰检测网络包括：所述共享网络层和服饰检测分支层；所述共享网络层输出的特征为共享层特征，以所述共享层特征作为所述服饰特征；所述服饰检测分支层包括：池化层和全连接层；所述服饰检测分支层用于基于所述人体预测关键点以及所述服饰特征检测所述待检测图像中服饰的位置信息。在本专利技术的再一种实施方式中，所述根据所述服饰特征和所述人体预测关键点进行服饰检测，包括：基于所述人体预测关键点生成至少一个备选框，所述备选框用于框定所述待检测图像中的各个人体预测关键点的区域；根据所述服饰特征和所述至少一个备选框进行服饰检测，输出所述服饰检测结果；所述服饰检测结果包括：服饰位置信息和/或服饰分类信息。在本专利技术的再一种实施方式中，所述根据所述服饰特征和所述至少一个备选框进行服饰检测，包括：基于所述服饰检测网络，根据所述服饰特征和所述至少一个备选框获取所述待检测图像中的服饰位置信息；基于服饰分类网络，根据所述服饰特征、服饰位置信息和所述至少一个备选框获取所述待检测图像中的服饰分类信息。在本专利技术的再一种实施方式中，所述人体关键点网络、所述服饰检测网络和所述服饰分类网络共享第1至N个卷积层，所述第1至N个卷积层为共享网络层，所述N为大于或等于2的整数。在本专利技术的再一种实施方式中，所述服饰分类网络包括：所述共享网络层和服饰分类分支层；所述共享网络层输出的特征为共享层特征，以所述共享层特征作为所述服饰类别特征；所述服饰分类分支层包括：对齐层、V个卷积层，所述V为大于或等于1的整数；所述服饰分类分支层用于基于所述服饰检测结果以及所述服饰类别特征检测所述待检测图像中的服饰的分类信息。在本专利技术的再一种实施方式中，所述人体预测关键点包括以下至少一个：左肩点、左臂点、左手点、右肩点、右臂点、右手点、左腰点、右腰点、左膝点、左脚点、右膝点、右脚点。在本专利技术的再一种实施方式中，所述至少一个备选框包括以下至少一个：左右两肩点和腰部两点的最小长方形；左右两肩点和左右膝盖点的最小长方形；腰部两点和左右膝盖点的最小长方形；腰部两点和左右脚点的最小长方形；左右两肩点和左右脚点的最小长方形。在本专利技术的再一种实施方式中，还包括：利用第一样本图像对实现所述服饰检测方法的服饰检测网络和人体预测关键点进行训练；所述第一样本图像标注有人体关键点特征和服饰特征。在本专利技术的再一种实施方式中，所述利用第一样本图像对实现所述服饰检测方法的服饰检测网络和人体预测关键点进行训练，包括：利用所述人体关键点网络，提取所述第一样本图像中的人体关键点特征；利用所述人体关键点网络，基于所述人体关键点特征进行人体关键点检测，获得所述第一样本图像的人体预测关键点；利用所述服饰检测网络，提取所述第一样本图像中的服饰特征；利用所述服饰检测网络，根据提取的所述第一样本图像中的服饰特征和人体预测关键点进行服饰检测，获得预测服饰检测结果；基于所述第一样本图像中的人体预测关键点与标注的人体关键点特征之间的第一差异，和/或所述预测服饰检测结果与标注的服饰特征之间的第二差异，对所述人体关键点网络和所述服饰检测网络进行训练，直至满足预设条件。在本专利技术的再一种实施方式中，所述满足预设条件包括以下至少一项：对所述人体关键点网络和所述服饰检测网络训练次数达到预设次数；所述第一差异小于第一预设阈值；所述第二差异小于第二预设阈值。在本专利技术的再一种实施方式中，还包括：利用第二样本图像对实现如所述权利要求7所述服饰检测方法的服饰分类网络和所述服饰位置信息进行训练；所述第二样本图像标注有人体关键点特征、服饰特征和服饰分类特征。在本专利技术的再一种实施方式中，所述利用第二样本图像对实现如所述权利要求7所述服饰检测方法的服饰分类网络和所述服饰位置信息进行训练，包括：利用所述人体关键点网络，提取所述第二样本图像中的人体关键点特征；利用所述人体关键点网络，基于所述人体关键点特征进行人体关键点检测，获得所述第二样本图像的人体预测关键点；利用所述服饰检测网络，提取所述第二样本图像中的服饰特征；利用所述服饰检测网络，根据提取的所述第二样本图像中的服饰特征和人体预测关键点进行服饰检测，获得预测服饰检测结果；利用所述服饰分类网络，根据所述提取的第二样本图像中的服饰分类特征和所述预测服饰检测结果，进行服饰分类，获得预测服饰分类结果；基于所述第二样本图像中的人体预测关键点与标注的人体关键点特征之间的第一差异，和/或所述预测服饰检测结果与标注的服饰特征之间的第二差异，和/或所述预测服饰分类结果与标注的服饰分类特征之间的第三差异，对所述人体关键点网络、所述服饰检测网络和所述服饰分类网络进行训练，直至满足预设条件。在本专利技术的再一种实施方式中，所述满足预设条件包括以下至少一项：对所述人体关键点网络、所述服饰检测网络和所述服饰分类网络训练次数达到预设次数；所述第一差异小于第一预设阈值；所述第二差异小于第二预设阈值；所述第三差异小于第三预设阈值。根据本专利技术实施例的另一个方面，提供的一种服饰检测装置，包括：预测关键点提取模块，用于提取待检测图像中的人体预测关键点；服饰特征提取模块，用于提取所述待检测图像中的服饰特征；服饰检测模块，用于根据所述服饰特征和所述人体预测关键点进行服饰检测，获得服饰检测结果。在本专利技术的一种实施方式中，本文档来自技高网...

【技术保护点】
1.一种服饰检测方法，其特征在于，包括：提取待检测图像中的人体预测关键点；提取所述待检测图像中的服饰特征；根据所述服饰特征和所述人体预测关键点进行服饰检测，获得服饰检测结果。

【技术特征摘要】
1.一种服饰检测方法，其特征在于，包括：提取待检测图像中的人体预测关键点；提取所述待检测图像中的服饰特征；根据所述服饰特征和所述人体预测关键点进行服饰检测，获得服饰检测结果。2.根据权利要求1所述的方法，其特征在于，所述提取待检测图像中的人体预测关键点，包括:基于人体关键点网络,获取所述待检测图像中的人体预测关键点；和/或,所述提取所述待检测图像中的服饰特征，包括:基于服饰检测网络,获取所述待检测图像中的服饰特征。3.根据权利要求2所述的方法，其特征在于，所述人体关键点网络和所述服饰检测网络共享第1至N个卷积层，所述第1至N个卷积层为共享网络层，所述N为大于或等于2的整数。4.根据权利要求3所述的方法，其特征在于，所述人体关键点网络包括：所述共享网络层和关键点检测分支层；所述共享网络层输出的特征为共享层特征，以所述共享层特征作为人体关键点特征；所述关键点检测分支层包括M个卷积层，所述M为大于或等于1的整数；所述关键点检测分支层用于根据所述共享网络层输出的人体关键点特征回归人体关键点的位置，得到所述人体预测关键点。5.根据权利要求2所述的方法，其特征在于，所述服饰检测网络包括：所述共享网络层和...

【专利技术属性】
技术研发人员：陈益民，陈海峰，张伟，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44