一种基于明星识别的衣服时尚挖掘方法及视觉感知系统技术方案

本发明专利技术涉及一种基于明星识别的衣服时尚挖掘方法及视觉感知系统，所述方法包括：A、人体检测步骤；B、姿势选择步骤，对探测到的人体的姿势优劣进行筛选；C、人脸探测及明星身份验证步骤，对筛选好的人体区域进行人脸探测，利用关键点检测技术对探测到人脸进行对齐，并利用深度卷积网络抽取人脸特征，与基准明星人脸库进行人脸验证；D、衣服探测步骤，对通过明星验证的人体区域进行衣服探测；E、待检索衣服图像去冗余步骤，利用聚类算法去除冗余的待检索衣服图像；F、同款衣服图像检索及推荐步骤，利用图像检索算法在衣服数据库中搜索同款或类似的衣服并推荐给用户。本发明专利技术主要用于视频广告推荐，提高广告对用户的吸引力。

A fashion mining method and visual perception system based on Star recognition

【技术实现步骤摘要】
一种基于明星识别的衣服时尚挖掘方法及视觉感知系统
本专利技术属于视频内容分析及感知领域，尤其涉及一种互联网视频内容感知的明星衣服时尚挖掘方法及系统。
技术介绍
近年来，随着传统互联网和移动互联网的迅速普及，互联网经济得到了迅猛发展。其中，在线视频业务与流量的逐年增长，为视频广告业务带来了巨大的商机。据报道称：“自2014年来，全球在线视频广告市场持续高速增长，国内相关市场则保持着高达40％以上的增长率，而传统的电视媒体广告已经开始面临萎缩的历史转折，随着用户的迁移，运营商正把传统电视的预算，逐渐转移到在线视频业务上来。”根据调研，目前最常用的视频广告投放方法主要采用与传统电视广告相似的投放方式，主要包括在视频播放前、播放中与播放结束时段直接插入一段广告。然而，这些广告大多与视频内容无关。这种方式更多地考虑满足广告主的需求，并没有考虑视频用户的用户体验。所以，这种投放方式更像是将广告信息强制推送给视频用户。由于冗长的广告播放时长、广告内容与用户需求不匹配等原因，这一方面更加剧破坏了用户在观看视频时的体验，使得用户不得不引入诸如Adblock或AdblockPlus等广告屏蔽插件，进而对广告投放效果，以及相应推广的商品带来负面的影响。另一方面，这种强制推广的方式也与互联网视频服务业务用户至上的理念相左。因此，如何根据观影用户的实际体验和需求，进行有导向性的产品推荐，成为了广告推送业务亟待解决的课题。近年来，深度学习在图像、视频等视觉领域的迅猛发展，使得一系列基于深度学习的应用在市场上大量涌现。其中，深度卷积神经网络(CNNs)在物体识别、物体探测、人脸识别、图像检索等传统视觉任务上取得的巨大成功，使得深度学习模型转换成实际场景中的应用成为了可能。
技术实现思路
本专利技术依托现有的深度学习技术，特别是深度卷积神经网络等机器学习算法，将投放的广告与视频内容紧密地链接起来，降低对视频用户的侵扰，提高广告主的商品推广效率，并使视频广告更加精确、自然地推荐给观众。基于此思路，本专利技术提出了一种基于明星识别的衣服时尚挖掘方法及视觉感知系统。本专利技术通过以下技术方案实现：一种基于明星识别的衣服时尚挖掘方法，包括以下步骤：A、人体探测步骤，利用深度卷积神经网络对视频原始帧图像进行人体探测，并通过探测得到的位置信息切割出人体区域；B、姿势选择步骤，利用深度卷积神经网络训练的分类器对检测到的人体进行姿势好坏的判定，筛选出处于好的姿势的人体；C、人脸探测和明星身份验证步骤，利用人脸探测技术对筛选后的人体进行人脸的探测；利用人脸关键点检测技术对人脸进行对齐；利用深度卷积神经网络抽取到的特征与明星人脸数据库进行身份验证；D、衣服探测步骤，利用深度卷积神经网络训练的衣服探测器对验证之后的明星人体区域进行衣服探测，并根据探测得到的位置信息切割出明星衣服区域，构建检索候选集；E、待检索衣服图像去冗余步骤，通过抽取探测到衣服图像的深度卷积神经网络的特征，利用聚类算法对探测到的相似的衣服进行聚类，并通过选取聚类中心的样本作为最终的待检索图像，去除冗余图像，减少检索次数。F、相似或同款衣服图像检索及推荐步骤，利用检索图像的卷积神经网络特征在构建的衣服图像数据集中进行图像检索与相似图像的抽取，并将相似图像列表推荐给用户。进一步地，所述步骤A包括以下步骤：A1、通过人工标定的方式构建包含多种物体的探测数据集，其中多种物体包括人体，数据信息应包含物体的类别信息和所处图片中的位置信息；A2、设计深度卷积神经网络，利用已有的物体探测数据集进行模型训练，对图像中的各种物体进行探测；A3、根据探测结果，高置信度的人体区域将被系统判定为探测成功，并触发步骤B。进一步地，所述步骤B包括以下步骤：B1、利用人工和半人工方式进行好坏姿势的人体图像的挑选，标定正负样例，构建人体姿势选择数据集；B2、标定正负样例的标准：全身直立模特正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像将为负样例；B3、设计深度卷积神经网络构建二值分类器，利用标定的人体姿势选择数据集进行模型训练，并对探测到人体区域进行人体姿势好坏的判定；B4、根据模型判定结果，具有较好姿势的人体区域将被筛选出来，并触发步骤C。进一步地，所述步骤C包括以下步骤：C1、根据视频所提供的演职人员名单，构建观看视频的明星人脸子集作为验证过程的基准人脸库，并利用人脸关键点检测技术，构建仿射变换矩阵，进行人脸对齐，并利用训练好的深度卷积神经网络抽取人脸特征；C2、利用人脸探测技术探测具有较好姿势的人体区域，探测到的人脸将同样进行关键点检测和人脸对齐步骤；C3、同样，利用相同的深度卷积神经网络抽取探测到的人脸的特征，并和基准人脸库中的人脸特征进行比对，计算距离；当距离小于一定阈值时，即可验证为该视频中出现的明星；C4、根据验证结果，具有较好姿势的人体区域可以探测到人脸，且人脸属于该剧集明星的将触发步骤D。进一步地，所述步骤D包括以下步骤：D1、通过人工标定的方式构建包含多类衣服的探测数据集。数据信息应包含衣服的类别信息和所处图片中的位置信息；D2、设计深度卷积神经网络，利用已标定的衣服探测数据集进行模型训练，对步骤C中所得到的明星人体区域进行衣服探测；D3、根据探测结果，高置信度的衣服区域将被系统判定为探测成功，并触发步骤E。进一步地，所述步骤E包括以下步骤：E1、将步骤D中的衣服探测结果进行汇编；E2、利用聚类算法将相似的衣服图像聚在一个个簇中；E3、根据聚类结果，判定样本个数为1的簇为异常簇，这些簇最终将被舍弃；簇的样本个数大于1的，其聚类中心样本将被作为查询样例触发步骤F。进一步地，所述步骤F包括以下步骤：F1、通过人工和半人工标定的方式可以构建包含多类衣服的分类数据集。F2、设计深度卷积神经网络，利用已标定的衣服探测数据集训练深度卷积神经网络图像检索模型；F3、利用训练好的深度图像检索模型抽取候选数据集检索特征和待查询衣服图像特征；F4、通过计算距离，对检索到的结果进行排序，得到最终的检索图像列表，并展示检索结果推荐给用户。另一方面，本专利技术还提供了一种基于明星识别的衣服时尚挖掘视觉感知系统，包括：人体探测模块，用于得到视频帧图像中的人体区域以及坐标位置；人体姿势选择模块，用于判定所探测到的人体所处姿势的优劣并筛选出好的人体区域；明星验证模块，用于探测人体区域中的人脸，并对探测到的人脸进行明星身份的验证；衣服探测模块，用于得到明星人体区域所穿着的衣服子区域以及位置信息，并切割出来的衣服区域作为待检索候选集；衣服检索图像聚类与去冗余模块，用于把切割出来的衣服图像进行聚类，去掉相似的冗余衣服图像，减少系统查询次数；衣服图片检索与相似衣服推荐模块，用于利用深度卷积神经网络特征在衣服数据库中搜索与查询相似或同款的衣服列表，呈现结果，并推荐给用户。进一步地，所述人体探测模块包括：视频帧抽取子模块：用于抽取待检测人体的视频帧图像；训练子模块，用于利用已有数据集进行多类物体的深度卷积神经网络的模型训练；测试子模块，用于进行对视频原始帧图像进行物体探测，并给出探测结果；输出子模块，用于判定是否探测到人体，并触发人体姿势选择模块。进一步地，所述人体姿势选择模块包括：训练子模块，用于利用已构建的人体姿势选择数据集进行深度卷积神经本文档来自技高网...

【技术保护点】
一种基于明星识别的衣服时尚挖掘方法，其特征在于：所述方法包括以下步骤：A、人体探测步骤：利用深度卷积神经网络对视频原始帧图像进行人体探测，并通过探测得到的位置信息切割出人体区域；B、姿势选择步骤，利用深度卷积神经网络训练的分类器对检测到的人体进行姿势好坏的判定，筛选出处于好的姿势的人体；C、人脸探测和明星身份验证步骤：利用人脸探测技术对筛选后的人体进行人脸的探测；利用人脸关键点检测技术对人脸进行对齐；利用深度卷积神经网络抽取到的特征与明星人脸数据库进行身份验证；D、衣服探测步骤：利用深度卷积神经网络训练的衣服探测器对验证之后的明星人体区域进行衣服探测，并根据探测得到的位置信息切割出明星衣服区域，构建检索候选集；E、待检索衣服图像去冗余步骤：通过抽取探测到衣服图像的深度卷积神经网络的特征，利用聚类算法对探测到的相似的衣服进行聚类，并通过选取聚类中心的样本作为最终的待检索图像，去除冗余图像，减少检索次数；F、相似或同款衣服图像检索及推荐步骤：利用检索图像的卷积神经网络特征在构建的衣服图像数据集中进行图像检索与相似图像的抽取，并将相似图像列表推荐给用户。

【技术特征摘要】
2017.06.06 CN 20171043923881.一种基于明星识别的衣服时尚挖掘方法，其特征在于：所述方法包括以下步骤：A、人体探测步骤：利用深度卷积神经网络对视频原始帧图像进行人体探测，并通过探测得到的位置信息切割出人体区域；B、姿势选择步骤，利用深度卷积神经网络训练的分类器对检测到的人体进行姿势好坏的判定，筛选出处于好的姿势的人体；C、人脸探测和明星身份验证步骤：利用人脸探测技术对筛选后的人体进行人脸的探测；利用人脸关键点检测技术对人脸进行对齐；利用深度卷积神经网络抽取到的特征与明星人脸数据库进行身份验证；D、衣服探测步骤：利用深度卷积神经网络训练的衣服探测器对验证之后的明星人体区域进行衣服探测，并根据探测得到的位置信息切割出明星衣服区域，构建检索候选集；E、待检索衣服图像去冗余步骤：通过抽取探测到衣服图像的深度卷积神经网络的特征，利用聚类算法对探测到的相似的衣服进行聚类，并通过选取聚类中心的样本作为最终的待检索图像，去除冗余图像，减少检索次数；F、相似或同款衣服图像检索及推荐步骤：利用检索图像的卷积神经网络特征在构建的衣服图像数据集中进行图像检索与相似图像的抽取，并将相似图像列表推荐给用户。2.根据权利要求1所述的方法，其特征在于：所述步骤A包括以下步骤：A1、通过人工标定的方式构建包含多种物体的探测数据集，其中所述多种物体包括人体，数据信息应包含物体的类别信息和所处图片中的位置信息；A2、设计深度卷积神经网络，利用已有的物体探测数据集进行模型训练，对图像中的各种物体进行探测；A3、根据探测结果，高置信度的人体区域将被系统判定为探测成功，并触发步骤B。3.根据权利要求1所述的方法，其特征在于：所述步骤B包括以下步骤：B1、利用人工和半人工方式进行好坏姿势的人体图像的挑选，标定正负样例，构建人体姿势选择数据集；B2、标定正负样例的标准：全身直立、正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像将为负样例；B3、设计深度卷积神经网络构建二值分类器，利用标定的人体姿势选择数据集进行模型训练，并对探测到人体区域进行人体姿势好坏的判定；B4、根据模型判定结果，具有较好姿势的人体区域将被筛选出来，并触发步骤C。4.根据权利要求1所述的方法，其特征在于：所述步骤C包括以下步骤：C1、根据视频所提供的演职人员名单，构建观看视频的明星人脸子集作为验证过程的基准人脸库，并利用人脸关键点检测技术，构建仿射变换矩阵，进行人脸对齐，并利用训练好的深度卷积神经网络抽取人脸特征；C2、利用人脸探测技术探测具有较好姿势的人体区域，探测到的人脸将同样进行关键点检测和人脸对齐步骤；C3、同样，利用相同的深度卷积神经网络抽取探测到的人脸的特征，并和基准人脸库中的人脸特征进行比对，计算距离；当距离小于一定阈值时，即可验证为该视频中出现的明星；C4、根据验证结果，具有较好姿势的人体区域可以探测到人脸，且人脸属于该剧集明星的将触发步骤D。5.根据权利要求1所述的方法，其特征在于：所述步骤D包括以下步骤：D1、通过人工标定的方式构建包含多类衣服的探测数据集。数据信息应包含衣服的类别信息和所处图片中的位置信息；D2、设计深度卷积神经网络，利用已标定的衣服探测数据集进行模型训练，对步骤C中所得到的明星人体区域进行衣服探测；D3、根据探测结果，高置信度的衣服区域将被系统判定为探测成功，并触发步骤E。6.根据权利要求1所述的方法，其特征在于：所述步骤E包括以下步骤：E1、将步骤D中的衣服探测结果进行汇编；E2、利用聚类算法将相似的衣服图像聚在一个个簇中；E3、根据聚类结果，判定样本个数为1的簇为异常簇，这些簇最终将被舍弃；簇的样本个数大于1的，其聚类中心样本将被作为查询样例触发步骤F。7.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：张海军，姬玉柱，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44