一种视频中特定人物的服装件数计算方法技术

一种视频中特定人物的服装件数计算方法，包括：A、视频中特定人物的服装检测；B、对于数据集中的每一个图像样本，将其构建成包括当前样本、正样本、负样本的三元组样本，并从构建的三元组样本中进行筛选，设定有效的选取机制，提高训练速度；C、根据B中获得的三元组样本，分别计算三元组中当前样本和正负样本之间的距离，使用三元组损失函数计算模型预测和真实结果之间的误差，将模型误差回传到深度卷积神经网络中，对网络参数进行更新调整，迭代地训练模型直到收敛；D、根据C中获得的图像特征，构建距离矩阵，设计适用于类别多，类内数据量较少的图像聚类算法，对衣服图像进行聚类，最后簇的个数即为服装的件数。

【技术实现步骤摘要】
一种视频中特定人物的服装件数计算方法
本专利技术涉及视频内容分析及感知领域，尤其涉及一种视频中特定人物的服装件数计算方法。
技术介绍
近些年，随着互联网经济的快速发展，网络视频流量得到了突飞猛进的增长，视频用户群体也在飞速扩大。与此同时，在线视频广告收入也急剧增长，使得视频广告在网络视频市场中存在巨大的潜在商机，吸引了越来越多为媒体开发新的广告模式的研究。网络视频已然成为了互联网巨头激烈竞争的又一大领域，网络视频用户的争夺也已经成为各大互联网公司竞争的主战场。人们在观看视频的同时，视频主角的剧中同款商品逐渐成为新的时尚风潮，受到人们的广泛关注，其中最重要的同款商品就是服装。为了让投放的广告与视频内容紧密的融合起来，降低对视频播放的干扰，需要研究新的广告投放方式。明星是商品最好的推销者，如果视频中植入的广告能够与剧情、角色紧密结合，将会加深观众对广告的印象。例如，某位用户可能是某个明星的粉丝，当他在观看该明星主演的电视剧时，他有很大的可能会被该明星所穿的服装所吸引。此时，可以给该用户推送一个剧中人物的同款服装或者相似的服装，并且点击该服装可以直接链接到该电商平台。这样在尽量不影响用户观影体验的同时，增加了用户对广告的兴趣，还能根据视频内容来进行相关服装的个性化推荐。基于以上，如何快速并准确地探测出视频主角的潮流服装，成为了视频用户普遍关注的热点，将视频网站和电子商务两大互联网基础平台相结合，实现从流量到销售的精准转化。随着计算机视觉技术与图像处理相关技术的发展，在网络视频中探测出主角服装成为一项可供研究分析的课题。近年来，深度学习在图像、视频等视觉领域的迅猛发展，使得一系列基于深度学习的应用在市场上大量涌现。其中，深度卷积神经网络(CNNs)在物体识别、物体检测、人脸识别、图像检索等传统视觉任务上取得的巨大成功，使得深度学习模型转换成实际场景中的应用成为了可能。
技术实现思路
本专利技术依托现有的深度学习技术，特别是深度卷积神经网络等机器学习算法，目的在于提供一种视频中特定人物的服装件数计算方法，旨在解决现有技术中存在的不足。本专利技术通过以下技术方案实现：一种视频中特定人物的服装件数计算方法，所述方法包括以下步骤：步骤A、视频中特定人物的服装检测步骤：通过对视频原始帧图像进行人脸检测，与明星人脸数据库进行身份验证后，检测并切割出特定人物的人体区域；利用深度卷积神经网络训练的分类器对检测到的人体图像进行姿势的判定，筛选出符合标定姿势的人体；利用深度网络训练的衣服检测模型对筛选后的人体区域进行衣服检测，并根据检测得到的位置信息切割出特定人物的衣服区域，构建图像数据集；步骤B、三元组样本构建与选取步骤：利用一定的筛选准则，从A中构建的图像数据集中选取最有效的包括当前样本、正样本、负样本的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度；步骤C、基于三元组损失函数的图像特征提取步骤：利用深度卷积神经网络训练三元组损失模型，利用选取出的三元组样本，计算当前样本和正负样本之间的距离，使用三元组损失函数衡量模型迭代过程中预测结果和真实结果的差异性，将三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛；步骤D、图像聚类步骤：利用训练好的基于三元组损失的深度模型提取图像特征，构建特征向量的距离矩阵，对已有的密度聚类算法进行改进，设计针对于类别多，类内数据量较少的图像聚类算法，对检测到的衣服图像进行聚类，聚类中心可作为该件衣服的代表，簇的个数即为某个特定人物在某部视频中所穿衣服的件数。进一步地，所述步骤A包括以下步骤：A1、根据视频所提供的演员名单，构建明星人脸验证过程的基准人脸库；利用人脸关键点检测技术，构建仿射变换矩阵，进行人脸对齐，并利用训练好的深度卷积神经网络抽取人脸特征；A2、利用人脸检测技术，对视频图像帧中检测到的人脸同样进行关键点检测和人脸对齐步骤；同样，利用相同的深度卷积神经网络抽取检测到的人脸的特征，并和基准人脸库中的人脸特征进行比对，计算距离；当距离小于一定阈值时，即可验证为该视频中出现的明星；A3、通过人工标定的方式构建人体检测数据集，其中标定信息应包含物体的类别信息和所处图片中的位置坐标信息；设计深度卷积神经网络，对人体检测数据集进行模型训练，用训练好的人体检测模型检测图像中特定人物的人体区域并切割；A4、利用人工标定的方式进行人体姿势图像的挑选，标定正负样例，构建人体姿势选择数据集；标定正负样例的标准：全身直立、正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像为负样例；设计深度卷积神经网络构建二分类器，利用标定的人体姿势选择数据集进行模型训练，并对检测到的人体区域进行人体姿势的判断；根据模型判定结果，符合标定姿势的人体区域将被筛选出来；A5、通过人工标定的方式构建包含多类衣服的服装检测数据集。数据信息应包含衣服的类别信息和所处图片中的位置信息；设计深度卷积神经网络，利用已标定的服装检测数据集进行模型训练，对步骤A4中所得到的特定人物的人体区域进行服装检测；根据检测结果，高置信度的衣服区域将被系统判定为检测成功，并将该区域切割出来，构建该特定人物的服装图像数据库。进一步地，所述步骤B包括以下步骤：B1、通过人工标定的方式可以构建包含多种类别的图像数据集，根据图像之间的类别信息，对于给定图像，选取同类别下的图像作为给定图像的同款服装图像，选取不同类别下的难分类图像作为给定图像的不相同服装图像，难分类图像指的是模型容易误分类的样本，包括不同类别样本中与给定样本最相似的样本；B2、根据三元组构建规则，将每张图像作为给定样本，其同款相似图像作为正样本，不同款的难分类图像作为负样本，从而构建包括当前样本、正样本、负样本的三元组样本。进一步地，所述步骤C包括以下步骤：C1、根据距离度量准则，计算三元组中的当前样本和正样本之间的距离Dist(anchor，positive)，当前样本和负样本之间的距离Dist(anchor，negative)，一般采用欧氏距离作为图像间的距离度量准则；C2、三元组的选取标准，主要关注异类数据的特征差异性和同类数据的特征相似性，依据从而建立当前样本到正样本距离和当前样本到负样本距离之间存在的不等式关系。选取满足筛选条件的三元组，作为模型训练的有效样本，在保证训练数据充分的前提下，减少参与训练的三元组样本数，提高模型训练的收敛速度；C3、据设定好的三元组样本选取标准，设计与之相对应的三元组损失函数C4、修改深度卷积神经网络原有结构，去掉最后一层全连接层；从数据库中选取三元组，将图像依次输入到相同的深度卷积神经网络中，提取三元组内每个样本的图像特征，得到最后一层卷积层的特征图及特征向量；对最后一层卷积层的特征进行L2范数归一化，得到维度缩减后的图像特征向量表示，建立图像的嵌入空间；在网络的最后加入三元组损失函数，根据嵌入空间内的特征表示，计算当前三元组的损失函数值；C5、将当前损失函数值作为误差回传到深度卷积神经网络的卷积层，进行神经网络训练的反向传播，更新模型参数，对于数据集中的每一个有效的三元组样本，迭代进行上述操作，直到模型收敛。进一步地，所述步骤D包括以下步骤：D1、本文档来自技高网...

【技术保护点】
1.一种视频中特定人物的服装件数计算方法，包括以下步骤：A、视频中特定人物的服装检测步骤：通过对视频原始帧图像进行人脸检测，与明星人脸数据库进行身份验证后，检测并切割出特定人物的人体区域；利用深度卷积神经网络训练的分类器对检测到的人体图像进行姿势的判定，筛选出符合标定姿势的人体；利用深度网络训练的衣服检测模型对筛选后的人体区域进行衣服检测，并根据检测得到的位置信息切割出特定人物的衣服区域，构建图像数据集；B、三元组样本构建与选取步骤：利用一定的筛选准则，从A中构建的图像数据集中选取最有效的包括当前样本、正样本、负样本的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度；C、基于三元组损失函数的图像特征提取步骤：利用深度卷积神经网络训练三元组损失模型，利用选取出的三元组样本，计算当前样本和正负样本之间的距离，使用三元组损失函数衡量模型迭代过程中预测结果和真实结果的差异性，将三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛；D、图像聚类步骤：利用训练好的基于三元组损失的深度模型提取图像特征，构建特征向量的距离矩阵，对已有的密度聚类算法进行改进，设计针对于类别多，类内数据量较少的图像聚类算法，对检测到的衣服图像进行聚类，聚类中心可作为该件衣服的代表，簇的个数即为某个特定人物在某部视频中所穿衣服的件数。...

【技术特征摘要】
1.一种视频中特定人物的服装件数计算方法，包括以下步骤：A、视频中特定人物的服装检测步骤：通过对视频原始帧图像进行人脸检测，与明星人脸数据库进行身份验证后，检测并切割出特定人物的人体区域；利用深度卷积神经网络训练的分类器对检测到的人体图像进行姿势的判定，筛选出符合标定姿势的人体；利用深度网络训练的衣服检测模型对筛选后的人体区域进行衣服检测，并根据检测得到的位置信息切割出特定人物的衣服区域，构建图像数据集；B、三元组样本构建与选取步骤：利用一定的筛选准则，从A中构建的图像数据集中选取最有效的包括当前样本、正样本、负样本的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度；C、基于三元组损失函数的图像特征提取步骤：利用深度卷积神经网络训练三元组损失模型，利用选取出的三元组样本，计算当前样本和正负样本之间的距离，使用三元组损失函数衡量模型迭代过程中预测结果和真实结果的差异性，将三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛；D、图像聚类步骤：利用训练好的基于三元组损失的深度模型提取图像特征，构建特征向量的距离矩阵，对已有的密度聚类算法进行改进，设计针对于类别多，类内数据量较少的图像聚类算法，对检测到的衣服图像进行聚类，聚类中心可作为该件衣服的代表，簇的个数即为某个特定人物在某部视频中所穿衣服的件数。2.根据权利要求1所述的方法，其特征在于：所述步骤A包括以下步骤：A1、根据视频所提供的演员名单，构建明星人脸验证过程的基准人脸库；利用人脸关键点检测技术，构建仿射变换矩阵，进行人脸对齐，并利用训练好的深度卷积神经网络抽取人脸特征；A2、利用人脸检测技术，对视频图像帧中检测到的人脸同样进行关键点检测和人脸对齐步骤；同样，利用相同的深度卷积神经网络抽取检测到的人脸的特征，并和基准人脸库中的人脸特征进行比对，计算距离；当距离小于一定阈值时，即可验证为该视频中出现的明星；A3、通过人工标定的方式构建人体检测数据集，其中标定信息应包含物体的类别信息和所处图片中的位置坐标信息；设计深度卷积神经网络，对人体检测数据集进行模型训练，用训练好的人体检测模型检测图像中特定人物的人体区域并切割；A4、利用人工标定的方式进行人体姿势图像的挑选，标定正负样例，构建人体姿势选择数据集；标定正负样例的标准：全身直立、正面的人体为正样例；而半身、衣服扭曲幅度较大等人体图像为负样例；设计深度卷积神经网络构建二分类器，利用标定的人体姿势选择数据集进行模型训练，并对检测到的人体区域进行人体姿势的判断；根据模型判定结果，符合标定姿势的人体区域将被筛选出来；A5、通过人工标定的方式构建包含多类衣服的服装检测数据集，数据信息应包含衣服的类别信息和所处图片中的位置信息；设计深度卷积神经网络，利用已标定的服装检测数据集进行模型训练，对步骤A4中所得到的特定人物的人体区域进行服装检测；根据检测结果，高置信度的衣服区域将被系统判定为检测成功，并将该区域切割出来，构建该特定人物的服装图像数据库，并触发步骤B。3.根据权利要求1所述的方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：张海军，郭涵，姬玉柱，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东,44