一种服饰及随身物品的识别方法和装置制造方法及图纸

本发明专利技术提供了一种服饰及随身物品的识别方法和装置，其中，该方法包括：获取监控视频并从监控视频中提取待识别的图像信息；将图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，分值图包括：中心域分值图、轮廓域分值图、以及类别域分值图；根据各个目标类别对应的分值图确定图像信息中各个目标的外接矩形、掩模图形、以及主类别；根据各个目标的外接矩形和掩模图形确定各个目标的属性信息。本发明专利技术实施例通过采用组合域的方式进行目标检测与识别，可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割，并准确地提取各个目标的属性信息，从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求。

Method and device for identifying clothing and portable articles

The present invention provides a method and apparatus for identifying, clothing and belongings which, the method includes: acquiring video monitoring and image information extraction for recognition from the surveillance video; the image information input to the depth of the neural network model based on domain combination, each target category corresponds to the value map, including value map Center: domain value map, contour map, and the type of domain domain score value map; according to each category corresponds to the target value map to determine the target image information in the rectangle, mask pattern, and the main categories; attribute information and rectangle mask pattern to determine the target according to the various targets abroad. The embodiment of the invention of the target detection and recognition by using the combination of domain, can accurately target detection and segmentation of multiple clothing and belongings in image information, attribute information and accurately extract the target so as to meet the actual needs of clothing and belongings recognition in video monitor images of multi targets.

【技术实现步骤摘要】

本专利技术涉及图像处理
，具体而言，涉及一种服饰及随身物品的识别方法和装置。
技术介绍
目前，在视频监控领域中，对于行人的服饰及随身物品的检测和识别有着巨大的需求，若能够精确地检测并识别出视频图像中所有人的着装以及随身物品的款式、纹理、颜色等信息，从而，将能够大大提升智能监控系统提取的人体结构化信息量，进而在基于语义的行人检索应用中有很大应用价值。当前，相关技术中利用传统算法只能粗略定位人的上半身下半身区域并估计其中的颜色，在功能上和精度上还没有满足服饰识别的需求。随着深度学习技术的兴起，越来越多的图像识别
得到了大幅改进提高，例如：图像分类、目标检测、图像语义分割等领域，基于深度学习的目标检测技术在PASCAL VOC数据集的20类目标、Microsoft COCO数据集的80类目标、ImageNet数据集的200类目标的检测上均已达到了相当高的检测识别性能。但是对于服饰检测识别这类与人们生活息息相关的应用领域却鲜见有成熟的解决方案，其中，原因在于服饰的识别相比于上述公开数据集的识别有着一些特殊的难点，主要可概括为：第一，服饰包含难以计数的款型，因此形态和纹理差异极大；第二，人体是非刚性物体，服饰穿在身上同样为非刚性物体，同时服饰又不像人体那样有着统一的结构(如头、肩、躯干、四肢)；第三，在目标密集的场景，人体服饰相比于人脸、车辆等目标更容易产生遮挡；第四，上衣、裤子、书包这些服饰目标会在一个人身上同时出现，甚至在空间会有交叠，因此服饰目标具有很强的共现性。而对于PASCAL VOC等公开数据集的目标检测模型，由于各类别的共现性较小，神经网络隐含地可以利用目标周围的背景来判断出目标处于哪种场景，进而推断出哪些类目标可能出现，哪些类目标不可能出现。在实现本专利技术的过程中，专利技术人发现相关技术中至少存在以下问题：目前相关技术中的并未给出有效的服饰及随身物品识别的技术方案，进而无法满足视频监控图像中多目标的服饰及随身物品识别的实际需求。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种服饰及随身物品的识别方法和装置，以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割，并准确地提取各个目标的属性信息，从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求。第一方面，本专利技术实施例提供了一种服饰及随身物品的识别方法，该方法包括：获取监控视频并从该监控视频中提取待识别的图像信息；将上述图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，该分值图包括：中心域分值图、轮廓域分值图、以及类别域分值图；根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别；根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息，该目标的属性信息包括：目标的子类别、目标的颜色、以及目标的纹理。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，上述基于组合域的深度神经网络模型是通过如下步骤获得的：获取训练样本数据的标记图，该标记图包括：中心域标记图、轮廓域标记图、以及类别域标记图；采用随机梯度下降法根据上述训练样本数据的上述标记图训练得到基于组合域的深度神经网络模型。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，将上述图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，包括：对上述图像信息进行特征提取处理，得到各个像素点的特征，并对该各个像素点的特征进行分类处理；将分类处理后的各个像素点的特征输入至Softmax函数，计算得到各个上述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值；根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别，包括：根据各个目标类别对应的上述中心域分值图确定各个目标的主类别；对上述中心域分值图进行二值化处理，并对二值化处理后的上述中心域分值图进行连通域分析，对各个目标的中心域包含的像素点标记目标ID号，生成的初始标记图；利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记，生成对所有像素点均标记目标ID号的最终标记图；根据上述最终标记图分别确定各个目标的外接矩形和掩模图形。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，对上述中心域分值图进行二值化处理，并对二值化处理后的上述中心域分值图进行连通域分析，对各个目标的中心域包含的像素点标记目标ID号，生成的初始标记图，包括：依次从类别域的多个目标类别中选取一个目标类别作为先验类别，对上述先验类别对应的中心域分值图进行二值化处理；利用Two-Pass算法或者种子填充算法确定二值化处理后的上述中心域分值图中的多个连通域，将各个目标的上述连通域作为各个目标的中心域；在与上述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号；将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记，生成对所有像素点均标记目标ID号的最终标记图，包括：对上述轮廓域分值图进行定点化并取反处理，将定点化并取反后的上述轮廓域分值图作为山坳图像；将上述初始标记图和上述山坳图像输入至分水岭算法，得到各个目标的分割结果；根据上述分割结果对上述初始标记图上未标记目标ID号的像素点进行标记；将标记后的上述初始标记图作为最终标记图。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息，包括：将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层，根据各个目标的上述外接矩形对该特征层进行抠图处理，并将各个目标的上述掩模图形以外的像素点的图像特征设置为零，得到各个目标的特征图像；将各个目标的上述特征图像输入至基于属性分类的深度神经网络模型的池化层，对各个目标的上述特征图像进行池化处理，得到各个目标的特征向量，其中，该池化处理包括：最大池化处理或者平均池化处理；将各个目标的上述特征向量输入至基于属性分类的深度神经网络模型的全连接层，从各个目标的上述特征向量中提取各个目标的属性特征；将提取出的各个目标的上述属性特征输入至以Softmax作为分值计算函数的属性分类器，得到各个目标的属性信息，上述属性分类器包括以下中的一种或多种：子类别分类器、颜色分类器或者纹理分类器。结合第一方面至第一方面的第六种可能的实施方式中的任一种，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，上述方法还包括：利用后验概率验证法对确定出的各个目标的上述主类别进行确认；当确认结果为正确时，则输出上述目标的外接矩形、掩模图形、以及主类别；当确认结果为不正确时，则不输出上述目标的外接矩形、掩模图形、以及主类别。结合第一方面本文档来自技高网...

【技术保护点】
一种服饰及随身物品的识别方法，其特征在于，所述方法包括：获取监控视频并从所述监控视频中提取待识别的图像信息；将所述图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，所述分值图包括：中心域分值图、轮廓域分值图、以及类别域分值图；根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别；根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息，所述目标的属性信息包括：目标的子类别、目标的颜色、以及目标的纹理。

【技术特征摘要】
1.一种服饰及随身物品的识别方法，其特征在于，所述方法包括：获取监控视频并从所述监控视频中提取待识别的图像信息；将所述图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，所述分值图包括：中心域分值图、轮廓域分值图、以及类别域分值图；根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别；根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息，所述目标的属性信息包括：目标的子类别、目标的颜色、以及目标的纹理。2.根据权利要求1所述的方法，其特征在于，所述基于组合域的深度神经网络模型是通过如下步骤获得的：获取训练样本数据的标记图，所述标记图包括：中心域标记图、轮廓域标记图、以及类别域标记图；采用随机梯度下降法根据所述训练样本数据的所述标记图训练得到基于组合域的深度神经网络模型。3.根据权利要求1所述的方法，其特征在于，将所述图像信息输入至基于组合域的深度神经网络模型，得到各个目标类别对应的分值图，包括：对所述图像信息进行特征提取处理，得到各个像素点的特征，并对所述各个像素点的特征进行分类处理；将分类处理后的各个像素点的特征输入至Softmax函数，计算得到各个所述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值；根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。4.根据权利要求1所述的方法，其特征在于，根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别，包括：根据各个目标类别对应的所述中心域分值图确定各个目标的主类别；对所述中心域分值图进行二值化处理，并对二值化处理后的所述中心域分值图进行连通域分析，对各个目标的中心域包含的像素点标记目标ID号，生成的初始标记图；利用分水岭算法根据所述轮廓域分值图对所述初始标记图上未标记目标ID号的像素点进行标记，生成对所有像素点均标记目标ID号的最终标记图；根据所述最终标记图分别确定各个目标的外接矩形和掩模图形。5.根据权利要求4所述的方法，其特征在于，对所述中心域分值图进行二值化处理，并对二值化处理后的所述中心域分值图进行连通域分析，对各个目标的中心域包含的像素点标记目标ID号，生成的初始标记图，包括：依次从类别域的多个目标类别中选取一个目标类别作为先验类别，对所述先验类别对应的中心域分值图进行二值化处理；利用Two-Pass算法或者种子填充算法确定二值化处理后的所述中心域分值图中的多个连通域，将各个目标的所述连通域作为各个目标的中心域；在与所述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号；将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。6.根据权利要求4所述的方法，其特征在于，利用分水岭算法根据所述轮廓域分值图对所述初始标记图上未标记目标ID号的像素点进行标记，生成对所有像素点均标记目标ID号的最终标记图，包括：对所述轮廓域分值图进行定点化并取反处理，将定点化并取反后的所述轮廓域分值图作为山坳图像；将所述初始标记图和所述山坳图像输入至分水岭算法，得到各个目标的分割结果；根据所述分割结果对所述初始标记图上未标记目标ID号的像素点进行标记；将标记后的所述初始标记图作为最终标记图。7.根据权利要求1所述的方法，其特征在于，根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息，包括：将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层，根据各个目标的所述外接矩形对所述特征层进行抠图处理，并将各个目标的所述掩模图形以外的像素点的图像特征设置为零，得到各个目标的特征图像；将各个目标的所述特征图像输入至基于属性分类的深度神经网络模型的池化层，对各个目标的所述特征图像进行池化处理，得到各个目标的特征向量，其中，所述池化处理包括：最大池化处理或者平均池化处理；将各个目标的所述特征向量输入至基于属性分类的深度神经网络模型的全连接层，从各个目标的所述特征向量中提取各个目标的属性特征；将提取出的各个目标的所述属性特征输入至以Softmax作为分值计算函数的属性分类器，得到各个目标的属性信息，所述属性分类器包括以下中的一种或多种：子类别分类器、颜色分类器或者纹理分类器。8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：利用后验概率验证法对确定出的各个目标的所述主类别进行确认；当确认结果为正确时，则输出所述目标的外接矩形、掩模图形、以及主类别；当确认结果为不正确时，则不输出所述目标的外接矩形、掩模图形、以及主类别。9.根据权利要求8所述的方法，其特征在于，利用后验概率验证法对确定出的各个目标的所述主类别进行确认，包括：根据选取的先验类别从类别域分值图中提取与所述先验类别对应的类别域分值图；根据所述类别域分值图和后验概率计算公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率；分别判断各个目标的所述后验概率是否大于所述先验类别对应的阈值；若大于，则确定所述目标的实际主类别与所述先验类别一致，并将确认结果设置为正确；若小于等于，则确定所述目标的实际主类别与所述先验类别不一致，并将确认结果设置为不正确。10.根据权利要求9所述的方法，其特征在于，根据所述类别域分值图和后验概率计算公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率，包括：根据所述类别域分值图和公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率，其中，Pa表示第a个目标的后验概率，表示第a个目标的掩模图形内第n个像素点的类别域分值，na表示第a个目标的掩模图形内第n个像素点，Na表示第a个目标的掩模图形内像素点总数，na＝1，...，Na。11.一种服饰及随身物品的识别装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：任鹏远，许健，李岩，张丛喆，
申请(专利权)人：东方网力科技股份有限公司，
类型：发明
国别省市：北京;11