The invention relates to an attribute recognition method of fine-grained garment based on convolution neural network. Firstly, the method locates the feature area in the image through Faster RCNN and YOLO neural network, adopts the corresponding enlarged feature area method for the classification of sleeve, trousers length and neck type, and then carries out image processing for the feature area; after processing, the feature area is input into ResNet network model and Inception V4 network model, and the output result is trained by weighted fusion. \u3002 The trained neural network model can be used for garment attribute recognition. The feature area extracted by the invention achieves high segmentation accuracy, improves the efficiency and accuracy of the convolution neural network for in-depth learning image features, and weights the output results of the two network models, thus reducing the over-fitting phenomenon.
【技术实现步骤摘要】
一种基于卷积神经网络的细粒度服装的属性识别方法
本专利技术属于计算机视觉识别
，尤其是涉及一种基于卷积神经网络的细粒度服装的属性识别方法。
技术介绍
服装图像作为细粒度图像的一种，在电子商务领域十分常见，而现有的视觉购物搜索引擎通常提取诸如颜色、形状、纹理等全局特征来比较图像。它们对于干净背景的图像获得了较好的搜索效果。然而，很大一部分的服装图像是自然场景的图像，具有杂乱的背景。为了提升商品的吸引力，并且呈现服装的实际穿着效果，电子商务店主请时尚模特穿着所售服装，来拍摄真实效果的图像。这些图像一般是在户外拍摄，背景较为杂乱。另一方面，用户上载的查询图像同样是嗓声较多的图像，尤其是通过手机拍摄的照片。这些复杂且杂乱的背景，使得基于视觉的服装图像的细粒度分类成为一项具有挑战性的难题。本专利技术结合服装图的特征区域分布特点，准确提取特征区域，并将处理过的图片输入卷积神经网络，从而提高分类的准确性和效率。
技术实现思路
本专利技术的目的就是为了解决上述服装图片的细粒度属性准确分类问题，提供一种基于卷积神经网络的细粒度服装的属性识别方法。本专利技术考虑了服装特征区域对于分...
【技术保护点】
1.一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于包括如下步骤：步骤(1)使用Faster‑RCNN和YOLO神经网络对图像进行特征性区域判别，结合两种判别结果，分割出初步的特征区域图片；步骤(2)对初步的特征区域图片做进一步的处理，由于袖长、裤长和领口类型的分类的特征区域分布略有不同，因此根据不同的分类需求，对特征区域进行扩大，防止特征信息丢失；步骤(3)将图片处理成宽高相等的图片，根据袖长、裤长和领口类型这三种不同的分类任务，采用不同的填补方法，将细长和扁平的图片调整成宽高相等的图片；步骤(4)构建两个深度卷积神经网络，对网络进行预训练，然后将经过图像处理的...
【技术特征摘要】
1.一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于包括如下步骤：步骤(1)使用Faster-RCNN和YOLO神经网络对图像进行特征性区域判别，结合两种判别结果，分割出初步的特征区域图片；步骤(2)对初步的特征区域图片做进一步的处理，由于袖长、裤长和领口类型的分类的特征区域分布略有不同，因此根据不同的分类需求，对特征区域进行扩大，防止特征信息丢失；步骤(3)将图片处理成宽高相等的图片，根据袖长、裤长和领口类型这三种不同的分类任务，采用不同的填补方法，将细长和扁平的图片调整成宽高相等的图片；步骤(4)构建两个深度卷积神经网络，对网络进行预训练，然后将经过图像处理的服装图输入到卷积神经网络中，利用随机梯度下降算法进行权重矩阵和偏移量的调整；步骤(5)将得到的训练好的各层中的权重参数矩阵和偏置值，对应地赋值给两个神经网络中的各个层，再对各自的Softmax层进行调整，把两个网络结构的输出结果进行融合，减少过拟合现象，使结果更加准确。2.根据权利要求1所述的一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于步骤(1)分割出初步的特征区域图片的方法如下：1-1.将原始图像大小用两个坐标进行表示，分别是左上角顶点坐标(0，0)和右下角顶点坐标(width,height)；初步的特征区域图片的左上角坐标定义(XA,YB),右下角坐标定义为(XC,YD)；1-2.通过深度学习方法中的通用目标检测框架Faster-RCNN和YOLO神经网络生成候选特征区域，使用Faster-RCNN和YOLO神经网络能够识别出图像中的主要特征区域，通过坐标的方式能够获取特征区域左上角和右下角的顶点坐标，通过Faster-RCNN神经网络获取的左上角坐标定义为(X1,Y1)，右下角坐标定义为(X2,Y2)；通过YOLO神经网络获取的左上角坐标定义为(X3,Y3)，右下角坐标定义为(X4,Y4)；1-3.每张图像获取四个坐标后，通过如下四种情况得到初步的特征区域的左上角坐标XA,YB),右下角坐标(XC,YD)：①两种目标检测网络均把原始图像作为判别区域，分割出初步的特征区域图片，即(X1,Y1)＝(0，0)，(X2,Y2)＝(width,height)，(X3,Y3)＝(0，0)，(X4,Y4)＝(width,height)；②Faster-RCNN检测出小于原始图像的判别区域，YOLO把原始图像作为判别区域，分割出的初步的特征区域图片，即(X1,Y1)＝(x1，y1)，(X2,Y2)＝(x2,y2)，(X3,Y3)＝(0，0)，(X4,Y4)＝(width,height)；③Faster-RCNN把原始图像作为判别区域，YOLO检测出小于原始图像的判别区域，分割出的初步的特征区域图片，即(X1,Y1)＝(0，0)，(X2,Y2)＝(width,height)，(X3,Y3)＝(x3，y3)，(X4,Y4)＝(x4,y4)；④两种目标检测网络均检测出小于原始图像的判别区域,分割出的初步的特征区域图片，即(X1,Y1)＝(x1，y1)，(X2,Y2)＝(x2,y2)，(X3,Y3)＝(x3，y3)，(X4,Y4)＝(x4,y4)；针对情况①：把原始图像作为初步的特征区域，即(XA,YB)＝(0，0),(XC,YD)＝(width,height)；针对情况②：把Faster-RCNN检测区域作为初步的特征区域，即(XA,YB)＝(x1，y1),(XC,YD)＝(x2,y2)；针对情况③：把YOLO检测区域作为初步的特征区域，即(XA,YB)＝(x3，y3),(XC,YD)＝(x4,y4)；针对情况④：结合两种检测区域，为了尽可能减少特征信息丢失，在取检测区域坐标遵从尽可能最大获取信息原则，(XA,YB)＝(min(x1,x3)，min(y1,y3)),(XC,YD)＝(max(x2,x4)，max(y2,y4))。3.根据权利要求2所述的一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于步骤(2)所述的对初步的特征区域图片做进一步的处理方法如下：利用获取的参数坐标(XA,YB)和(XC,YD)做进一步的图像处理；当图像通过情况①获取特征区域，此类特征区域特征信息无丢失当图像通过情况②③④获取特征区域，为了防止特征信息丢失，采用如下特征区域扩大方法：由于服装的细粒度分类包括袖长、裤长、领口类型，各个分类任务的特征区域分布略有不同，因此基于不同的分类需求，采取不同的特征区域扩大方法；(1)当任务为裤子长度的分类，即特征区域在靠下部分时，取原始图像的height作为YD坐标值，其余分类任务在YD的基础上向下再增加10像素(pixel)的宽度作为裕量，以减少特征信息丢失；...
【专利技术属性】
技术研发人员：张桦，陶星，戴美想，戴国骏，刘高敏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。