基于数据增强和Mask R-CNN模型的肤质自动识别方法技术

本发明专利技术请求保护一种基于数据增强和Mask R‑CNN模型的肤质自动识别方法，本发明专利技术方案由五个阶段组成：数据标注、数据增强、模型训练、参数调节、模型选取五个阶段。大大地节省了当今皮肤护理行业的人力资源，并且能实现高效快捷的肤质检测。同时本模型有自适应以及增量学习的特性，随着训练数据集的扩大和使用数量的递增，可获得更高的识别准确率。

Skin texture recognition based on data enhancement and mask r-cnn model

The invention requests to protect a skin type automatic recognition method based on data enhancement and mask R \u2011 CNN model. The invention is composed of five stages: data annotation, data enhancement, model training, parameter adjustment and model selection. It greatly saves the human resources of skin care industry, and can realize the efficient and quick skin test. At the same time, the model has the characteristics of self-adaptive and incremental learning. With the expansion of training data set and the increasing number of use, higher recognition accuracy can be achieved.

【技术实现步骤摘要】
基于数据增强和MaskR-CNN模型的肤质自动识别方法
本专利技术属于深度学习图像识别领域，具体涉及基于数据增强和MaskR-CNN模型的肤质自动识别方法。
技术介绍
皮肤肤质检测在人们日常生活中非常常见，根据不同肤质所研发的皮肤护理产品亦非常多样，因此对于不同肤质使用不同类型的皮肤护理产品则显得尤为重要。但现今对于肤质检测的手段相对匮乏，一般由医生或美容师检测，由此问题入手，本专利技术提出利用图像识别方法进行肤质检测，与医生和美容师检测不同，图像识别检测系统更为客观和方便，并且能大大节省用户在皮肤护理上付出的人力物力。使用特征提取算法并结合分类器是目前在图像识别领域的一种主流方法。但是人工提取特征并不适用于通用的肤质分类系统。有以下主要原因：1)皮肤特征繁多，人工提取特征通常应用于一种或有限种特征的皮肤。它很难应大规模的数据集。2)皮肤外观的类间相似度高和类内差异化大，造成肤质的识别较为困难。为了解决这些问题，在这个领域上使用自动识别分类方法就显得尤为重要了，然而基于皮肤图像的自动识别分类是非常具有挑战性的工作，由于分类识别算法的局限本文档来自技高网...

【技术保护点】
1.一种基于数据增强和Mask R-CNN模型的肤质分类自动识别方法，其特征在于，包括以下步骤：/n步骤S1，对大量的已知不同肤质图像组成的数据库进行标注，标注皮肤图像中包括位置特征和类型特征在内的特征，然后将皮肤图像划分为训练图像集、测试图像集和验证图像集；/n步骤S2，对标注好的已知皮肤图像的训练图像集进行数据离线增强处理，所述数据离线增强处理采用翻转、旋转、缩放和裁剪四种数据增强方法，将数据数目变为增强因子*原数据集的数目，其中增强因子是指指是数据做离线增强之后增长的倍数；/n步骤S3，采用迁移学习方法，在预训练好的Microsoft COCO数据集的基础上进行训练，以获得优化的初始参数...

【技术特征摘要】
1.一种基于数据增强和MaskR-CNN模型的肤质分类自动识别方法，其特征在于，包括以下步骤：
步骤S1，对大量的已知不同肤质图像组成的数据库进行标注，标注皮肤图像中包括位置特征和类型特征在内的特征，然后将皮肤图像划分为训练图像集、测试图像集和验证图像集；
步骤S2，对标注好的已知皮肤图像的训练图像集进行数据离线增强处理，所述数据离线增强处理采用翻转、旋转、缩放和裁剪四种数据增强方法，将数据数目变为增强因子*原数据集的数目，其中增强因子是指指是数据做离线增强之后增长的倍数；
步骤S3，采用迁移学习方法，在预训练好的MicrosoftCOCO数据集的基础上进行训练，以获得优化的初始参数，从而加快模型训练的速度、识别率和泛化能力，将标注好的10000张皮肤照片中选取6000张作为训练图像集，2000张作为测试图像集，2000张作为验证图像集，通过验证图像集检验模型的准确率，通过训练结果对模型进行参数调节，直至模型收敛；
步骤S4，重复步骤S2、S3训练多个模型，对比其评价性指标，使用目标优化算法选取一个最优的模型作为目标，完成目标自动识别。


2.根据权利要求1所述的一种基于数据增强和MaskR-CNN模型的肤质自动识别方法，其特征在于，所述步骤S1的具体实现过程为：使用yolo_mark图像检测标注工具对已知目标图像进行标注位置以及类型，其中肤质的类型有五种，分别是干性皮肤、油性皮肤、混合性皮肤、中性皮肤和敏感性皮肤，该工具在window系统下运行，依赖opencv库，使用json格式文件记录图像信息，图像信息包括图像名称、图像尺寸、位置及类型，然后按照60％、20％、20％的比例分别将皮肤病图像数据集划分为训练集、验证集和测试集。


3.根据权利要求2所述的一种基于数据增强和MaskR-CNN模型的肤质自动识别方法，其特征在于，所述步骤S2进行数据离线增强处理包括以下几个步骤：
S2.1定义增强因子为2，其中数据离线增强后增长的倍数为2，将皮肤图片做镜面翻折；
S2.2定义增强因子为4，将皮肤图片按顺时针或逆时针旋转90度；
S2.3对皮肤图片进行任意放大和缩小，然后对皮肤图片按原始尺寸进行裁剪。


4.根据权利要求3所述的一种基于数据增强和MaskR-CNN模型的肤质自动识别方法，其特征在于，步骤S3的具体实现过程为：使用tensorflow深度学习框架搭建MaskR-CNN模型，在预训练好的MicrosoftCOCO数据集的基础上进行训练：
步骤S3.1，将经过离线数据增强后得到的皮肤图像作为卷积神经网络的输入，进行特征提取，特征提取的过程是：S4.1.1将预处理得到的不同尺寸的皮肤图像缩放至固定的大小，然后将固定大小的皮肤图像输入卷积神经网络，S4.1.2在卷积神经网络中，对皮肤图像进行多次卷积和池化操作，得到皮肤特征图；
步骤S3.2，利用RPN候选区域网络生成推荐候选区域，每张图片输出M个候选区域；
步骤S3.3，将候选区域映射到卷积神经网络的最后一层卷积上；
步骤S3.4，通过...

【专利技术属性】
技术研发人员：彭礼烨，梁倍源，黄思钊，毛勇健，徐阳，彭博韬，
申请(专利权)人：彭礼烨，
类型：发明
国别省市：重庆;50