一种基于深度学习实例分割的色斑痤疮检测与健康评价方法技术

本发明专利技术公开了一种基于深度学习实例分割的色斑痤疮检测与健康评价方法，包括：采集色斑痤疮人脸正面图像，标注正面人脸中存在的色斑和痤疮，形成块状人脸健康问题数据集；训练色斑痤疮实例分割模型，使用二段通道选择预训练方法，先从ImageNet图像分类数据集D

A method of acne detection and health evaluation based on deep learning case segmentation

The invention discloses a method for detecting and evaluating acne based on the segmentation of deep learning examples, which includes: collecting the front image of acne face, labeling the spots and acne existing in the front face, forming a massive face health problem data set; training the acne instance segmentation model, using two-stage channel to select the pre training method, first classifying the number from Imagenet image According to set D

【技术实现步骤摘要】
一种基于深度学习实例分割的色斑痤疮检测与健康评价方法
本专利技术涉及图像处理领域，尤其涉及一种用于人脸色斑痤疮识别与评估的图像处理方法。
技术介绍
在医学美容行业中，色斑及痤疮是人脸皮肤问题中最主要的处理问题之一，目前国内人脸色斑及痤疮检测识别方法主要采用人工主观判断，缺乏客观定量分析，如何快速准确地识别人脸皮肤色斑痤疮问题成为亟待解决的问题，现有的专利提及的关于痤疮及色斑的检测方法主要涉及传统图像处理方法，如CN106529429A提供了一种一种色斑检测模块，但基于分水岭算法，准确性不高，对环境要求高，适用性较差；如CN106449300A提出了一种色斑检测识别方法，但描述的方法并未将色斑区域边缘识别，同时不能准确筛选色斑轮廓及排除非色斑区域的识别结果；CN108876766A提出了基于深度学习的痤疮判断方法，但并未描述具体检测、计数方法。1)、“一种基于图像识别的面部皮肤分析系统”，专利号CN106529429A。该专利技术公开了一种基于图像识别的面部皮肤分析系统。提出了一种图像识别的面部分析系统，能够对皮肤的情况做出一系列的测评并给出总体的评价，主要包括人脸检测分割模块，美白度检测模块，粗糙度检测模块，色斑量检测模块和综合评判模块。首先输入检测图像，通过分类器进行正脸检测、区域定位和分割然后将分割获得的图像进行肤色亮暗和红润情况分析通过灰度共生矩阵，获取特征指标量化检测区域的粗糙度使用类似分水岭的方法和计算区域截面积之和来分析色斑量。该方法提供了一种一种色斑检测模块，但基于分水岭算法，准确性不高，对环境要求高，适用性较差。2)、“一种色斑检测识别方法”，专利号CN106449300A。该专利技术提供一种色斑检测识别方法，采集人脸图片，人脸图片包含所有色斑种类及色斑的变种图片并预先标注色斑区域以及色斑种类，通过对每一种色斑的特征向量及标注信息进行读取并进行迭代直至获得每一种色斑的颜色特征均值及小波变换特征均值，对每一种色斑的特征向量二及标注信息进行读取并进行迭代直至获得每一种色斑的颜色均值、纹理均值及斑点特征均值，其迭代过程使用最终读取待检测的人脸图片上的色斑信息，与所述颜色特征均值及小波变换特征均值进行匹配获得色斑区域与颜色均值、纹理均值及斑点特征均值进行匹配识别色斑种类输出获得的色斑区域与色斑种类信息。该方法提供了一种色斑检测识别方法，但并不能准确筛选色斑轮廓及排除非色斑区域的识别结果。3)、“基于面部识别的痤疮判断方法、终端及存储介质”，专利号CN108876766A。该专利技术公开了一种基于面部识别的痤疮判断方法，应用于终端,包括获取训练后的深度学习模型加载所述训练后的深度学习模型采集面部图像根据采集的所述面部图像和所述训练后的深度学习模型进行图像识别获取图像识别结果。该方法提及了一种基于深度学习的痤疮识别方法，但并未描述其具体检测方法及计数评分模式，所述方法不具有可复现性。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种基于深度学习实例分割的色斑痤疮检测与健康评价方法，以满足快速准确检测人脸皮肤色斑痤疮并提供量化指标的要求，提高测量效率和测量方法的适用性。本专利技术的目的通过以下的技术方案来实现：一种基于深度学习实例分割的色斑痤疮检测与健康评价方法，包括：采集健康问题人脸图像并标注、训练色斑痤疮实例分割模型、检测分割色斑及痤疮、评价人脸健康程度；具体包括：A采集色斑痤疮人脸正面图像Iface，标注正面人脸中存在的色斑Istain、痤疮Iacne，形成块状人脸健康问题数据集Dlump；B训练色斑痤疮实例分割模型，使用二段通道选择预训练方法，先从ImageNet图像分类数据集DCls训练主干网络ηmain，再从ISIC(InternationalSkinImagingCollaboration,ISIC)公布的病灶边界分割数据集DLBS(LesionBoundarySegmentation,LBS)训练实例分割模型mpretrained；在块状人脸健康问题数据集Dlump上，选择实例分割模型mpretrained最优3个通道得到mpretrained_3，再训练得到色斑痤疮实例分割模型mdetect；C采集用户人脸正面图像，由色斑痤疮实例分割模型ηdetect检测分割得色斑分布图痤疮分布图获得人脸色斑、痤疮的位置、面积数据；D根据皮肤问题数量、所处人脸分区及集中程度评价人脸健康程度。与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：该方法实现了基于深度学习实例分割的色斑痤疮检测与健康评价，适用性好，在保证实时性的前提下，提供了准确识别检测代表人脸健康程度的色斑痤疮的指标。附图说明图1是基于深度学习实例分割的色斑痤疮检测与健康评价方法工作流程图；图2是基于深度学习实例分割的色斑痤疮检测与健康评价方法程序框架图；图3是实施例步骤30痤疮皮肤问题数量NacnePro计算示意图；图4是实施例步骤40中额头鼻梁区皮肤问题数量NTPro、脸颊区皮肤问题数量NcheekPro、眼眶区皮肤问题数量NeyePro、下巴区皮肤问题数量NjawPro计算示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。如图1所示，为基于深度学习实例分割的色斑痤疮检测与健康评价方法工作流程，包括如下步骤：步骤10采集色斑痤疮人脸正面图像Iface，标注正面人脸中存在的色斑Istain、痤疮Iacne，形成块状人脸健康问题数据集Dlump；步骤20训练色斑痤疮实例分割模型，使用二段通道选择预训练方法，先从ImageNet图像分类数据集DCls训练主干网络ηmain，再从ISIC(InternationalSkinImagingCollaboration,ISIC)公布的病灶边界分割数据集DLBS(LesionBoundarySegmentation,LBS)训练实例分割模型mpretrained；在块状人脸健康问题数据集Dlump上，选择实例分割模型mpretrained最优3个通道得到mpretrained_3，再训练得到色斑痤疮实例分割模型ηdetect；在块状人脸健康问题数据集Dlump上，选择实例分割模型mpretrained通道，并删除多余通道得到mpretrained_n，包括：设实例分割数据集DInstance共有Ncls种识别对象(含背景)，若输入人脸正面图像Iface解析度为Xin×Yin，实例分割模型mpretrained输出为Xin×Yin×Ncls的识别结果矩阵Ioutput。在块状人脸健康问题数据集Dlump上，则有色斑、痤疮、背景等种识别对象，则mdetect输出为Xin×Yin×3的识别结果矩阵Idetect。于是根据最终卷积层的计算特性，可选择最佳3个通道得到mpretrained_3。设mpretrained结果的识别输出第n个通道输出概率图记为Ioutput_n本文档来自技高网...

【技术保护点】
1.一种基于深度学习实例分割的色斑痤疮检测与健康评价方法，其特征在于，所述方法包括采集健康问题人脸图像并标注、训练色斑痤疮实例分割模型、检测分割色斑及痤疮、评价人脸健康程度；具体方法如下：/nA采集色斑痤疮人脸正面图像I

【技术特征摘要】
1.一种基于深度学习实例分割的色斑痤疮检测与健康评价方法，其特征在于，所述方法包括采集健康问题人脸图像并标注、训练色斑痤疮实例分割模型、检测分割色斑及痤疮、评价人脸健康程度；具体方法如下：
A采集色斑痤疮人脸正面图像Iface，标注正面人脸中存在的色斑Istain和痤疮Iacne，形成块状人脸健康问题数据集Dlump；
B训练色斑痤疮实例分割模型，使用二段通道选择预训练方法，先从ImageNet图像分类数据集DCls训练主干网络ηmain，再从ISIC公布的病灶边界分割数据集DLBS训练实例分割模型mpretrained；在块状人脸健康问题数据集Dlump上，选择实例分割模型mpretrained最优3个通道得到mpretrained_3，再训练得到色斑痤疮实例分割模型ηdetect；
C采集用户人脸正面图像，由色斑痤疮实例分割模型ηdetect检测分割得色斑分布图痤疮分布图获得人脸色斑、痤疮的位置和面积数据；
D根据皮肤问题数量、所处人脸分区及集中程度评价人脸健康程度。


2.如权利要求1所述的基于深度学习实例分割的色斑痤疮检测与健康评价方法，其特征在于，所述步骤B中在块状人脸健康问题数据集Dlump上，选择实例分割模型mpretrained通道，并删除多余通道得到mpretrained_n，包括：
设实例分割数据集DInstance共有Ncls种识别对象，若输入人脸正面图像Iface解析度为Xin×Yin，实例分割模型mpretrained输出为Xin×Yin×Ncls的识别结果矩阵Ioutput；
在块状人脸健康问题数据集Dlump上，则有色斑、痤疮、背景等种识别对象，则mdetect输出为Xin×Yin×3的识别结果矩阵Idetect；于是根据最终卷积层的计算特性，可选择最佳3个通道得到mpretrained_3；
设mpretrained结果的识别输出第n个通道输出概率图记为Ioutput_n，则最适合用于色斑检测分割的通道nstain为：



式中，fpixnum(I)为计数函数，代表I所具有像素值为1的数量；
同理，最适合用于痤疮检测分割的通道nacne为：



同理，最适合用于背景分割的通道nBG为：



...

【专利技术属性】
技术研发人员：陈家骊，刘可淳，唐骢，陈彦彪，
申请(专利权)人：广州纳丽生物科技有限公司，
类型：发明
国别省市：广东;44