一种基于深度学习的黄褐斑图像识别方法、系统和装置制造方法及图纸

本发明专利技术公开一种基于深度学习的黄褐斑图像识别方法、系统和装置，属于计算机图像处理技术领域。针对现有技术中存在的黄褐斑的识别和分析均依赖人工经验进行，主观性较强，识别效率低等问题，本发明专利技术通过计算机自动读取患者上传的面部皮肤图像，利用人工智能人脸特征点识别模型检测出面部图像的人脸轮廓以及每个特征点的位置坐标，然后通过计算机程序对面部图像区域进行划分，再通过已经训练好的黄褐斑区域检测和黄褐斑区域分割深度学习模型对黄褐斑区域进行检测和分割，利用计算机分别计算每个区域的黄褐斑面积占比以及色度值，最后通过改良MASI评价方式去计算黄褐斑评价得分，本发明专利技术可辅助医生评价黄褐斑病情严重程度，准确度高适合广泛应用。

【技术实现步骤摘要】
一种基于深度学习的黄褐斑图像识别方法、系统和装置
本专利技术涉及计算机图像处理
，更具体地说，涉及一种基于深度学习的黄褐斑识别图像方法、系统和装置。
技术介绍
黄褐斑（melasma）是一种色素增加性皮肤疾病，主要表现为面部对称性分布的黄褐色斑片，多见于女性。其发病与日晒、妊娠、长期口服避孕药等有关。随着人们对自身皮肤的重视，越来越多的人需要通过现代医学手段去改善黄褐斑。现有技术中对于黄褐斑的检查和严重程度的评价主要依靠皮肤病专业医生的经验判断，通过人工观察的方式估算黄褐斑在面部分布分面积占比、黄褐斑颜色的色度级别和黄褐斑的色度均一性级别，然后通过国际常用的改良MASI评分计算公式去计算黄褐斑评分来评价黄褐斑患者的面部黄褐斑严重程度。使用人工识别黄褐斑带有较强的主观性、模糊性，诊察结果与医生的经验密切相关，对黄褐斑的诊断需要大量的皮肤病专业知识以及很多的临床经验。因此，传统的依靠医生临床经验判断的方法已难以满足黄褐斑精确诊断的需求。随着计算机技术的发展，深度学习与计算机图像处理已在医疗领域有了广泛的应用，并极大的推动了医疗技术的进步。如中国专利申请一种基于聚类算法的面部黄褐斑区域自动分割方法，申请号CN201911040694.0，公开日2020年02月04日，公开一种基于聚类算法的面部黄褐斑区域自动分割方法，通过聚类算法根据阈值进行黄褐斑区域的分割，计算黄褐斑区域的总面积，得到黄褐斑面积占比，为后续黄褐斑诊断和治疗做辅助。又如中国专利申请一种基于黑色素提取的面部黄褐斑区域自动分割方法，申请号CN201911035496.5，公开日2020年02月14日，公开一种基于黑色素提取的面部黄褐斑区域自动分割方法，根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域，对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，计算黄褐斑区域的纵面的，得到黄褐斑区域面积占比，但是以上方法仅仅是在已知黄褐斑的区域基础上做出的具体对黄褐斑的提取工作，无法高效率的对黄褐斑区域进行识别和定位判断，具有一定的局限性。
技术实现思路
1.要解决的技术问题针对现有技术中存在的黄褐斑的识别和分析均依赖人工经验进行，主观性较强，识别效率低等问题，本专利技术提供一种基于深度学习的黄褐斑图像识别方法和系统，它可以实现科学精准的评价黄褐斑严重程度，不依赖于医生的判断，在没有专业医生的情况下依靠设备就可以自动完成黄褐斑的识别和评价分析，识别准确率高效率高，适合广泛应用。2.技术方案本专利技术的目的通过以下技术方案实现。一种基于深度学习的黄褐斑图像识别方法，包括：采集面部图像信息，对采集的面部图像进行处理，获取人脸图像，对获取到的人脸图像进行区域分割；对分割后的区域人脸图像输入深度学习神经网络模型检测黄褐斑区域，分割出黄褐斑区域中的黄褐斑图像，计算分割出黄褐斑图像的色度值，进而计算黄褐斑图像面积及严重程度评分；所述深度学习神经网络模型包括用于检测黄褐斑区域的第一深度学习神经网络模型和用于分割黄褐斑图像的第二深度学习神经网络模型，第一深度学习神经网络模型输入的数据为分割后的区域人脸图像，输出检测到并标注的黄褐斑区域人脸图像至第二深度学习神经网络模型，第二深度学习神经网络模型输出黄褐斑区域的黄褐斑图像分割结果图。更进一步的，黄褐斑区域检测时，第一深度学习神经网络模型由预处理层将输入的区域人脸图像大小调整为固定值，将调整后人脸图像划分为n*n个网络，每个网络尺寸相同；使用第一深度学习神经网络模型对每个网格进行识别，检测是否为黄褐斑图像，以对应网格的中心点为中心随机生成m个不同尺寸矩形区域的预选框，计算预选框中图像数据特征值，将预选框图像和数据计算特征值与第一深度学习神经网络模型特征值权重文件中的特征值匹配计算置信度，选择每个网格预选框中置信度最高的作为初始检测结果，将该区域人脸图像上所有重合度大于设定值的初始检测结果合并生成黄褐斑区域检测结果，n、m均为大于零的整数。更进一步的，黄褐斑区域分割时，第二深度学习神经网络模型由预处理层将输入的黄褐斑区域图像大小调整为固定值，对调整后黄褐斑区域图像进行下采样后得到特征图，提取特征图的特征值，将提取的特征值与训练生成的第二深度学习神经网络模型权重文件记录的黄褐斑区域特征值进行匹配度计算，选择匹配度最高的特征值进行上采样，生成黄褐斑图像分割效果图。更进一步的，深度学习模型的构建方法是构建数据库，将数据库的图像数据加载至深度学习神经网络模型进行训练，对训练后达到的模型进行性能检测，对未满足性能要求的模型重新训练，直至训练出满足性能要求的深度学习神经网络模型；更进一步的，深度学习神经网络模型输出的图像数据包括标注文件，第一深度学习神经网络输出图像的标注文件包括黄褐斑区域标注框中心点横坐标、标注框中心点纵坐标、标注框宽度和标注框高度，第二深度学习神经网络输出图像的标注文件为二值化掩膜图像。更进一步的，构建第一深度学习神经网络模型的第一数据库包括若干黄褐斑患者左侧面部图像、右侧面部图像和正面图像，构建第二深度学习神经网络模型的第二数据库包括若干黄褐斑皮损区域图像。更进一步的，分割出黄褐斑图像的色度值计算时，将第二深度学习神经网络输出图像的原始二值化掩膜图像膨胀迭代，用膨胀后的二值化掩膜图像与原始二值化掩膜图像做差，设定该差值为正常皮肤区域的二值化掩膜图像，计算正常皮肤区域的二值化掩膜图像和原始二值化掩膜图像掩膜区域的Lab色彩空间的像素平均值，将该平均值输入CIEDE2000色差计算公式中，得到黄褐斑图像色度值。更进一步的，面部图像信息采集时，分别在UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下，采集左侧面部图像、右侧面部图像和正面图像。对采集的面部图像信息使用人脸特征点检测模型，获取人脸图像，将人脸图像分割为左侧面颊区域、右侧面颊区域、前额区域和下颚区域。本专利技术使用智能皮肤图像采集设备拍摄患者面部图像，对测试者进行面部图像采集时，每一次均需采集测试者面部分别在四种光源下，每种光源对应三个角度的图像，即四张正脸面面部图像、四张左侧四十五度面部图像、四张右侧四十五度面部图像，拍摄需保证面部清洁无遮挡，通过该智能图像采集设备采集的图像面部位置角度标准统一，且采集的图像中面部皮肤区域占整张图像的面积占比在80%以上。一种基于深度学习的黄褐斑图像识别系统，使用所述的一种基于深度学习的黄褐斑图像识别方法，系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理。图像处理模块包括黄褐斑区域检测模型、黄褐斑区域分割模型和黄褐斑色度值计算模型；黄褐斑区域检测模型用于在区域人脸图像中检测出黄褐斑区域，黄褐斑区域分割模型用于在人脸图像中检测出的黄褐斑区域分割出黄褐斑图像，黄褐斑色度值计算模型用于对黄褐斑区域分割模型分割出的黄褐斑图像进行色度值计算。一种基于深度学习的黄褐斑图像识别装置，设有所述的一种基于深度学习的黄褐斑图像识别系统，所述装本文档来自技高网...

【技术保护点】
1.一种基于深度学习的黄褐斑图像识别方法，其特征在于，所述方法包括：采集面部图像信息，对采集的面部图像进行处理，获取人脸图像，对获取到的人脸图像进行区域分割；/n对分割后的区域人脸图像输入深度学习神经网络模型检测黄褐斑区域，分割出黄褐斑区域中的黄褐斑图像，计算分割出黄褐斑图像的色度值，进而计算黄褐斑图像面积及严重程度评分；/n所述深度学习神经网络模型包括用于检测黄褐斑区域的第一深度学习神经网络模型和用于分割黄褐斑图像的第二深度学习神经网络模型，第一深度学习神经网络模型输入的数据为分割后的区域人脸图像，输出检测到并标注的黄褐斑区域人脸图像至第二深度学习神经网络模型，第二深度学习神经网络模型输出黄褐斑区域的黄褐斑图像分割结果图。/n

【技术特征摘要】
1.一种基于深度学习的黄褐斑图像识别方法，其特征在于，所述方法包括：采集面部图像信息，对采集的面部图像进行处理，获取人脸图像，对获取到的人脸图像进行区域分割；
对分割后的区域人脸图像输入深度学习神经网络模型检测黄褐斑区域，分割出黄褐斑区域中的黄褐斑图像，计算分割出黄褐斑图像的色度值，进而计算黄褐斑图像面积及严重程度评分；
所述深度学习神经网络模型包括用于检测黄褐斑区域的第一深度学习神经网络模型和用于分割黄褐斑图像的第二深度学习神经网络模型，第一深度学习神经网络模型输入的数据为分割后的区域人脸图像，输出检测到并标注的黄褐斑区域人脸图像至第二深度学习神经网络模型，第二深度学习神经网络模型输出黄褐斑区域的黄褐斑图像分割结果图。


2.根据权利要求1所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，黄褐斑区域检测时，第一深度学习神经网络模型由预处理层将输入的区域人脸图像大小调整为固定值，将调整后人脸图像划分为n*n个网络，每个网络尺寸相同；
使用第一深度学习神经网络模型对每个网格进行识别，检测是否为黄褐斑图像，以对应网格的中心点为中心随机生成m个不同尺寸矩形区域的预选框，计算预选框中图像数据特征值，将预选框图像和数据计算特征值与第一深度学习神经网络模型特征值权重文件中的特征值匹配计算置信度，选择每个网格预选框中置信度最高的作为初始检测结果，将该区域人脸图像上所有重合度大于设定值的初始检测结果合并生成黄褐斑区域检测结果，n、m均为大于零的整数。


3.根据权利要求1所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，黄褐斑区域分割时，第二深度学习神经网络模型由预处理层将输入的黄褐斑区域图像大小调整为固定值，对调整后黄褐斑区域图像进行下采样后得到特征图，提取特征图的特征值，将提取的特征值与训练生成的第二深度学习神经网络模型权重文件记录的黄褐斑区域特征值进行匹配度计算，选择匹配度最高的特征值进行上采样，生成黄褐斑分割效果图。


4.根据权利要求2或3所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，深度学习模型的构建方法是构建数据库，将数据库的图像数据加载至深度学习神经网络模型进行训练，对训练后达到的模型进行性能检测，对未满足性能要求的模型重新训练，直至训练出满足性能要求的深度学习神经网络模型。


5.根据权利要求4所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，深度学习神经网络模型输出的图像数据包括标注文件，第一深度学习神经网络输出图像的标注文件包括黄褐斑区域...

【专利技术属性】
技术研发人员：林彤，杨寅，郭丽芳，葛一平，丁徽，韩童童，
申请(专利权)人：中国医学科学院皮肤病医院中国医学科学院皮肤病研究所，南京所由所以信息科技有限公司，
类型：发明
国别省市：江苏;32