一种基于痤疮的人类面部与猕猴面部的关联性计算方法技术

本发明专利技术公开了一种基于痤疮的人类面部与猕猴面部的关联性计算方法，属于属于数字图像处理领域和深度学习领域

【技术实现步骤摘要】
一种基于痤疮的人类面部与猕猴面部的关联性计算方法


[0001]本专利技术属于数字图像处理领域和深度学习领域，具体涉及基于多模态融合深度学习的人类面部痤疮
、
猕猴裸面区域轮廓的自动分割技术，以及痤疮分布与猕猴面部被毛区域的关联性验证方法
。

技术介绍

[0002]面部作为人们日常交流的第一张名片，其美观程度直接影响在他人心中的第一印象，重要性不言而喻
。《
中国痤疮治疗指南
(2019
修订版
)》
指出，痤疮是一种好发于青春期的慢性皮肤炎症，中国人群超过
95
％的人会有不同程度的痤疮发生，其中部分患者会遗留瘢痕，容易引起焦虑
、
压力
、
抑郁等消极心理，需要重视并规范治疗方法
。
[0003]然而，痤疮的发病机制至今仍未完全阐明，其诱导因素包括但不限于遗传因素
、
激素分泌
、
皮脂过度分泌
、
痤疮丙酸杆菌异常繁殖等
。
当前临床皮肤科普遍认为痤疮发生的前提是皮脂腺大量分泌脂质，从而导致毛囊微生物异常增殖引起炎症和免疫反应
。
[0004]面部
T
区
(
额头与鼻子构成的区域
)
汗腺毛孔多，日常出油严重；面部
U
区
(
左右脸颊区域
)
皮肤较为细腻，出油量少
。
则根据上述发病机制，
T
区应为痤疮常发区，
U
区为痤疮少发区
。
但根据临床诊治痤疮患者发现，重度痤疮患者
U
区的痤疮发生几率非常高，并且痘坑等瘢痕往往出现于
U
区
。
同时，在观察多人痤疮发生区域后发现痤疮易发区域轮廓与猕猴被毛区域轮廓十分相似
。
故而猜想受人类遗传进化影响，面部痤疮常发区域轮廓与猕猴被毛区域相近
。
[0005]因此，针对上述问题，需要一种新型的验证方法，可以有效验证上述猜想，补充痤疮发病机制，建立与猕猴之间的关联，丰富后续实验与诊疗手段
。

技术实现思路

[0006]本专利技术针对目前临床上观察痤疮患者面部痤疮分布区域与猕猴面部被毛区域相似的猜想，设计了一种结合图像彩色空间与多模态深度学习的验证方法，以此实现客观描述面部痤疮发生区域与猕猴被毛区域之间关联性的目的
。
[0007]本专利技术技术方案是一种基于痤疮的人类面部与猕猴面部的关联性计算方法，该方法包括以下步骤：
[0008]步骤1：人脸数据获取；使用高分辨率相机采集人群面部平行偏振光谱图像与近红外光谱拍摄图像；
[0009]步骤2：对步骤1采集到的样本图像，进行筛选，剔除有明显皮肤疾病
(
如白癜风
、
红斑狼疮等
)
的患者图像，按照
1:9
的比例划分训练集与测试集；
[0010]步骤3：对步骤2处理后的平行偏振光谱图像进行预处理；
[0011]步骤3‑1：对步骤2获取的平行偏振光谱图像进行灰度化处理；
[0012]步骤3‑2：对步骤3‑1处理后的图像采用
OpenCV Dlib
对图像中的面部信息进行人脸关键点标定；
[0013]步骤3‑3：利用步骤3‑2处理后的得到的人脸关键点以及
OpenCV fillPoly
函数确定面部的双眼
、
鼻子以及嘴巴轮廓，获取上述面部器官的掩膜；
[0014]步骤4：对步骤2得到的近红外光谱图像进行面部痤疮标注；
[0015]步骤4‑1：对步骤3‑3获取的面部器官掩膜叠加至步骤1获取的近红外光谱图像上；
[0016]步骤4‑2：对步骤4‑1获取的叠加掩膜图像转换为
HSV
彩色空间表示的图像，根据痤疮炎症区域与正常皮肤差异设置阈值范围；
[0017]步骤4‑3：对步骤4‑2获取的图像进行阈值分割，获得分割图像，其对应分割区域设置为1，背景区域设置为0；
[0018]步骤4‑4：对步骤4‑3获取的图像进行连通域计算，对获得的各个连通域做外接矩形；
[0019]步骤4‑5：将步骤4‑4获取的外接矩形数据转换为
JSON
格式文件；
[0020]步骤4‑6：将步骤4‑5获取的
JSON
文件与步骤2获取的平行偏振光谱图像结合使用标注软件
labelme
进行修正，保证没有漏标
、
误标；
[0021]步骤5：对步骤4获取的标注
JSON
文件进行处理，将其转换为
VOC
格式文件；
[0022]步骤6：对步骤1获得的平行偏振光谱图像与近红外光谱图像在通道方向进行融合，图像尺寸由
(2000,3000,3)
变为
(2000,3000,6)
；
[0023]步骤7：搭建基于
YOLOv5
调整的多模态卷积神经网络结构；
[0024]步骤8：将步骤5获取的
VOC
格式标注文件以及步骤6获取融合图像送入步骤7搭建的多模态神经网络进行训练，直到训练成功；
[0025]步骤9：采用步骤8训练好的基于
YOLOv5
调整的多模态卷积神经网络模型对步骤2获取的测试集进行检测，将检测获得的痤疮区域另外保存为二值图像，其中痤疮区域为1，背景区域为0；
[0026]步骤
10
：对步骤9获取的二值图像进行合并处理；
[0027]步骤
10
‑1：确定一个面部模板
M
，以此为基础对其他图像进行调整，以保证所有人面部五官基本对齐；
[0028]步骤
10
‑2：对步骤2获取的测试集平行偏振光谱图像进行灰度化处理；
[0029]步骤
10
‑3：对步骤
10
‑2处理后的图像采用
OpenCV Dlib
对图像中的面部信息进行人脸关键点标定；
[0030]步骤
10
‑4：对步骤
10
‑3处理后的图像计算所有特征点的外接矩形中心
O
，计算与模板
M
的特征点外接矩形中心位置之差；
[0031]步骤
10
‑5：对步骤
10
‑3处理后的图像连接鼻子中轴最上方与最下方的两个特征点，计算连接线与垂直线的夹角；
[0032]步骤
10
‑6：对步骤
10
‑3处理后的图像计算所有特征点的外接矩形的长与宽，计算与模板
M
的特征点外接矩形长款比；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于痤疮的人类面部与猕猴面部的关联性计算方法，该方法包括：步骤1：人脸数据获取；使用高分辨率相机采集人群面部平行偏振光谱图像与近红外光谱拍摄图像；步骤2：对步骤1采集到的样本图像，进行筛选，剔除有明显皮肤疾病的患者图像，按照
1:9
的比例划分训练集与测试集；步骤3：对步骤2处理后的平行偏振光谱图像进行预处理；步骤3‑1：对步骤2获取的平行偏振光谱图像进行灰度化处理；步骤3‑2：对步骤3‑1处理后的图像采用
OpenCV Dlib
对图像中的面部信息进行人脸关键点标定；步骤3‑3：利用步骤3‑2处理后的得到的人脸关键点以及
OpenCV fillPoly
函数确定面部的双眼
、
鼻子以及嘴巴轮廓，获取上述面部器官的掩膜；步骤4：对步骤2得到的近红外光谱图像进行面部痤疮标注；步骤4‑1：对步骤3‑3获取的面部器官掩膜叠加至步骤1获取的近红外光谱图像上；步骤4‑2：对步骤4‑1获取的叠加掩膜图像转换为
HSV
彩色空间表示的图像，根据痤疮炎症区域与正常皮肤差异设置阈值范围；步骤4‑3：对步骤4‑2获取的图像进行阈值分割，获得分割图像，其对应分割区域设置为1，背景区域设置为0；步骤4‑4：对步骤4‑3获取的图像进行连通域计算，对获得的各个连通域做外接矩形；步骤4‑5：将步骤4‑4获取的外接矩形数据转换为
JSON
格式文件；步骤4‑6：将步骤4‑5获取的
JSON
文件与步骤2获取的平行偏振光谱图像结合使用标注软件
labelme
进行修正，保证没有漏标
、
误标；步骤5：对步骤4获取的标注
JSON
文件进行处理，将其转换为
VOC
格式文件；步骤6：对步骤1获得的平行偏振光谱图像与近红外光谱图像在通道方向进行融合，图像尺寸由
(2000,3000,3)
变为
(2000,3000,6)
；步骤7：搭建基于
YOLOv5
调整的多模态卷积神经网络结构；步骤8：将步骤5获取的
VOC
格式标注文件以及步骤6获取融合图像送入步骤7搭建的多模态神经网络进行训练，直到训练成功；步骤9：采用步骤8训练好的基于
YOLOv5
调整的多模态卷积神经网络模型对步骤2获取的测试集进行检测，将检测获得的痤疮区域另外保存为二值图像，其中痤疮区域为1，背景区域为0；步骤
10
：对步骤9获取的二值图像进行合并处理；步骤
10
‑1：确定一个面部模板
M
，依次为基础对其他图像进行调整，以保证所有人面部五官基本对齐；步骤
10
‑2：对步骤2获取的测试集平行偏振光谱图像进行灰度化处理；步骤
10
‑3：对步骤
10
‑2处理后的图像采用
OpenCV Dlib
对图像中的面部信息进行人脸关键点标定；步骤
10
‑4：对步骤
10
‑3处理后的图像计算所有特征点的外接矩形中心
O
，计算与模板
M
的特征点外接矩形中心位置之差；步骤
10
‑5：对步骤
10
‑3处理后的图像连接鼻子中轴最上方与最下方的两个特征点...

【专利技术属性】
技术研发人员：刘娟秀，闫咏梅，贺涛，刘伟，张静，刘霖，杜晓辉，郝如茜，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：