一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法技术

本发明专利技术提出了一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法。本发明专利技术的步骤如下：1、在源域和目标域之间，利用对抗生成网络模型进行跨域数据增强来缩小域偏移。2、构建两个门控网络自适应学习最佳样本权重。其中构建一个专家门控网络自适应学习最优特征权重，一个肤色门控网络自适应学习最优肤色权重。3、在源域和目标域之间，利用多核的最大化均值差异方法对样本特征进行对齐，目的是缩小源域与目标域之间的域偏差。4、根据上述步骤建立多任务端到端的深度学习模型，在特定数据集上训练整个网络，将最终模型在测试集上测试性能。本发明专利技术能针对特定数据集自适应学习最合适的样本权重分配，具有很强的现实性和普适性。具有很强的现实性和普适性。具有很强的现实性和普适性。

【技术实现步骤摘要】
一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法


[0001]本专利技术涉及图像分类领域，尤其涉及一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法。

技术介绍

[0002]随着时代的进步，医学美容的飞速发展，人们开始越来越注重自身皮肤的健康状况，皮肤护理逐渐成为热门话题。痤疮，俗称粉刺，是最常见的皮肤疾病。大约80％的青少年会患痤疮，其中约有3％的男性和12％的女性痤疮症状持续到成年之后。由于新型冠状病毒疫情的影响，人们不得不戴上口罩进行防护。这使得痤疮相关疾病变得更加严重并且发生在更多不同年龄阶段。然而，痤疮也会留下疤痕和色素沉着，往往会导致自卑和抑郁的情绪。所以，大量的痤疮患者迫在眉睫需要更精确的治疗。痤疮的严重程度对于皮肤科医生做出精确、规范的治疗方案至关重要。
[0003]然而，皮肤科医生在对患者皮肤痤疮严重程度评级过程中，会出现因个体主观性、经验不足等因素引起的误诊现象，间接造成患者病情继续恶化。随着深度学习技术的发展，基于深度学习的各类智能辅助诊断算法不断突破和革新，在医学图像分析的各类传统诊断任务和新兴任务中，比如医学图像分类、检测、分割、配准以及基于图像的引导治疗与干预等，均取得了较为可观的成绩，展现了非凡的潜力。
[0004]不同于自然图像领域已经具备了一系列公开完备的大规模有标记数据集，如MNIST、CIFAR、ImageNet等数据集。痤疮图像数据集的标注过程专业性强，有标记的数据集相对稀缺，由于人脸隐私问题的存在，大规模完备可用的数据资源更是少之又少。同时，图像背景、光照、患者肤色的变化会带来数据域的变化。在这种情况下，利用领域自适应方法从小样本数据或少量标记数据中挖掘出具有鉴别性的信息，是切合当前痤疮图像邻域资源特点的有效途径。
[0005]领域自适应，其本质是拟合不同数据域之间的分布差异，通常来说，领域自适应里假定不同域之间的任务是相同的。在机器学习问题中，通常假设测试数据与训练数据有着相同的分布。但是如果这个假设没有得到验证，则模型在测试集上的性能会显著下降。在计算机视觉的应用中，这种分布差异(域偏移)在现实生活中很常见，它们可能是条件变化(例如背景、光线强度等变化)的结果。在分类任务中，它利用一个或多个相关源域中已有的标签数据学习到的知识，指导学习目标域中无标签数据的分类器。在实际生活中，目标域中的数据大多是无标签的或者需要标注的数据量太大，涉及大量的人力工作。因此，在这种情况下，可以选择领域自适应技术来构建目标模型。

技术实现思路

[0006]本专利技术提供了一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法。传统的痘痘分级方法先检测出存在的痘痘，然后计算检测出痘痘的数量，根据该数量对图像进行分级。然而，本专利技术不同于传统的痘痘分级方法，本方法将跨域自适应和图像分类融合在一
个统一的深度神经网络中，完成了一个端到端的深度学习模型，该模型能直接完成对自拍图像的痘痘评级分类任务并且同时完成源域和目标域的跨域自适应任务。在源域和目标域的跨域自适应任务方面，利用对抗生成网络模型实现源域样本与目标域样本之间的风格转换，进而缩小源域样本与目标域样本之间的域偏移，实现源域和目标域的跨域自适应；在自拍图像痘痘分级的图像分类方面，利用跨域自适应模块和自适应肤色敏感模块使得模型在相关的数据集上取得了更好的效果。
[0007]一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法，其步骤如下：
[0008]步骤(1)：图像数据预处理
[0009]由于数据集中图像尺寸大小不一，为了适应深度学习的框架，在模型开始训练之前需要对图像做尺寸变换，统一数据集中图像尺寸。
[0010]步骤(2)：跨域数据增强
[0011]本专利技术引入一个公共可用的数据集作为源域，帮助目标域中分类器的学习。由于源域数据和目标域数据的样本之间存在样本光照不同、样本背景不相似等情况，致使源域数据和目标域数据之间存在域偏移。因此在源域和目标域中，利用对抗生成网络模型进行跨域数据增强来缩小域偏移。
[0012]步骤(3)：构建自适应肤色门控分类模型
[0013]本专利技术认为肤色变化对于痘痘分级存在一定的影响，比如，在皮肤白皙的情况下，出现痤疮、过敏等类似现象，分类器更能够识别出痤疮，以便给出更准确的皮肤质量评价的结果；相反，在黑皮肤的情况下，痤疮是不容易识别的，分类器更难做出正确评价。因此，我们提出构建自适应肤色门控分类模型，肤色门控分类模型能够根据样本自适应学到关于样本肤色的权重向量，使得分类模型性能更好。在源域数据集和目标域数据集中，根据个体类型角(ITA
°
)指标将肤色分为白色、中性、棕褐色、棕色、黑色五类。
[0014]步骤(4)：特征空间对齐
[0015]由于源域数据和目标域数据之间存在域偏移，源域和目标域中各自的真实图像和生成的图像也会存在域偏移，为此，设计基于特征的域对齐损失来弥补域差距。在本方法中使用多核的最大化均值差异方法。
[0016]步骤(5)：模型训练和测试
[0017]根据上述步骤建立多任务端到端的深度学习模型。在特定数据集上，通过反向传播算法对网络参数进行训练，直至整个网络模型收敛，之后将最终模型在测试集上测试性能。
[0018]步骤(1)所述的图像数据预处理，具体如下：
[0019]由于数据集中每张图像的尺寸不一，首先通过双线性插值方法将所有图像统一调整为某固定尺寸。其次对尺寸调整后的图像进行随机裁剪，得到大小为256*256的图像数据。最后对图像进行归一化处理。
[0020]步骤(2)所述的跨域数据增强，其具体过程如下：
[0021]2‑
1.源域是包含n张图像的集合，每张图像都有对应的肤质质量类别标签，记为I
s
＝{(x
i
,y
i
)|1≤i≤n}；目标域是包含m张图像的集合，每张图像都有对应的肤质质量类别标签，记为其中y
i
∈Y和分别是图像x
i
和的类别标签，Y＝{1,2,
…
,N
c
}表示类别标签空间，N
c
是总的类别数量。
[0022]是将源域中的样本转换成具有目标域样本风格的图像生成器，目标域中生成图像的集合记为像的集合记为是将目标域中的样本转换成具有源域样本风格的图像生成器，源域中生成图像的集合记为
[0023]具体公式定义如下：
[0024][0025]其中，其中，指代损失函数；||||1表示取1范数。
[0026]2‑
2.在图像空间和特征空间分别构建一对图像判别器记为和和一对特征判别器记为和和用于判别源域中经过图像判别器网络的样本是真实图像还是生成图像；用于判别目标域中经过图像判别器网络的样本是真实图像还是生成图像。用于判断源域中经过分类网络提取的特征是来自真实图像样本还是来自生成的图像样本；用于判断目标域中经过分类网络提取的特征是来自真实图像样本还是来自生成的图像样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法，其特征在于包括如下步骤：步骤(1)：图像数据预处理，统一数据集中图像尺寸；步骤(2)：跨域数据增强，引入一个公共可用的数据集作为源域，帮助目标域中分类器的学习；步骤(3)：构建自适应肤色门控分类模型；步骤(4)：特征空间对齐，设计基于特征的域对齐损失来弥补域差距；步骤(5)：模型训练和测试；建立多任务端到端的深度学习模型，在特定数据集上，通过反向传播算法对网络参数进行训练，直至整个网络模型收敛。2.根据权利要求1所述的一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法，其特征在于步骤(2)所述的跨域数据增强，其具体过程如下：2
‑
1.源域是包含n张图像的集合，每张图像都有对应的肤质质量类别标签，记为I
s
＝{(x
i
,y
i
)|1≤i≤n}；目标域是包含m张图像的集合，每张图像都有对应的肤质质量类别标签，记为其中y
i
∈Y和分别是图像x
i
和的类别标签，Y＝{1,2,
…
,N
c
}表示类别标签空间，N
c
是总的类别数量；是将源域中的样本转换成具有目标域样本风格的图像生成器，目标域中生成图像的集合记为集合记为是将目标域中的样本转换成具有源域样本风格的图像生成器，源域中生成图像的集合记为具体公式定义如下：其中，x
i
∈I
s
，指代损失函数；|| ||1表示取1范数；2
‑
2.在图像空间和特征空间分别构建一对图像判别器记为和和一对特征判别器记为和用于判别源域中经过图像判别器网络的样本是真实图像还是生成图像；用于判别目标域中经过图像判别器网络的样本是真实图像还是生成图像；用于判断源域中经过分类网络提取的特征是来自真实图像样本还是来自生成的图像样本；用于判断目标域中经过分类网络提取的特征是来自真实图像样本还是来自生成的图像样本；其中在图像空间和特征空间的判别损失具体如下公式所示：其中表示分类网络，s代表源域，t代表目标域，d取值为s和t；
其中，l
i
表示第i张样本图像的真实标签；当用于计算图像空间的判别损失时，当用于计算特征空间的判别损失时，ψ(x)是中间参数变量。3.根据权利要求2所述的一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法，其特征在于步骤(3)所述构建自适...

【专利技术属性】
技术研发人员：谭敏，王瑞瑞，俞俊，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：