一种基于自监督学习的皮损图像智能分类装置制造方法及图纸

本发明专利技术涉及一种基于自监督学习的皮损图像智能分类装置，属于图像处理技术领域，装置中包含基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块、输出显示模块；在神经网络训练模块中应用多通道自监督学习的训练方法，得到适用于皮肤特征提取的神经网络，用以解决现有技术因皮肤皮损图像数量不足而导致的神经网络过拟合问题，最终得到适用于临床环境下快速检测的皮损图像分类方法及装置，为皮肤科医生减轻负担，提高服务效率。率。率。

【技术实现步骤摘要】
一种基于自监督学习的皮损图像智能分类装置


[0001]本专利技术属于图像处理
，涉及一种基于自监督学习的皮损图像智能分类装置。

技术介绍

[0002]皮肤病作为全球第四大非致命性疾病，影响了全球不同地区和年龄30
‑
70％的人；而且皮肤病种类繁多，仅《临床皮肤病学》就记录了2000多种，既有常见的鳞屑性皮肤病又有严重生命危害的恶性黑色素瘤。不同皮肤病之间皮肤图像特征相似高而相同皮肤病在不同部位的皮损差异性大从而导致普通门诊医生确诊困难。中国拥有1.5亿的皮肤病患者，患者年龄上日趋势年轻化且多位于经济发展落后地区，而皮肤病专科医生数量少且分布不均衡对皮肤病的及时治疗造成阻碍。
[0003]近年来，大数据、人工智能等理论和技术的兴起与发展，为实现皮肤病辅助诊疗提供了新的研究思路。借助图像处理、模式识别、机器学习等人工智能技术研发皮肤病辅助诊疗系统已成为当下的研究热点。皮肤病作为全球公认的最适合通过照片可视化就医的病种，应该使用新一代信息技术为皮肤科医生减轻负担，提升医疗现代化水平，优化资源配置，提高服务效率。
[0004]利用智能信息化手段对皮损图像进行分类主要分为传统技术和机器学习方法。对于传统信息技术来说，需对每一种皮肤图像的每一种皮损特征进行人工设计特征提取器，然后进行分类，其效率低，准确率也不高。对于机器学习方法来说，存在输入图像和分类类别两方面问题。现有使用人工智能技术的皮损图像分类系统使用皮肤镜图片作为输入，对于辅助诊断来说不够便携。且现有皮损图像分类网络注重于发病率较低的皮肤癌，对于常见皮损图像分类神经网络研究较少。
[0005]神经网络善于发掘训练样本中隐含的规律，实现快速分类，然而神经网络模型需要大量的训练样本，当样本较少时，很容易出现过拟合的问题，但现有开放环境下的皮损图像数据严重不足。除此数量少之外，现有开放环境下皮损图像类别不符合实际发病率，注重于低发病率的皮肤癌；而对于常见的痤疮、湿疹等200种常见皮肤皮损图像却很少。以上导致神经网络在皮损图像分类上应用困难。

技术实现思路

[0006]为了解决现有技术中的不足，本专利技术的目的在于提供一种基于自监督学习的皮损图像智能分类装置，通过构建神经网络，借助自监督学习辅助任务，让神经网络的特征特区层可以实现对皮肤图像的多特征提取，接着对神经网络的特征提取层输出进行分类从而实现对皮损图片的神经网络分类，为皮肤科医生减轻负担，提高服务效率。
[0007]为了实现上述目的，本专利技术采用的具体方案为：
[0008]一种基于自监督学习的皮损图像智能分类装置，包括基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块和输出显示模块；
所述基础模块包括供电装置、处理器、存储器和交互总线；所述图像采集模块，用于采集开放环境下的皮损图像；所述图像处理模块，对采集的皮损图像进行处理，并将处理后的图像分别输入到神经网络训练模块和神经网络分类模块；所述神经网络分类模块采用皮肤图像分类神经网络对图像进行分类运算得到分类预测结果，并将所述分类预测结果通过所述输出显示模块进行输出显示；所述神经网络训练模块在输出显示后对皮肤图像分类神经网络进行更新并同步到神经网络分类模块。
[0009]优选地，所述图像处理模块包含图像处理程序G0、G1、G2、G3、G4，其中G0、G1、G2、G3输出结果被神经网络训练模块使用，处理程序G4的结果为神经网络分类模块使用；图像处理程序G0对存储器中图片进行随机水平翻转、随机垂直翻转、随机裁剪大小、图片尺寸调整为224*224像素，得到图像I0。图像处理程序G0将存储器中的训练图片进行增强从而加大数据量防止神经网络训练过拟合；图像处理程序G1对图像I0
中
的随机区域进行丢弃，将图像丢弃区域填充为255，将丢弃后图像记为I1，丢弃区域的图像记为并将I1和进行归一化处理；图像处理程序G2对图像I0进行两次随机颜色抖动、灰度变换、高斯模糊操作，得到图像I
21
、I
22
，由于两次操作都随机进行，故I
21
、I
22
不一定完全相等，最后对I
21
和I
22
进行归一化处理；图像处理程序G3对图像I0进行一次随机翻转，角度限定为(0
°
,90
°
,180
°
,270
°
)并保留反转后的图像I3和及其对应标签y3(0,1,2,3)，最终对图像I3和进行归一化处理；图像处理程序G4对存储器中的刚拍摄的图片进行尺寸调整，让图片大小保持为224*224像素，然后对图片进行归一化和标准化处理，从而确保拍摄图像不受光线造成干扰。
[0010]优选地，所述神经网络训练模块包含自监督学习预训练神经网络方法和微调预训练神经网络方法；通过自监督学习预训练神经网络方法构建自监督学习神经网络，通过对自监督学习神经网络的训练得到预训练神经网络，然后通过微调预训练神经网络方法，最终得到皮肤图像分类神经网络，并将皮肤图像分类神经网络应用到神经网络分类模块。
[0011]更进一步地，所述神经网络训练模块，皮肤图像分类神经网络的训练方法，具体包括以下步骤：A.在装置的存储器中构建由无标签的皮肤图像、有标签的皮损图像组成的数据集；B.将数据集两个部分按照K折交叉验证划分为训练集、测试集、验证集；C.建立自监督学习预训练神经网络方法的主干网络，将ResNet50的池化层和分类器进行丢弃，保留剩余的卷积层作为特征提取层，将修改后的网络设为自监督学习预训练神经网络方法的主干网络；D.建立自监督学习的抠图辅助任务分支网络，设置一个具有五次上卷积模块的分支网络，每个上卷积模块输出的采样是输入的两倍，并将最后输出与原图进行插值运算从而计算损失；
E.建立自监督学习的对比学习辅助任务分支网络，设置一个具有一个预测头的对比学习分支网络，预测头由两个多层感知机和多层感知机之间的ReLu激活函数组成，每个多层感知机由全连接层和BN层组成，该网络计算输入图像之间的相似度，使增强图像之间相似度越大，与其他图像相似度越小；F.建立自监督学习的判别辅助任务分支网络，设置一个拼接层、池化层和预测层，预测层由ReLu激活函数和全连接层组成，该分支网络判断两幅图像之间的旋转关系并通过交叉熵损失函数计算损失；G.将主干网络、抠图辅助任务分支网络、对比学习辅助任务分支网络、判别辅助任务分支网络结合起来构成自监督学习神经网络；H.对步骤A中的训练集通过图像处理模块的G0、G1、G2、G3程序，然后得到图像I1、I
21
、I
22
、I3，I.将图像I1、输入主干网络和抠图辅助任务分支网络并计算损失，I
21
、I
22
输入主干网络和对比学习辅助任务分支网络并计算损失，I3、输入主干网络和判别辅助任务分支网络并计算损失；J.将三种辅助任务的损失按照比例进行损失联合并通过梯度下降法更新自监督本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的皮损图像智能分类装置，其特征在于：包括基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块和输出显示模块；所述基础模块包括供电装置、处理器、存储器和交互总线；所述图像采集模块，用于采集开放环境下的皮损图像；所述图像处理模块，对采集的皮损图像进行处理，并将处理后的图像分别输入到神经网络训练模块和神经网络分类模块；所述神经网络分类模块采用皮肤图像分类神经网络对图像进行分类运算得到分类预测结果，并将所述分类预测结果通过所述输出显示模块进行输出显示；所述神经网络训练模块在输出显示后对皮肤图像分类神经网络进行更新并同步到神经网络分类模块。2.根据权利要求1所述的一种基于自监督学习的皮损图像智能分类装置，其特征在于：所述图像处理模块包含图像处理程序G0、G1、G2、G3、G4，其中G0、G1、G2、G3输出结果被神经网络训练模块使用，处理程序G4的结果为神经网络分类模块使用；图像处理程序G0对存储器中图片进行随机水平翻转、随机垂直翻转、随机裁剪大小、图片尺寸调整为224*224像素，得到图像I0。图像处理程序G0将存储器中的训练图片进行增强从而加大数据量防止神经网络训练过拟合；图像处理程序G1对图像I0中的随机区域进行丢弃，将图像丢弃区域填充为255，将丢弃后图像记为I1，丢弃区域的图像记为I`1，并将I1和I`1进行归一化处理；图像处理程序G2对图像I0进行两次随机颜色抖动、灰度变换、高斯模糊操作，得到图像I
21
、I
22
，由于两次操作都随机进行，故I
21
、I
22
不一定完全相等，最后对I
21
和I
22
进行归一化处理；图像处理程序G3对图像I0进行一次随机翻转，角度限定为(0
°
,90
°
,180
°
,270
°
)并保留反转后的图像I3和I`3及其对应标签y3(0,1,2,3)，最终对图像I3和I`3进行归一化处理；图像处理程序G4对存储器中的刚拍摄的图片进行尺寸调整，让图片大小保持为224*224像素，然后对图片进行归一化和标准化处理，从而确保拍摄图像不受光线造成干扰。3.根据权利要求2所述的一种基于自监督学习的皮损图像智能分类装置，其特征在于：所述神经网络训练模块包含自监督学习预训练神经网络方法和微调预训练神经网络方法；通过自监督学习预训练神经网络方法构建自监督学习神经网络，通过对自监督学习神经网络的训练得到预训练神经网络，然后通过微调预训练神经网络方法，最终得到...

【专利技术属性】
技术研发人员：张明川，孔繁鹏，朱军龙，吴庆涛，刘牧华，赵旭辉，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：