基于深度学习的皮肤病舌象分类模型、建立方法及应用技术

本发明专利技术涉及基于深度学习的皮肤病舌像分类模型、建立方法及应用，属于中医智能诊断算法领域，本发明专利技术通过对皮肤病患者舌象进行分析，提取舌象的特征信息并进行分类，建立舌象分类模型。采用深度网络模型实现特征的多层级融合，同时引入注意力机制，增强关键特征之间的联系，提高模型的分类性能，实现基于皮肤病舌象的智能症候分类，辅助医生诊断，它可以减少舌诊过程中的主观性，避免由于经验不足或人为误差带来的主观干扰，对于实现中医辨证的规范化和标准化以及中医的推广与传承具有重要的意义。的意义。

【技术实现步骤摘要】
基于深度学习的皮肤病舌象分类模型、建立方法及应用


[0001]本专利技术涉及中医智能诊断算法领域，具体涉及一种基于深度学习的皮肤病舌像分类模型、建立方法及应用。

技术介绍

[0002]中医治疗皮肤病，是把局部改变与整体的气血、经络以及脏腑、津液等的改变加以联系起来，内外兼治，通过观察皮损的特征，确定所属的皮肤病类型，然后根据中医辨证论治原则，确定所属证候进行用药。中医在治疗皮肤病时不同的皮肤病用不同的方法治疗，同时，相同的病症，不同阶段治疗方法也不相同，因此对皮肤病辨证施治才能够提高治疗效果。
[0003]在中医辨证的过程之中，舌象的观察非常重要，根据舌象能了解机体正气之盛衰，病邪之深浅，以指导临床辨证和治疗。观察舌象辨清舌体和舌苔颜色的相关属性，同时观察皮损颜色的不同，对于判断皮肤病的病情发展十分重要。因此，把舌象和皮损特征结合起来综合分析，理清它们之间的辩证关系，就能对皮肤病进行有效的治疗。舌诊是中医辨证论治的重要依据，然而传统的舌诊主要依赖于医生的经验，不同的医生对舌象的辨识能力存在一定的差异，具有一定的主观性与不确定性；同时在舌象诊断发展过程中，许多经验未能得到传承与发展，缺少统一化、规范化的标准；其次，不同光源对医师能否做出正确的舌象诊断结果产生较大的影响。因此，需要为舌诊建立一个客观的、定量的诊断标准。
[0004]目前，出现了一些中医智能诊断模型，其中大多是直接应用较为成熟的人工智能方法，如知识工程、数理统计、机器学习和深度学习等。然而这些方法也存在一定的局限性，知识工程在解决推理链过长导致的矛盾推理和循环推理上存在困难；数理统计不能有效模拟中医辨证的复杂映射关系；机器学习对高质量的标注数据依赖性太强等。因此，要根据中医辨证特点，设计符合中医辨证理论的皮肤病智能辨证模型，能够更好的模拟中医辨证思维，辅助医生诊断，服务于中医临床。
[0005]中医辨证通过望、闻、问、切四种诊法收集病人信息，依据四诊合参原则，利用中医专家自身的知识和经验加以分析和总结，确定疾病的病性、病位，从而最终确定疾病的证型，并根据证型选择适宜的治疗方案。

技术实现思路

[0006]针对上述问题，本专利技术的目的一在于提供一种基于深度学习的舌象分类模型的建立方法，目的二在于提供一种基于深度学习的舌象分类模型，目的三在于提供所述舌象分类模型在制备皮肤病辅助诊断装置中的应用，目的四在于提供一种基于舌象特征的皮肤病辅助诊断装置。本专利技术结合皮肤病患者的舌象数据融合建模，有效地提升了中医辨证的客观性和准确性。
[0007]为了实现上述目的，本专利技术采用的具体方案为：一种基于深度学习的皮肤病舌象分类模型的建立方法，包括以下步骤：
步骤1：使用手机或者舌象采集设备拍摄舌象；步骤2：对步骤1中得到的舌象进行预处理，分割出舌体；具体方法为：首先使用labelme对收集到的舌象进行手工标注，将舌象从背景中划分出来，标注结束后，创建mask数据集；接着使用Mask
‑
RCNN网络对mask数据集进行训练，并保存训练好的舌象分割模型；最后利用保存的舌象分割模型，对图像进行分割；步骤3：将步骤2中分割好的舌象输入CBAM_MobilenetV2网络模型中提取特征；将任意尺寸的舌象送入到网络模型中，首先通过卷积层提取舌象特征，接着把提取的特征送到通道和空间注意力模块获得加权结果；将高层低分辨率的舌象特征进行上采样，并将采样后的特征图与低层的特征图相加，实现高低层特征的融合；步骤4：融合后的特征作为softmax分类器的输入，进行分类器的训练，最终得到舌象分类模型。
[0008]一种基于深度学习的皮肤病舌象分类模型，是采用上述建立方法建立得到。
[0009]上述舌象分类模型在制备皮肤病辅助诊断装置中的应用。
[0010]一种基于舌象特征的皮肤病辅助诊断装置，包括：舌象采集模块，用于原始舌象的采集；舌象预处理模块，用于对采集到的舌象进行预处理，使用Mask R
‑
CNN网络对舌象进行分割，将分割好的舌象随机划分为训练集和测试集；特征提取模块，用于将分割好的舌象输入神经网络模型中进行特征提取，获取皮肤病舌象数据；所述神经网络模型为CBAM_MobilenetV2，由标准卷积层、深度可分离卷积层、批归一化层、平均池化层、全连接层以及最后的softmax分类器组成；通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制；神经网络分类模块，将处理好的皮肤病舌象数据进行标注，每张舌象上都打上标签；随后将带有标签数据的舌象输入到神经网络模型中，根据损失结果调整网络模型，提取最适合用于辨证的舌象特征，训练完成后保存皮肤病舌象分类模型，使用测试集，对训练好的模型进行测试；类别和概率输出模块，将训练好的舌象分类模型部署到移动端，在移动端输入待测试的舌象，然后加载到舌象分类模型中，计算每个类别结果的概率，最后概率最高的类别作为结果进行输出，输出形式为症候类别以及概率；供电模块，用于对舌象采集模块、舌象预处理模块、特征提取模块、神经网络分类模块、以及类别和概率输出模块进行供电。
[0011]进一步地，所述特征提取模块中，在MobilenetV2中使用改进的残差连接，先用1
×
1的卷积将输入的数据转化为高维，接着利用深度可分离卷积提取特征。
[0012]更进一步的，在倒残差块中使用的激活函数改为线性激活函数，即在1
×
1卷积扩展通道数，后面接RELU6激活函数，再用3
×
3的深度卷积整合特征，后接RELU6激活函数，最后的1
×
1卷积降维部分，不使用RELU6激活函数，而是使用Linear保留线性特征；其中RELU6函数定义为：f(x)＝min{max(0,x),6}；通过shortcut连接，融合不同层的舌象特征；在每一个倒残差块中，输入特征为h
×
w
×
k，通过1
×
1卷积后的输出为h
×
w
×
(tk)，进一步的h
×
w
×
(tk)作为下一层的输入，经
过3
×
3的深度卷积后的输出为最后经过1
×
1卷积后，输出为其中h，w分别为feature map的长和宽，k为通道数，t为扩展因子，即通道扩充的倍数，s代表步长；当s＝1的时候，输入特征和输出特征尺寸相同，使用Add的方式将输入和输出特征连接到一起；MobilenetV2是由多个倒残差块构建成的，在倒残差块结构中添加注意力机制；当步长s＝1的时候，在倒残差结构中添加通道和空间注意力机制，即在网络中的1、11、17层的bottleneck中嵌入注意力机制，关注辨证所用的关键信息，抑制不必要的特征信息；在步长为2的线性瓶颈结构中，即Mobilenet网络中的第2、4、7、14、18层后添加3条并行分支进行多尺度特征提取，卷积核大小分别为1
×
1、3
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的皮肤病舌象分类模型的建立方法，其特征在于：包括以下步骤：步骤1：使用手机或者舌象采集设备拍摄舌象；步骤2：对步骤1中得到的舌象进行预处理，分割出舌体；具体方法为：首先使用labelme对收集到的舌象进行手工标注，将舌象从背景中划分出来，标注结束后，创建mask数据集；接着使用Mask
‑
RCNN网络对mask数据集进行训练，并保存训练好的舌象分割模型；最后利用保存的舌象分割模型，对图像进行分割；步骤3：将步骤2中分割好的舌象输入CBAM_MobilenetV2网络模型中提取特征；将任意尺寸的舌象送入到网络模型中，首先通过卷积层提取舌象特征，接着把提取的特征送到通道和空间注意力模块获得加权结果；将高层低分辨率的舌象特征进行上采样，并将采样后的特征图与低层的特征图相加，实现高低层特征的融合；步骤4：融合后的特征作为softmax分类器的输入，进行分类器的训练，最终得到舌象分类模型。2.一种基于深度学习的皮肤病舌象分类模型，是采用权利要求1所述的建立方法建立得到。3.根据权利要求2所述的舌象分类模型在制备皮肤病辅助诊断装置中的应用。4.一种基于舌象特征的皮肤病辅助诊断装置，其特征在于：包括：舌象采集模块，用于原始舌象的采集；舌象预处理模块，用于对采集到的舌象进行预处理，使用Mask R
‑
CNN网络对舌象进行分割，将分割好的舌象随机划分为训练集和测试集；特征提取模块，用于将分割好的舌象输入神经网络模型中进行特征提取，获取皮肤病舌象数据；所述神经网络模型为CBAM_MobilenetV2，由标准卷积层、深度可分离卷积层、批归一化层、平均池化层、全连接层以及最后的softmax分类器组成；通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制；神经网络分类模块，将处理好的皮肤病舌象数据进行标注，每张舌象上都打上标签；随后将带有标签数据的舌象输入到神经网络模型中，根据损失结果调整网络模型，提取最适合用于辨证的舌象特征，训练完成后保存皮肤病舌象分类模型，使用测试集，对训练好的模型进行测试；类别和概率输出模块，用于将训练好的舌象分类模型部署到移动端，在移动端输入待测试的舌象，然后加载到舌象分类模型中，计算每个类别结果的概率，最后概率最高的类别作为结果进行输出，输出形式为症候类别以及概率；供电模块，用于对舌象采集模块、舌象预处理模块、特征提取模块、神经网络分类模块、以及类别和概率输出模块进行供电。5.根据权利要求4所述的皮肤病辅助诊断装置，其特征在于：所...

【专利技术属性】
技术研发人员：郑瑞娟，王莎莎，王琳，张明川，朱军龙，吴庆涛，冀治航，刘牧华，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：