一种基于深度学习的舌象实时分割方法技术

本发明专利技术提供了一种基于深度学习的舌象实时分割方法，包括以下步骤：步骤1：建立基于移动端拍摄的舌象数据集；步骤2：对数据集进行预处理并划分；步骤3：构建舌象实时分割网络模型对舌象图片进行特征提取；步骤4：构建多尺度信息融合模块插入模型架构中，提升舌象分割精确度；步骤5：构建损失函数，对模型参数进行训练优化；步骤6、使用优化后的模型实现舌象图片实时分割。本发明专利技术提供的一个基于深度学习的舌象实时分割方法，深度学习模型参数量少，能够适应移动端应用，减少移动端计算压力。且该方法提出的模型充分利用卷积上下文特征，使得模型精确度达到99.01%。与现有技术相比，既提升了实时预测的速度，又有很高的精度。又有很高的精度。

【技术实现步骤摘要】
一种基于深度学习的舌象实时分割方法


[0001]本专利技术涉及舌象实时分割，特别涉及一种基于深度学习的舌象实时分割方法。

技术介绍

[0002]舌诊是中医治疗过程中关键步骤之一，为医生了解病人体制提供了重大的帮助。在现代医学治疗方案中，舌诊一般包括以下步骤：（1）舌头图像采集，（2）舌头图像分割，（3）舌头颜色校正，（4）疾病诊断。其中，舌头的自动分割在整个过程中起着非常重要的作用，通常研究者们会使用神经网络技术对病人的舌象进行分割，以此来提取舌象的有效信息，作为下一步会诊信息的参考。
[0003]近年来，随着互联网医院的发展，利用移动设备的便携性开发舌诊系统引起了人工智能界的广泛关注。然而，很多基于神经网络技术的舌象分割方案模型规模大，不适合在远程舌诊过程中使用。由于病人在随即环境下拍摄，图像质量低且移动端设备计算能力有限，舌象实时分割具有挑战性。CN113781468A 所提出的轻量级卷积神经网络的舌象分割方法，其模型参数量较多，且模型没有充分利用卷积特征的上下文语义信息。

技术实现思路

[0004]1.所要解决的技术问题：现有的舌象实时分割方法舌象分割方案模型规模大，不适合在远程舌诊过程中使用，而且模型参数量较多，且模型没有充分利用卷积特征的上下文语义信息。
[0005]2.技术方案：为了解决以上问题，本专利技术提供了一种基于深度学习的舌象实时分割方法，包括以下步骤：步骤1：建立基于移动端拍摄的舌象数据集；步骤2：对数据集进行预处理并划分；步骤3：构建舌象实时分割网络模型对舌象图片进行特征提取；步骤4：构建多尺度信息融合模块插入模型架构中，提升舌象分割精确度；步骤5：构建损失函数，对模型参数进行训练优化；步骤6、使用优化后的模型实现舌象图片实时分割。
[0006]在步骤1中，数据包含不少于650张舌头图片，基于在不同环境下拍摄。
[0007]所述步骤2中对数据集进行预处理并划分具体的方法为：将所有图片数据的大小调整为256
×
256，然后对数据进行划分，其中不少于500张作为训练集，不少于150张作为测试集，所示训练集中的图片张数是测试集中的3倍以上。
[0008]所述步骤3中构建舌象实时分割网络模型对舌象图片进行特征提取，具体方法为：一：特征提取模块主要包含编码器与解码器；二：编码器模块采用的是轻量级卷积神经网络GhostNet；三：解码器模块采用的是卷积特征跳跃连接，再进行双线性插值与卷积运算预测最终结果。
[0009]所述编码器模块输入是256
×
256
×
3的舌头图片，经过GhostNet特征提取，输出为16
×
16
×
112的特征图，所述解码器模块采用的是将所述编码器模块输出特征图进行双线性插值，再与GhostNet网络第二个卷积模块进行拼接，拼接之后得到的特征图再进行双线
性插值和卷积得到最终的预测结果，所述第二卷积模块中特征图是128
×
128
×
16。
[0010]所述步骤4中构建多尺度信息融合模块插入模型架构中，提升舌象分割精确度。具体方法为：在编码器与解码器连接部分插入多尺度信息融合模块；然后多尺度信息融合模块采用金字塔池化重建编码器输出特征图，重建后的特征图作为解码器输入。
[0011]在步骤3的编码器与解码器连接部分插入多尺度信息融合模块，所述信息融合模块模块对编码器输出16
×
16
×
112的特征图采用金字塔池化重建编码器输出特征图，重建后的特征图作为解码器输入，金字塔池化包括使用卷积核大小为1
×
1，2
×
2，3
×
3，6
×
6的卷积对编码器输出特征图进行卷积，将得到的卷积特征图进行双线性插值得到原始特征图大小，并将所有特征图进行拼接，作为解码器的输入。
[0012]所述步骤5中构建损失函数，对模型参数进行训练优化，具体方法为：舌象实时分割方法先采用的损失函数为Dice loss，然后采用Adam优化器对模型参数进行优化，学习率设置为0.01。
[0013]3.有益效果：本专利技术提供的一个基于深度学习的舌象实时分割方法，深度学习模型参数量少，能够适应移动端应用，减少移动端计算压力。且该方法提出的模型充分利用卷积上下文特征，使得模型精确度达到99.01%。本专利技术与现有技术相比，既提升了实时预测的速度，又有很高的精度，模型的鲁棒性得到了明显的提高。
具体实施方式
[0014]下面结合实施例来对本专利技术进行详细说明。
实施例
[0015]一种基于深度学习的舌象实时分割方法，步骤1，建立基于移动端拍摄的舌象数据集，该数据集包含650张舌头图片，都是基于手机在不同环境下拍摄。
[0016]步骤2，对该数据集进行预处理并划分：将所有舌头图片大小调整为256
×
256；之后再对数据集进行划分，其中500张图片作为训练集，150张图片作为测试集。
[0017]步骤3，构建舌象实时分割网络模型对舌象图片进行特征提取：所构建的特征提取模块主要包含编码器与解码器。编码器部分采用的是GhostNet特征提取模块，编码器输入是256
×
256
×
3的舌头图片，经过GhostNet特征提取，输出为16
×
16
×
112的特征图。解码器部分采用的是将编码器输出特征图进行双线性插值，再与GhostNet网络第二个卷积模块（128
×
128
×
16）进行拼接，拼接之后得到的特征图再进行双线性插值和卷积得到最终的预测结果。
[0018]步骤4，所构建多尺度信息融合模块插入模型架构中，提升舌象分割精确度。在步骤3的编码器与解码器连接部分插入多尺度信息融合模块，该模块对编码器输出16
×
16
×
112的特征图采用金字塔池化重建编码器输出特征图，重建后的特征图作为解码器输入。金字塔池化主要包括使用卷积核大小为1
×
1，2
×
2，3
×
3，6
×
6的卷积对编码器输出特征图进行卷积，将得到的卷积特征图进行双线性插值得到原始特征图大小，并将所有特征图进行拼接，作为解码器的输入。
[0019]步骤5，构建损失函数，对模型参数进行训练优化。采用的损失函数为Dice loss，
采用Adam优化器对模型参数进行优化，学习率设置为0.01。
[0020]步骤6，使用优化后的模型实现舌象图片实时分割。
[0021]为了验证本专利技术的分割结果，即合理性与有效性，本专利技术与其他方法进行了对比，从表1中可以看出：本专利技术提出基于深度学习的舌象实时分割方法相较于其他方法处理速度更快。从表2中可以看出：本专利技术提出的基于深度学习的舌象实时分割方法相较于其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的舌象实时分割方法，包括以下步骤：步骤1：建立基于移动端拍摄的舌象数据集；步骤2：对数据集进行预处理并划分；步骤3：构建舌象实时分割网络模型对舌象图片进行特征提取；步骤4：构建多尺度信息融合模块插入模型架构中，提升舌象分割精确度；步骤5：构建损失函数，对模型参数进行训练优化；步骤6、使用优化后的模型实现舌象图片实时分割。2.如权利要求1所述的方法，其特征在于：在步骤1中，数据包含不少于650张舌头图片，基于在不同环境下拍摄。3.如权利要求2所述的方法，其特征在于：所述步骤2中对数据集进行预处理并划分具体的方法为：将所有图片数据的大小调整为256
×
256，然后对数据进行划分，其中不少于500张作为训练集，不少于150张作为测试集，所示训练集中的图片张数是测试集中的3倍以上。4.如权利要求1
‑
3任一项权利要求所述的方法，其特征在于：所述步骤3中构建舌象实时分割网络模型对舌象图片进行特征提取，具体方法为：一：特征提取模块主要包含编码器与解码器；二：编码器模块采用的是轻量级卷积神经网络GhostNet；三：解码器模块采用的是卷积特征跳跃连接，再进行双线性插值与卷积运算预测最终结果。5.如权利要求4所述的方法，其特征在于：所述编码器模块输入是256
×
256
×
3的舌头图片，经过GhostNet特征提取，输出为16
×
16
×
112的特征图，所述解码器模块采用的是将所述编码器模块输出特征图...

【专利技术属性】
技术研发人员：张伶俐，
申请(专利权)人：南京科技职业学院，
类型：发明
国别省市：