一种基于人工智能的舌象识别方法及系统技术方案

本发明专利技术公开了一种基于人工智能的舌象识别方法及系统。首先对获取的原始图像进行处理，得到标注图像；然后通过对标注图像进行舌体分割，得到舌体分割图像；对标注图像进行齿痕分割，得到齿痕分割图像；对舌体分割图像以及齿痕分割图像进行二值化处理，得到舌体二值化图像和齿痕二值化图像；再构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，最后通过训练好的舌象识别网络进行舌象识别。本发明专利技术充分利用了深度卷积神经网络优越的图像表现能力；解决了中医舌诊对齿痕舌程度难以区分的问题，克服现有技术在中医舌诊运用领域齿痕特征无法有效识别的问题。

【技术实现步骤摘要】
一种基于人工智能的舌象识别方法及系统
本专利技术涉及图像处理领域，具体涉及一种基于人工智能的舌象识别方法及系统。
技术介绍
舌诊广泛应用于中医的临床分析和应用中已有数千年的历史，是中医望闻问切中的望诊的一部分。中医将舌诊与通过其他诊断方法收集的其他体征和症状相结合，以全面了解患者的健康状况，从而制定策略来调节身体机能的不平衡。传统的舌诊更倾向于对舌象的认识，而不是舌象的异常和疾病，中医认为舌头与人们的健康息息相关。通过检查舌头的颜色、形状和质地来判断患者的健康状况，如瘀斑、点刺、齿痕、舌裂和舌苔厚度等不同的特征能够反映身体的内部状态和器官的健康状况。它通过观察患者的舌头特征来获取信息，以获取健康状况。带有齿痕的舌头是最重要的舌头特征之一，与脾虚有关，可以极大地促进症状的分化和治疗选择。然而，舌头上的牙齿标记具有多种类型(例如，不同的颜色和形状)，这使得识别带有齿痕的舌头对中医具有挑战性。然而舌诊过程受到光照、拍摄角度和医生主观原因等其他因素的影响，使得其客观化研究难以迅速取得突破。中医舌诊这种基于视觉描述的特性，在一定程度上限制了中医诊断方法和技术的发展。随着数字医学成像设备和模式识别方法的不断完善，计算机辅助舌诊通过消除对基于主观和经验的舌诊评估的依赖，提供更准确、一致和客观的临床诊断，在中医方面具有巨大的潜力。
技术实现思路
本专利技术主要考虑了中医舌诊对齿痕舌程度难以区分的问题，提出了一种基于人工智能的舌象识别方法及系统，旨在克服现有技术在中医舌诊运用领域齿痕特征无法有效识别的问题。本专利技术针对上述的情况，结合了深度卷积神经网络优越的图像表现能力以及中医舌诊对齿痕舌程度区分的领域知识达到较优的性能，提出的一种基于人工智能的辅助中医齿痕舌的舌象识别方法及系统，主要包括：获取原始图像，裁剪图像，医生对图像进行齿痕程度的区分，标注舌体以及齿痕特征；舌体分割模块，得到舌体分割图像；齿痕特征分割模块，得到分割出齿痕特征的图像；图像预处理模块；最优模型选择模块，构建主网络模型，通过模型的训练与测试，选择结果准确率最高的模型为最优模型。一种基于人工智能的舌象识别系统，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和最优模型选择模块。所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像。对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像。所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别。所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像。第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像。第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征。第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征。以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。一种基于人工智能的舌象识别方法，步骤如下：S1:通过数据获取模块对获取的原始图像进行裁剪图像、齿痕程度的区分、进行舌体区域和齿痕特征的标注，得到标注图像，具体如下：S1-1：在获取到原始图像后，利用图像处理工具，裁剪图像，使得图像以舌体为主体，并对图像进行齿痕程度的区分，得到齿痕程度标记图像。S1-2：然后对齿痕程度标记图像分别标注舌体的边界以及齿痕特征，得到标注图像。S2：通过舌体分割模块的舌体分割网络对S1中得到的标注图像进行舌体分割，得到舌体分割图像。具体实施方式如下：S2-1：选取一个深度学习图像分割网络，用于舌体分割操作。S2-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到舌体分割网络。S2-3：用训练好的舌体分割网络对标注图像进行舌体分割，得到舌体分割图像。S3：通过齿痕特征分割模块的齿痕分割网络对S1中得到的标注图像进行齿痕分割，得到齿痕分割图像。具体实施方式如下：S3-1：选取一个深度学习图像分割网络，用于齿痕分割操作。S3-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到齿痕分割网络。S3-3：用训练好的齿痕分割网络对齿痕标注图像进行齿痕分割，得到齿痕分割图像。S4：通过图像预处理模块对S2中得到的舌体分割图像以及S3中得到齿痕分割图像进行图像预处理，具体如下：S4-1：对S2中得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，该操作可提取舌体的形态信息，得到舌体的二值化图像。S4-2：对S3中得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，该操作提取齿痕的形态信息，得到齿痕的二值化图像。S4-3：调整所有图像的大小为统一规格。所述的所有图像包括舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像。S5：构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，获取四个分网络以及权重网络的最优参数，以此得到训练好的舌象识别网络。S5-1：构建舌象识别网络，具体如下：S5-1-1：构建第一分网络，网络骨架采用ResNet-50,该网络输入为S2中获得的舌体分割图像。S5-1-2：构建第二分网络，网络骨架也采用ResNet-50，该网络的输入为S3中获得的齿痕分割图像。S5-1-3：构建第三分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的舌体二值化图像，该分网络主要关注舌体的形态特征。S5-1-4：构建第四分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的齿痕二值化图像，该分网络主要关注齿痕的形态特征。S5-1-5：权重网络，即以一个全连本文档来自技高网...

【技术保护点】
1.一种基于人工智能的舌象识别系统，其特征在于，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和舌象识别模块；/n所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；/n所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；/n所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；/n所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像；对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像；/n所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别；/n所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像；第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像；第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征；第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征；以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。/n...

【技术特征摘要】
1.一种基于人工智能的舌象识别系统，其特征在于，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和舌象识别模块；
所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；
所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；
所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；
所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像；对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像；
所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别；
所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像；第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像；第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征；第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征；以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。


2.一种基于人工智能的舌象识别方法，其特征在于，步骤如下：
S1:通过数据获取模块对获取的原始图像进行裁剪图像、齿痕程度的区分、进行舌体区域和齿痕特征的标注，得到标注图像；
S2：通过舌体分割模块的舌体分割网络对S1中得到的标注图像进行舌体分割，得到舌体分割图像；
S3：通过齿痕特征分割模块的齿痕分割网络对S1中得到的标注图像进行齿痕分割，得到齿痕分割图像；
S4：通过图像预处理模块对S2中得到的舌体分割图像以及S3中得到齿痕分割图像进行图像预处理，得到舌体二值化图像和齿痕二值化图像；
S5：构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，获取四个分网络以及权重网络的最优参数，以此得到训练好的舌象识别网络；
S6：通过训练好的舌象识别网络进行舌象识别。


3.根据权利要求2所述的一种基于人工智能的舌象识别方法，其特征在于，S1具体操作如下：
S1-1：在获取到原始图像后，利用图像处理工具，裁剪图像，使得图像以舌体为主体，并对图像进行齿痕程度的区分，得到齿痕程度标记图像；
S1-2：然后对齿痕程度标记图像分别标注舌体的边界以及齿痕特征，得到标注图像。


4.根据权利要求3所述的一种基于人工智能的舌象识别方法，其特征在于，S2具体操作如下：
S2-1：选取一个深度学习图像分割网络，用于舌体分割操作；
S2-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到舌体分割网络；
S2-3：用训练好的舌体分割网络对标注图像进行舌体分割，得到舌体分割图像。


5.根据权利要求4所述的一种基于人工智能的...

【专利技术属性】
技术研发人员：颜成钢，彭开来，朱晨瑞，张二四，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33