【技术实现步骤摘要】
一种基于多任务学习的舌象诊断方法及舌象诊断系统
本专利技术属于计算机处理图像技术
，涉及一种基于多任务学习的舌象诊断方法，还涉及该方法使用的一种基于多任务学习的舌象诊断系统。
技术介绍
传统舌诊主要通过医生肉眼来观察舌象，依据个人经验知识进行诊断，存在对医生的主观依赖性较强的缺点，其诊断结果会受到医生的知识水平、思维模式和诊断技术的限制。以上因素会导致舌诊结果不准确，可重复性较差，不利于复诊的信息参考也不利于舌诊相关技术的发展。目前舌诊的客观化和标准化研究仍然存在很多问题：比如使用传统图像处理对舌象进行分割的效果并不好，而将深度学习引入到舌象分割中，可以对舌体区域进行逐像素点的判别，实现精确分割；再比如对于舌象分类，由于舌象属于多标签数据，使用目前的大多数神经网络进行分类的话会导致训练时出现歧义性问题，而多任务联合学习网络可以消除舌象分类中的标签混乱问题，实现舌象的准确和高效识别。
技术实现思路
本专利技术的第一个目的是提供一种基于多任务学习的舌象诊断方法，解决现有技术中存在的舌象分割效果不...
【技术保护点】
1.一种基于多任务学习的舌象诊断系统，其特征在于，包括有移动端app、舌体分割模型及舌象分类模型，所述移动端app包括有UI界面，所述UI界面设置有操作按钮，所述操作按钮触发处理程序，所诉处理程序包括调取摄像头、打开本地相册、保存图像和舌象诊断，移动端app中编写模型加载接口，所述加载接口接入舌体分割模型及舌象分类模型，所述舌体分割模型及所述舌象分类模型直接封装在移动端app。/n
【技术特征摘要】
1.一种基于多任务学习的舌象诊断系统，其特征在于，包括有移动端app、舌体分割模型及舌象分类模型，所述移动端app包括有UI界面，所述UI界面设置有操作按钮，所述操作按钮触发处理程序，所诉处理程序包括调取摄像头、打开本地相册、保存图像和舌象诊断，移动端app中编写模型加载接口，所述加载接口接入舌体分割模型及舌象分类模型，所述舌体分割模型及所述舌象分类模型直接封装在移动端app。
2.根据权利要求1所述的一种基于多任务学习的舌象诊断系统，其特征在于，所述舌体分割模型的建立过程具体如下：
步骤1：使用M张舌象原始图片作为舌象分割数据集，对所述舌象分割数据集使用labelme进行手工标注，将舌象从复杂的背景中划分出来；
步骤2：labelme标注结束后，每张图像对应生成一个json文件，所述json文件包含了图像文件本身以及标注的对象框信息，利用生成的json文件批量生成mask数据集；
步骤3：使用MaskR-CNN对步骤2所得的mask数据集进行训练，并保存完成的舌体分割模型。
3.根据权利要求1所述的一种基于多任务学习的舌象诊断系统，其特征在于，所述舌象分类模型的搭建具体过程如下：
步骤1：准备N张分割好的舌象作为舌象分类数据集，将舌象分类数据集进行舌苔和舌质的分区预处理；
步骤2：构建多输入的多任务分类网络，使用三个多尺度特征融合层和最大池化层的组合对输入的舌苔、舌质区域以及原舌象进行特征提取和特征融合，将舌苔和舌质的特征和整个舌象的特征融合起来，加强联合特征；
步骤3：在融合了舌苔、舌质和原舌象的特征之后，进行卷积池化操作后用特征交叉层进行参数共享以及特征的重组，目的是为了选取最优的训练参数和特征；
步骤4：由于有舌色和苔色的两个分类任务的输出，需要设计两组损失函数分别进行计算，两...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。