【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于多任务网络的舌象端到端辨识方法。
技术介绍
1、舌象是中医望诊中观察的重要内容，是中医辨证论治的重要依据。通过观察舌质和舌苔的颜色、形质、纹理等特征，可以了解人体生理和病理功能的变化。
2、对于舌象辨识的研究通常分为舌体分割和舌象分类两部分，舌体分割是指从采集到的图像中将舌体部分提取出来避免脸部、口唇等冗余信息影响后续舌象分类的结果，舌象分类是指根据分割好的舌体对舌质、舌苔的一种或多种特征进行分类。
3、已有的基于深度学习的舌象辨识方法大部分是两阶段的、非端到端的方法，即分割舌体后，又训练一个或多个舌象分类模型，这种方法忽略了舌体分割和舌象分类两个任务之间的底层关联性。已有的舌象分类方法一般仅涉及单独的颜色或纹理分类，未考虑到舌象多种属性之间的相关性，影响了舌象分类的准确度，也不符合中医望舌的整体思想。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于多任务网络的舌象端到端辨识方法；
2、一种基于多任务网络的舌象端到端辨识方法，包括以下步骤：
3、步骤1、采集人舌体图像，对舌体图像包含的舌质和舌苔的颜色、形质、纹理多种特征进行图像级分类。具体步骤为：
4、步骤1-1、在自然光照条件下，使用智能移动设备拍摄包含舌体表面的舌体图像；
5、步骤1-2、对舌体图像中的舌质颜色、舌苔颜色、苔质厚度、舌面裂纹、舌体齿痕五类基本属性进行图像级分类；
6、步骤2
7、步骤2-1、根据舌体的轮廓标注舌体分割标签，生成包含舌体区域的单通道二值图像，将此图像作为舌象分割数据集的标签；其中前景舌体区域的像素值为1，背景非舌体区域的像素值为0；
8、步骤2-2、标注舌象分类的多个图像级标签，构建舌象分类数据集；
9、所述舌象分类的多个图像级标签包括舌质颜色标签、舌苔颜色标签、苔质厚度标签、舌面裂纹标签和舌体齿痕标签，其中舌质颜色标签中淡红色标注为0、淡白色标注为1、红绛色标注为2；舌苔颜色标签中白色标注为0、黄色标注为1；苔质厚度标签中苔质薄标注为0、苔质厚标注为1；舌面裂纹标签中无裂纹标注为0、有裂纹标注为1；舌体齿痕标签中无齿痕标注为0、有齿痕标注为1；
10、步骤2-3、采取多种数据增强方式扩充舌象数据集样本数量；
11、所述数据增强方式包括：沿着图像垂直轴镜像翻转、水平和垂直方向随机平移0～10像素、随机-10°～+10°角度旋转、随机0.8～1.2倍尺度缩放、错切变换、高斯噪声和高斯模糊；
12、步骤2-4、以图像数量8：2的比例随机划分舌象数据集的训练集与测试集；
13、步骤3、构建多任务网络模型，包括特征提取网络、舌体分割分支网络和舌象分类分支网络。具体步骤为：
14、步骤3-1、构建特征提取网络；所述特征提取网络为改进的深度残差网络resnext50，在resnext50网络的每个残差块中加入se通道注意力机制；特征提取网络由五个阶段组成，生成从较低级的抽象特征到更高级的语义特征，分别表示为p1、p2、p3、p4、p5；
15、步骤3-2、构建舌体分割分支网络；所述舌体分割分支网络为改进u-net网络的解码器，将u-net网络的解码器的上采样层由转置卷积替换为双线性插值；该舌体分割分支网络用于生成像素级别的舌体分割结果；
16、步骤3-3、构建舌象分类分支网络，由特征融合模块和特征分类器两部分组成。
17、所述的特征融合模块将步骤3-1输出的后四层特征，即p2、p3、p4、p5中的特征高分辨率的低层特征图通过卷积操作进行降采样，并与相应尺度的低分辨率的高层特征图进行逐像素相加融合；
18、所述的特征分类器为由一个输入层、一个输出层和两个隐含层组成的全连接神经网络，在每个隐含层后都有一个relu激活函数，特征分类器将多通道的融合特征逐步降维到多标签分类需要的类别数。
19、所述的relu激活函数由式(1)定义为：
20、f(x)＝max(x,0) (1)
21、步骤4、训练并测试多任务网络模型，得到舌体分割结果和舌象多标签分类结果。具体步骤为：
22、步骤4-1、使用特征提取网络提取原始舌象的多层次特征，使用舌体分割分支网络对舌体进行分割，得到舌体分割预测图。
23、步骤4-2、计算舌体分割损失，即舌体分割预测图与对应的舌体分割标签的损失。
24、所述损失为dice损失与二进制交叉熵损失之和，由式(2)定义为：
25、
26、式(2)中，分别为dice损失与二进制交叉熵损失，gi为每个舌体分割真实标签，为对应的舌体分割预测图，m为训练集中的图片总数，ε为极小正常数。
27、步骤4-3、由于分割后的舌体中舌体大小不一且包含有黑色背景，先提取分割后的舌体中的感兴趣区域，即分割的舌体前景，再使用感兴趣区域对齐方法统一分割后的舌体尺寸；
28、所述提取感兴趣区域的方法将舌体分割预测图分解为沿行和列的边缘分布，通过两个边缘分布确定舌体所在位置的坐标；
29、所述感兴趣区域对齐方法通过将感兴趣区域划分为若干个区域，并对每个区域内的特征进行双线性插值，从而将分割后的舌体对齐到统一尺寸。
30、步骤4-4、使用特征提取网络提取舌体的多层次深度特征，并使用舌象分类分支网络对舌体多层次深度特征进行特征融合和多标签分类，得到舌象分类预测结果；
31、步骤4-5、计算舌象分类损失，即舌象分类预测结果与对应的舌象分类真实标签的损失。
32、所述损失由式(3)定义为：
33、
34、式(3)中，为每个舌象分类真实标签，为对应的舌象分类预测结果，m为训练集中的图片总数，c为舌象分类的标签数。
35、步骤4-6、计算舌体分割损失与舌象分类损失之加权和，并使用均方根反向传播算法对多任务网络进行迭代训练，得到训练完成的多任务网络模型。
36、所述的舌体分割损失与舌象分类损失之加权和，由式(4)定义为：
37、
38、式(4)中，分别为舌体分割损失与舌象分类损失，并分别由式(2)与式(3)定义，λ1与λ2分别为二者的加权参数。
39、步骤4-7、测试训练完成的多任务网络模型，输入舌象数据集测试集图片，得到舌体分割结果和舌象多标签分类结果。
40、采用上述技术方案所产生的有益效果在于：
41、本专利技术提供一种基于多任务网络的舌象端到端辨识方法，基于多任本文档来自技高网...
【技术保护点】
1.一种基于多任务网络的舌象端到端辨识方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征在于，所述步骤3具体包括以下步骤：
5.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征在于，所述步骤4具体包括以下步骤：
【技术特征摘要】
1.一种基于多任务网络的舌象端到端辨识方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求1所述的一种基于多任务网络的舌象端到端辨识方法，其特征...
【专利技术属性】
技术研发人员：李文超，管政，闫雪文，汪逸，桑新奇，沙晓鹏，
申请(专利权)人：东北大学秦皇岛分校，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。