基于深度学习的舌面检测分割及体质分类方法技术

基于深度学习的舌面检测分割及体质分类方法，包括：(1)对收集的舌面图像进行去噪处理，使其符合训练网络的客观及输入要求；(2)对去噪图像数据进行检测和分割标注，得到训练数据集；(3)将训练数据集封装到修改损失函数，添加通道和空间注意力机制和深度可分离模块的网络模型，开始训练，得到实时检测和分割预测模型，进行保存；(4)在专业医生的辅助下，根据舌象与体质的关系，建立一种迁移学习的网络融合体质分类方法。本发明专利技术不仅可建立计算机舌诊的客观标准，而且有助于减少基层医务人员压力，具有重要的应用价值。具有重要的应用价值。具有重要的应用价值。

【技术实现步骤摘要】
基于深度学习的舌面检测分割及体质分类方法


[0001]本专利技术涉及图像处理
，尤其涉及基于深度学习的舌面检测分割及体质分类方法

技术介绍

[0002]随着现代社会的发展，人的压力越来越大，同时随着人们物质生活水平的提高，一些老年疾病也已经在逐渐年轻化，大部分人都处于亚健康的状态。一些隐匿性，潜在性的疾病正一步步侵蚀我们的身体。如何采取一种无痛、无接触、有效的诊断方法越来越受欢迎。
[0003]中医作为我国的国粹，积累了五千年的发展经验，在历史文化长河中，中医一直延续着四种诊断疾病的方法，即望闻问切四诊。其中，望诊是中医四诊中的第一步，也是最重要，最基础的一部分，而舌诊是望诊中的最重要的一个环节，是诊断疾病最有效最直接的方法。它可反应身体环境的寒热虚实，阴阳盛衰，作为体质辨识是可行的，从而可进行体质的改良，减少疾病的发生。
[0004]传统的舌诊依赖医生的主观判断，由于医生的经验和诊察环境的不同，不同医生对同一舌象的判断存在差异。随着人工智能的迅猛发展，智能化舌诊逐渐兴起，智能化舌诊可以对不同环境下采集的舌面图像进行处理分析，实现舌体检测，舌体分割，人体体质分类来辅助医生进行诊断，提高诊断的准确性。同时，智能化舌诊可实现无接触式的智能诊断，也避免了交叉感染。
[0005]现有技术通常采用卷积神经网络算法对舌面图像进行检测和分割，也有诸多方法对网络结构进行改进，但是，仍存在几个方面的局限性：一是这些方法只是对舌面和外部图像的分割，没有利用图像中各个像素点之间的位置关系，忽略了舌面细节信息；二是没有考虑在计算机资源受限的移动端部署问题；三是体质分类标准单一。而这些问题在计算机医学及体质分类是至关重要的。

技术实现思路

[0006]本专利技术的目的：为了改良体质，降低国家医疗负担，促进全民健康。提出基于深度学习的舌面检测分割及体质分类方法，对图像进行去噪处理，修改深度学习的损失函数，添加注意力机制和深度可分离卷积块。该方法既能提取舌面的细节信息，又能降低模型的计算参数量，还可以实现体质分类。
[0007]本专利技术的技术方案，包括以下步骤：
[0008]步骤1：设原始采集的舌面图像为V1，大小为m
×
n，去噪图像为U，U中第(N
i
,N
j
)位置的像素灰度值为：其中，ω(i,j)表示(i,j)位置的相似率，满足
d(i,j)＝||V(N
i
)
‑
V(N
j
)||
22,α
；i，j分别为V1(N
i
)，V1(N
j
)像素中心，h为控制平滑的滤波参数，α为高斯核的标准差，Z(i)为归一化的系数，通过图像块找到图像中的相似区域，再对这些区域求平均，得到去噪图像V2；
[0009]步骤2：舌面标注：利用LabelImg和LabelMe对V2进行检测和分割标注，获得舌面图像数据集V3；
[0010]步骤3：模型训练：利用改进的深度学习模型对数据集V3进行训练；训练好的模型可实时检测和分割舌面，检测分割结果进行保存；
[0011]步骤4：体质标注：保存的分割结果由医师进行体质标注，获得体质分类数据集V4；
[0012]步骤5：体质分类：利用迁移网络融合模型对V4进行训练，保存最优训练模型，并对V2进行体质研判。
[0013]进一步的，所述步骤3中所述的方法，其特征在于，改进的深度学习模型，具体包括：
[0014]步骤1：设计截断损失函数：其中，x∈R
n
是变量，f0:R
n
→
R∪{+∞}，f
i
,h
i
:R
n
→
R,i＝1，2，
…
，m，min{f(x),h(x)}称为截断函数；因为截断损失函数是一个不可微函数，所以应用光滑函数思想对凸性非光滑曲面进行逼近，使用的光滑函数定义为：使用的光滑函数定义为：截断损失函数等价于：
[0015]步骤2：求解极值：利用增广拉格朗日乘子法，得到得到其中，x,y∈R
n
是变量，ω∈R
n
是拉格朗日乘子，惩罚参数β＞0；
[0016]步骤3：变量初始化：(y0,ω0)∈R
n
×
R
m
，p0＞0，σ∈(0,1)，β＞0,ε1＞0和ε2＞0；
[0017]步骤4：参数迭代：k＝0,1,2,
…
,m，t＝0,1,2,
…
,m，序列(x
k+1
，y
k+1
，ω
k+1
)由公式(7)(8)(9)产生：x
k+1
＝arg
x
minL
β
(x,y
k
,ω
k
)，(7)y
k+1
＝arg
y
minL
β
(x
k+1
,y,ω
k
)，(8)ω
k+1
＝ω
k
+β(x
k+1
‑
y
k+1
)，(9)若||x
k+1
‑
y
k+1
||＜ε1，||
‑
β(y
k
‑
y
k+1
)||＜ε1和则停止计算，输出(x
k+1
,y
k+1
,ω
k+1
)；
[0018]步骤5：通道卷积：首先，特征图F经过通道卷积中两个并行的MaxPool和AvgPool层，将特征图的维度从C
×
H
×
W变成C
×1×
1；其次经过多层感知机MLP将通道数压缩为原来的1/r倍；再次经过ReLU激活函数，扩张到原通道数，将这两个输出结果逐元素相加；最后经过一个Sigmoid激活函数，输出结果与原图相乘，变回C
×
H
×
W，输出公式(10)和(11)所示的通道卷积特征图M
c
(F)：M
c
(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))，(10)其中，σ代表Sigmoid激活函数，W0∈R
C/r
×
C
，W1∈R
C
×
C/r
，且MLP的权重W0和W1对于输入来说是共享的，ReLU激活函数位于W0之后，W1之前；
[0019]步骤6：空间卷积：将通道卷积输出结果经过最大池化和平均池化得到两个1
×
W
×
H的特征图；对两个特征图进行拼接，再经过7
×
7卷积将特征图的通道数变为1，经过激活函数得到空间卷积特征图，将输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的舌面检测分割及体质分类方法，其特征在于，分割和分类过程，包括步骤：步骤1：图像去噪：设原始采集的舌面图像为V1，大小为m
×
n，去噪图像为U，U中第(i,j)位置的像素灰度值为：其中，ω(i,j)表示(i,j)位置的相似率，满足d(i,j)＝||V(N
i
)
‑
V(N
j
)||
22,α
；i，j分别为V1(N
i
)，V1(N
j
)像素中心，h为控制平滑的滤波参数，α为高斯核的标准差，Z(i)为归一化的系数，通过图像块找到图像中的相似区域，再对这些区域求平均，得到去噪图像V2；步骤2：舌面标注：利用LabelImg和LabelMe对V2进行检测和分割标注，获得舌面图像数据集V3；步骤3：模型训练：利用改进的深度学习模型对数据集V3进行训练；训练好的模型可实时检测和分割舌面，分割结果进行保存；步骤4：体质标注：保存的分割结果由医师进行体质标注，获得体质分类数据集V4；步骤5：体质分类：利用迁移网络融合模型对V4进行训练，保存最优训练模型，并对V2进行体质类型研判。2.根据权利要求1所述方法，其特征在于，所述步骤3中改进的深度学习模型，具体包括：步骤1：设计截断损失函数：其中，x∈R
n
是变量，f0:R
n
→
R∪{+∞}，f
i
,h
i
:R
n
→
R,i＝1，2，
…
，m，min{f(x),h(x)}称为截断函数；因为截断损失函数是一个不可微函数，所以应用光滑函数思想对凸性非光滑曲面进行逼近，使用的光滑函数定义为：使用的光滑函数定义为：截断损失函数等价于：步骤2：求解极值：利用增广拉格朗日乘子法，得到得到其中，x,y∈R
n
是变量，ω∈R
n
是拉格朗日乘子，惩罚参数β＞0；步骤3：变量初始化：(y0,ω0)∈R
n
×
R
m
，p0＞0，σ∈(0,1)，β＞0,ε1＞0和ε2＞0；
步骤4：参数迭代：k＝0,1,2,
…
,m，t＝0,1,2,
…
,m，序列(x
k+1
，y
k+1
，ω
k+1
)由公式(7)(8)(9)产生：x
k+1
＝arg
x
minL
β
(x,y
k
,ω
k
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)y
k+1
＝arg
y
minL
β
(x
k+1
,y,ω
k
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)ω
k+1
＝ω
k
+β(x
k+1
‑
y
k+1
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)若||x
k+1
‑
y
k+1
||＜ε1，||
‑
β(y
k
‑
y
k+1
)||＜ε1和则停止计算，输出(x
k+1
,y
k+1
,ω
k+1
)；步骤5：通道卷积：首先，特征图F经过通道卷积中两个并行的...

【专利技术属性】
技术研发人员：邓翔宇，马天超，党志艳，
申请(专利权)人：马天超，
类型：发明
国别省市：