基于改进UNet++的特征对齐舌像分割方法及系统技术方案

本发明专利技术公开了基于改进UNet++的特征对齐舌像分割方法及系统，包括：获取原始舌头图像，并对原始舌头图像进行标记和预处理；根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；通过形态处理对特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。本发明专利技术将特征对齐网络应用于Unet++网络架构中，将不同的特征对齐模块添加到不同深度的下采样过程，依次来监督下采样过程中特征的偏移，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度，并通过形态处理层对分割结果进行优化，得到最终结果。到最终结果。到最终结果。

【技术实现步骤摘要】
基于改进UNet++的特征对齐舌像分割方法及系统


[0001]本专利技术涉及图像处理
，具体涉及基于改进UNet++的特征对齐舌像分割方法及系统。

技术介绍

[0002]中医“四诊”分为望、闻、问、切，舌诊作为望诊重要部分，是中医问诊的重要依据。随者互联网的发展，互联+医疗的诊疗方案发展速度加快，并且取得了可喜的性能。其中舌像识别作为非侵入性检测，可以有效的减轻人体的痛苦，在辅助检测方面具有很大的意义。
[0003]作为舌像识别的基础，舌像分割的准确度影响着舌像识别的准确度。在发展初期，基于颜色分解和阈值技术的分割方法有着很高的分割效率，可以对舌像装置采集的舌像进行准确分割。由于复杂的背景以及噪声干扰，深度学习图像分割方法也成为了舌像分割的重要方法。
[0004]申请号“CN201710498517.1”、名称为“一种基于深度卷积神经网络的中医舌头图像自动分割方法”的专利公开文本提供了一种卷积神经网络结构，该方法包含离线训练阶段和在线分割阶段，该方法可以同时适用于封闭式和开放式的舌像采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。
[0005]申请号“CN202011347107.5”、名称为“一种舌像分割方法、装置及存储介质”所述的技术方案在对舌体进行分割时，对于每个目标舌体图像输入训练后的二分类语义分割模型，最后输出图像的背景和舌体区域。
[0006]然而，基于深度学习的分割方法中，分割的准确度很大取决于大量的原始舌像，以及舌像的分割标签，经典的深度学习网络分割的准确性依赖于标准设备拍摄的数据集，对于一些普通设备拍摄的数据集，例如手机，手持相机拍摄的舌像进行舌体分割时，其分割的准确度将达不到理想的结果。另外，当数据集数量较少时，普通的深度学习神经网络的舌体分割准确度也会很大程度下降。
[0007]申请号“CN201710498517.1”与申请号“CN202011347107.5”的专利公开文本中提出的编码网络与解码网络中，没有考虑特征下采样以及上采样过程中，高级特征与低级特征之间的关系，容易造成图像的特征错位问题，并且在分割结果中，舌体边缘有很多尖锐部分，与真实舌体不符；进而造成舌像分割的准确度不高问题。

技术实现思路

[0008]本专利技术所要解决的技术问题是现有舌像分割方法中编码网络与解码网络中，没有考虑特征下采样以及上采样过程中的高级特征与低级特征之间的关系，容易造成图像的特征错位问题，并且在分割结果中，舌体边缘有很多尖锐部分，与真实舌体不符；进而造成舌像分割的准确度不高问题。
[0009]本专利技术目的在于提供基于改进UNet++的特征对齐舌像分割方法及系统，本专利技术提出将特征对齐网络应用于Unet++网络架构中，将不同的特征对齐模块添加到不同深度的下
采样过程，依次来监督下采样过程中特征的偏移，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度，最后将网络的分割结果通过形态处理层进行优化。
[0010]本专利技术通过下述技术方案实现：
[0011]第一方面，本专利技术提供了基于改进UNet++的特征对齐舌像分割方法，该方法包括：
[0012]获取原始舌头图像，并对原始舌头图像进行标记和预处理；
[0013]根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；
[0014]通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；
[0015]采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。
[0016]进一步地，对原始舌头图像进行标记和预处理，包括：
[0017]对原始舌头图像进行标记，通过特征标记软件标记出舌体区域，输出原始舌头图像的掩码图像；以及分别将原始舌头图像与对应的掩码图像划分为训练集与测试集；
[0018]对原始舌头图像进行图像增强预处理，图像增强预处理包括加噪处理、图像对比度与亮度改变处理和直方图均衡化处理。
[0019]进一步地，加噪处理是对原始舌头图像的训练集中舌头图像添加椒盐噪声，得到加噪处理后的舌头图像；加噪处理具体包括以下步骤：
[0020]步骤A，输入一幅图像并自定义信噪比SNR(信噪比SNR的取值范围在[0,1]之间)；
[0021]步骤B，计算图像像素点个数SP，得到椒盐噪声的像素点数目NP＝SP*(1
‑
SNR)；
[0022]步骤C，随机获取待加噪的每个像素位置img[i,j]；
[0023]步骤D，随机生成[0,1]之间的一个浮点数；
[0024]步骤E，判定浮点数是否大于0.5，若大于0.5则指定像素值为255，小于0.5则指定像素值为0；
[0025]步骤F，重复步骤C至步骤E三个步骤完成NP个像素加粗样式；
[0026]步骤G，输出加噪以后的舌头图像。
[0027]进一步地，特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，将预处理后的舌头图像I∈3
×
H
×
W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；将不同的特征对齐模块添加到不同深度的下采样过程中，根据不同的特征对齐模块依次来监督下采样过程中舌像特征X(0,0)的偏移；
[0028]其中，卷积块VGG块，分别对不同大小的输入舌像特征图像执行两次操作，操作包括卷积操作、池化操作和激活Relu操作；
[0029]特征对齐模块对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。
[0030]进一步地，下采样层的执行过程为：
[0031]特征对齐舌像分割模型中整个网络包括两条路径：Unet++图像分割路径和特征对齐路径；Unet++图像分割路径：从水平角度来看，该路径是以相同的分辨率组合来自当前特征节点的所有先前节点的多尺度特征；从垂直角度来看，该路径从当前特征节点的前一个
节点整合不同分辨率的多尺度特征，并且在使用过程中，可以动态改变UNet++网络的深度，使其能够在对于精确度较小影响的情况下，实现分割效率的提高；
[0032]特征对齐路径：该路径保持舌像特征X(0,0)的空间信息，即第二条路径没有下采样或者下采样操作；该路径自上而下产生一系列分辨率和通道数设置为与X(0,0)相同的舌像特征{A1,A2,
…
,Ai
‑
1,Ai}，舌像特征Ai是从舌像特征Ai
‑
1结合来自Unet++图像分割路径的舌像特征X(i,j)以获得，舌像特征X(i,j)通过上采样层操作输出一个与舌像特征Ai
‑
1分辨率相同的特征图Ai
’
；将舌像特征Ai
‑
1与特征图Ai
’
这两个高级舌像特征图连接在一起，并通过1x1卷积层、批本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进UNet++的特征对齐舌像分割方法，其特征在于，该方法包括：获取原始舌头图像，并对所述原始舌头图像进行标记和预处理；根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。2.根据权利要求1所述的基于改进UNet++的特征对齐舌像分割方法，其特征在于，对所述原始舌头图像进行标记和预处理，包括：对所述原始舌头图像进行标记，通过特征标记软件标记出舌体区域，输出原始舌头图像的掩码图像；以及分别将所述原始舌头图像与对应的掩码图像划分为训练集与测试集；对所述原始舌头图像进行图像增强预处理，所述图像增强预处理包括加噪处理、图像对比度与亮度改变处理和直方图均衡化处理。3.根据权利要求2所述的基于改进UNet++的特征对齐舌像分割方法，其特征在于，所述加噪处理是对所述原始舌头图像的训练集中舌头图像添加椒盐噪声，得到加噪处理后的舌头图像；所述加噪处理具体包括以下步骤：步骤A，输入一幅图像并定义信噪比SNR；步骤B，计算图像像素点个数SP，得到椒盐噪声的像素点数目NP＝SP*(1
‑
SNR)；步骤C，随机获取待加噪的每个像素位置img[i,j]；步骤D，随机生成[0,1]之间的一个浮点数；步骤E，判定浮点数是否大于0.5，若大于0.5则指定像素值为255，小于0.5则指定像素值为0；步骤F，重复步骤C至步骤E三个步骤完成NP个像素加粗样式；步骤G，输出加噪以后的舌头图像。4.根据权利要求1所述的基于改进UNet++的特征对齐舌像分割方法，其特征在于，所述特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，将预处理后的舌头图像I∈3
×
H
×
W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；将不同的特征对齐模块添加到不同深度的下采样过程中，根据不同的特征对齐模块依次来监督下采样过程中舌像特征X(0,0)的偏移；其中，所述卷积块VGG块，分别对不同大小的输入舌像特征图像执行两次操作，所述操作包括卷积操作、池化操作和激活操作；所述特征对齐模块对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。5.根据权利要求4所述的基于改进UNet++的特征对齐舌像分割方法，其特征在于，所述下采样层的执行过程为：所述特征对齐舌像分割模型中整个网络包括两条路径：Unet++图像分割路径和特征对齐路径；所述Unet++图像分割路径：从水平角度来看，该路径是以相同的分辨率组合来自当前特征节点的所有先前节点的多尺度特征；从垂直角度来看，该路径从当前特征节点的前一个节点整合不同分辨率的多尺度特征，并且在使用过程中，能够动态改变UNet++网络的
深度；所述特征对齐路径：该路径保持舌像特征X(0,0)的空间信息，该路径自上而下产生一系列分辨率和通道数设置为与X(0,0)相同的舌像特征{A1,A2,
…
,Ai
‑
1,Ai}，舌像特征Ai是从舌像特征Ai
‑
1结合来自Unet++图像分割路径的舌像特征X(i,j)以获得，舌像特征X(i,j)通过上采样层操作输出一个与舌像特征Ai
‑
1分辨率相同的特征图Ai
’
；将所述舌像特征Ai
‑
1与特征图Ai
’
连接在一起，并通过1x1卷积层、批归一化层、激活层及第一3x3卷积层生成大小为H
×
W
×
2的第一偏移矩阵，通过1x1卷积层、批归一化层、激活层及第二3x3卷积层生成大小为H
×
W
×
2的第二偏移矩阵；以及融合第一偏移矩阵和第二偏移矩阵的输出结果得到高级特征图Ai；其中，所述第二偏移矩阵用于对齐舌像特征Ai
‑
1，所述第一偏移矩阵用于对齐特征图Ai

【专利技术属性】
技术研发人员：钟利，刘勇国，张云，朱嘉静，傅翀，李巧勤，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：