一种双重注意力机制的舌裂纹提取方法技术

本发明专利技术提供了一种双重注意力机制的舌裂纹提取方法，用于对舌裂纹图像进行提取得到舌裂纹结果，其特征在于，包括如下步骤：调整舌裂纹图像的亮度以及对比度得到变换后图像；对舌裂纹图像以及变换后图像处理得到双重输入特征图；通过编码器从双重输入特征图中提取得到深层次特征图，解码器对深层次特征图还原得到高级别特征图；对舌裂纹图像进行卷积处理得到低级别特征图，利用双重注意力机制模块对高级别特征图以及低级别特征图进行信息融合得到像素级别的标签，从标签中得到舌裂纹结果。其中，双重输入特征图、深层次特征图以及高级别特征图均通过快速卷积模块进行快速特征提取得到。得到。得到。

【技术实现步骤摘要】
一种双重注意力机制的舌裂纹提取方法


[0001]本专利技术属于图像分析领域，具体涉及一种双重注意力机制的舌裂纹提取方法。

技术介绍

[0002]计算机辅助诊断(简称CAD)是指帮助医生解释医学图像的系统。CAD系统处理数字图像时会以突出显示某些部分(例如可能的疾病)，以此提供初步诊断结果，从而支持专业人员的决策。之前，CAD系统主要用于检测乳腺和胸部的节段性病变，使用时需要复杂的仪器和程序来获得输入图像。近年来，由于舌表面病理特征的可分析性和舌图像的易获取性，CAD系统在舌诊中的应用逐渐受到重视。因此，舌表面病理特征的自动提取具有重要意义，而提取得到舌表面病理特征是舌诊断CAD系统的基本组成部分。
[0003]舌裂纹是指舌表面不同深度和形状的裂纹以及深入到舌表面的肌肉层的裂纹。在大多数情况下，舌裂纹可以被视为舌体表面一种变化的曲线结构，其深度取决于舌粘膜萎缩和病变的严重程度。由于舌裂纹的一些量化指标反映了脏腑的健康状况，因此备受研究者的关注。Chen等人提出了一种基于Bot
‑
hat变换和Otsu自适应阈值的舌裂纹提取方法。Xue等人利用Alexnet提取裂纹区域的深层特征，训练多实例支持向量机(SVM)进行最终决策从而得到目标检测结果。Chang等人利用ResNet50作为模型的主干，进而利用梯度加权类激活映射(Gradcam)对舌裂区进行识别和定位，并对舌裂区进行可视化。虽然上述方法能够取得一定的效果，但是仍存在如下问题：
[0004]1)舌裂纹边界模糊。在实际应用中，对一些小的区域进行分割是相当困难的，例如宽度小、深度不同的裂缝区域。更重要的是，与砖、路面和钢材表面不同，舌面并不光滑不平。舌片表面呈现复杂的蓬松结构，因此对舌片裂纹的边界判断造成很大干扰。此外，舌裂受舌表面丰富的病理细节的干扰，有些裂纹甚至逐渐变为普通纹理，这使得放大图像后难以区分某些像素是否属于舌裂区域。因此，在许多图像中，裂纹区域边界很难区分，一些困难的情况甚至给像素级标记带来了挑战。
[0005]2)舌裂纹图片具有多样性。舌裂纹图像的多样性可以大致分为两种。一种是舌裂纹形状的多样性，有些舌裂比较厚、深，但有的又浅又薄，占据了一个小面积(可能只有几个像素大小)，难以观察和分辨，难以让模型掌握它的形状特征。而另一种则是指非裂纹区域的多样性，如舌质和舌苔的颜色多样性。在某些极端情况下，舌裂的颜色与裂纹周围的舌苔颜色有着很高的相似性，难以辨别。此外，背景中的像素差异会带来很大的干扰，例如舌缘区域带来的干扰。总之，上述所有的方法都对分割模型的前景理解有一定的危害。
[0006]3)准确性和效率之间无法权衡。近年来，随着家庭智能医生的普及，在家用机器人和手机等移动电子设备上应用CAD系统的需求日益增长，这有助于为用户提供安全、方便、廉价的医疗服务。因此，实现舌裂的实时提取具有重要意义。然而，大多数高精度算法通常需要大量的内存和计算资源，移动电子设备有限的计算能力也限制了分割精度。此外，由于深度学习方法的解释性不足，使得神经网络结构中各参数的性能最大化是非常困难的。因此，提高计算精度，同时降低计算量是一个很大的挑战。
[0007]综上，目前还没有一种具有良好泛化性能的像素级的、精确的且实时性较高的舌裂纹提取方法。

技术实现思路

[0008]为解决上述问题，提供一种补全信息从而提高腺体分割边界解决腺体无法从背景中分别出来的问题的图像分割方法，本专利技术采用了如下技术方案：
[0009]本专利技术提供了一种双重注意力机制的舌裂纹提取方法，用于用于对舌裂纹图像进行提取得到舌裂纹结果，其特征在于，包括如下步骤：步骤S1
‑
1，调整舌裂纹图像的亮度以及对比度得到变换后图像；步骤S1
‑
2，对舌裂纹图像以及变换后图像进行处理得到双重输入特征图；步骤S1
‑
3，将双重输入特征图输入预先训练好的编解码器，通过编解码器中的编码器从双重输入特征图中提取得到深层次特征图，基于深层次特征图利用编解码器中的解码器进行还原得到高级别特征图；步骤S1
‑
4，对舌裂纹图像进行卷积处理得到低级别特征图，利用双重注意力机制模块对高级别特征图以及低级别特征图进行信息融合得到像素级别的标签，从标签中得到舌裂纹结果，其中，双重输入特征图、深层次特征图以及高级别特征图均通过快速卷积模块进行快速特征提取得到。
[0010]根据本专利技术提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤S1
‑
2包括如下子步骤：步骤S1
‑2‑
1，通过不同的卷积核分别对舌裂纹图像以及变换后图像进行特征提取，得到舌裂纹图像对应的特征以及变换后图像对应的特征，并分别作为第一重特征以及第二重特征；步骤S1
‑2‑
2，对第一重特征以及第二重特征进行特征融合得到双重拼接特征；步骤S1
‑2‑
3，通过2
×
2的池化层对双重拼接特征进行最大池化，得到双重最大池化特征图；步骤S1
‑2‑
4，利用快速卷积模块从双重最大池化特征图中进行快速特征提取，得到双重输入特征图，其中，快速卷积模块先利用1
×
1的点卷积对双重最大池化特征图进行特征提取，然后进行批标准化操作，再经过Relu激活函数，得到第一特征图，接着通过3
×
3的深度可分离卷积进行特征提取，然后通过批标准化操作以及Relu激活函数，得到第二特征图，将第一特征图以及第二特征图进行拼接得到双重输入特征图。
[0011]根据本专利技术提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤S1
‑
3中编码器包括三组最大池化层以及快速卷积模块，解码器包括两组上采样层以及快速卷积模块，编码器中的最大池化层将双重输入特征图的长以及宽降至原来的一半得到压缩双重输入特征图，编码器中的快速卷积模块对压缩双重输入特征图进行快速特征提取并将压缩双重输入特征图的通道数增加一倍，从而获得深层次特征图，解码器中的上采样层利用反卷积操作对深层次特征图进行上采样得到还原深层次特征图，并将该还原深层次特征图与在解码器中对应的压缩双重输入特征图进行拼接操作，得到拼接后深层次特征，解码器中的快速卷积模块对拼接后深层次特征进行快速特征提取得到高级别特征图。
[0012]根据本专利技术提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤S1
‑
4包括如下子步骤：步骤S1
‑4‑
1，对舌裂纹图像进行卷积处理得到低级别特征图；步骤S1
‑4‑
2，双重注意力机制模块对高级别特征图进行上采样得到上采样后高级别特征图；步骤S1
‑4‑
3，双重注意力机制模块将上采样后高级别特征图与低级别特征图进行信息融合得到第一注意力机制特征图；步骤S1
‑4‑
4，双重注意力机制模块将第一注
意力机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双重注意力机制的舌裂纹提取方法，用于对舌裂纹图像进行提取得到舌裂纹结果，其特征在于，包括如下步骤：步骤S1
‑
1，调整所述舌裂纹图像的亮度以及对比度得到变换后图像；步骤S1
‑
2，对所述舌裂纹图像以及所述变换后图像进行处理得到双重输入特征图；步骤S1
‑
3，将所述双重输入特征图输入预先训练好的编解码器，通过所述编解码器中的编码器从所述双重输入特征图中提取得到深层次特征图，基于所述深层次特征图利用所述编解码器中的解码器进行还原得到高级别特征图；步骤S1
‑
4，对所述舌裂纹图像进行卷积处理得到低级别特征图，利用双重注意力机制模块对所述高级别特征图以及所述低级别特征图进行信息融合得到像素级别的标签，从所述标签中得到所述舌裂纹结果，其中，所述双重输入特征图、所述深层次特征图以及所述高级别特征图均通过快速卷积模块进行快速特征提取得到。2.根据权利要求1所述的双重注意力机制的舌裂纹提取方法，其特征在于：其中，所述步骤S1
‑
2包括如下子步骤：步骤S1
‑2‑
1，通过不同的卷积核分别对所述舌裂纹图像以及所述变换后图像进行特征提取，得到所述舌裂纹图像对应的特征以及所述变换后图像对应的特征，并分别作为第一重特征以及第二重特征；步骤S1
‑2‑
2，对所述第一重特征以及所述第二重特征进行特征融合得到双重拼接特征；步骤S1
‑2‑
3，通过2
×
2的池化层对所述双重拼接特征进行最大池化，得到双重最大池化特征图；步骤S1
‑2‑
4，利用所述快速卷积模块从所述双重最大池化特征图中进行快速特征提取，得到所述双重输入特征图，其中，所述快速卷积模块先利用1
×
1的点卷积对所述双重最大池化特征图进行特征提取，然后进行批标准化操作，再经过Relu激活函数，得到第一特征图，接着通过3
×
3的深度可分离卷积进行特征提取，然后通过批标准化操作以及Relu激活函数，得到第二特征图，将所述第一特征图以及第二特征图进行拼接得到所述双重输入特征图。3.根据权利要求1所述的双重注意力机制的舌裂纹提取方法，其特征在于：其中，所述步骤S1
‑
3中所述编码器包括三组最大池化层以及所述快速卷积模块，所述解码器包括两组上采样层以及所述快速卷积模块，所述编码器中的所述最大池化层将所述双重输入特征图的长以及宽降至原来的一半得到压缩双重输入特征图，所述编码器中的快速卷积模块对所述压缩双重输入特征图进行快速特征提取并将所述压缩双重输入特征图的通道数增加一倍，从而获得所述深层次特征图，所述解码器中的所述上采样层利用反卷积操作对所述深层次特征图进行上采样得到还原深层次特征图，并将该还原深层次特征图与在所述解码器中对应的压缩双重输入特征图进行拼接操作，得到拼接后深层次特征，所述解码器中的快速卷积模块对所述拼接后深层次特征进行快速特征提取得到所述
...

【专利技术属性】
技术研发人员：张文强，彭健强，李馨蕾，杨大卫，张叶，王延杰，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：