一种基于信息损失区域检测机制的舌图像分割方法技术

本发明专利技术涉及基于信息损失区域检测机制的舌图像分割方法，可有效解决现有技术分割出来的舌图像边缘会变得粗糙的问题，其解决的技术方案是，包括以下步骤：步骤1:收集舌图像数据集；步骤2:舌图像标注与预处理；步骤3:构建舌图像分割模型；步骤4：训练并测试舌图像分割模型；本发明专利技术方法可以有效地提高舌图像边缘区域分割的准确率，为后续舌诊辩证分析提供有效依据，是舌图像分割方法上的创新。是舌图像分割方法上的创新。是舌图像分割方法上的创新。

【技术实现步骤摘要】
一种基于信息损失区域检测机制的舌图像分割方法


[0001]本专利技术涉及计算机图像分割领域，特别是一种基于信息损失区域检测机制的舌图像分割方法。

技术介绍

[0002]中医是中国的文化智慧，其行之有效的实践方法，为中华民族的繁荣昌盛和健康发展做出了崇高贡献。中医学主要包括“望、闻、问、切”四种诊断方法，其中望诊是最有效、最直观的方法，人体内部器官通过经络与舌头相连，临床医生可以通过观察患者舌头的颜色、舌体形态等特征来辩证诊疗，这就是舌诊，属于望诊范畴。然而，由于传统的舌诊仅依赖于临床医生的经验积累，缺乏客观评价依据，且不可复制，因此舌诊客观化是当前中医药人工智能领域研究的热点。舌图像分割作为舌诊智能化的第一步，其分割质量将直接影响舌诊的客观化的结果。
[0003]传统的舌图像分割主要使用区域增长、边缘检测、分水岭等方法，但这些方法存在易受噪声的影响、需人工参与等因素影响，无法取得较好的分割效果。近几年，随着深度学习的发展，一些中医药人工智能研究领域的学者开始尝试将深度学习相关算法应用到舌图像分割中。比如，Lin等人提出基于ResNet端到端神经网络模型的舌图像分割方法，Li等人设计了一个基于UNet和迁移学习的舌图像分割框架，Gholami等人使用R
‑
CNN完成舌图像分割。从以上研究可知，深度学习方法在舌图像分割中展现出极好的性能，得到了广泛应用。
[0004]然而，当舌部颜色接近邻近区域如唇部、口腔内部颜色时，分割出来的舌图像边缘会变得粗糙，严重制约着临床医生的辩证诊疗分析。因此需要在现有深度学习算法的基础上，提出一种能够提高舌图像边缘区域分割精度的方法，以实现更精确的舌图像边缘处理，解决过分割和欠分割的问题。

技术实现思路

[0005]针对上述情况，为解决现有技术之缺陷，本专利技术之目的就是提供一种基于信息损失区域检测机制的舌图像分割方法，可有效解决现有技术分割出来的舌图像边缘会变得粗糙的问题。
[0006]本专利技术解决的技术方案是，该舌图像分割方法包括以下步骤：步骤1:收集舌图像数据集舌图像分割数据集主要用于训练、验证和测试网络模型，为提高网络模型的泛化性，数据集通过舌诊采集仪器、开源数据库下载和手机摄像头拍摄三种方式获得；步骤2:舌图像标注与预处理为使训练的网络模型分割准确率更好，需先用Labelme图像标注工具对步骤1收集到的舌像进行舌体轮廓标注，之后利用数据增强程序对标注后的舌图像随机进行旋转、平移、缩放、添加噪声进行预处理，扩充原来的舌图像数据集；步骤3:构建舌图像分割模型
现有图像分割方法在物体边界或高频区域，容易产生错分割问题，如果分割过程中过分的考虑图像的高层语义和大分辨率深度特征图，会消耗更大的人力和物力。为了解决上述问题，本专利技术通过识别舌图像分割中容易出错的物体边界和高频区域，来提高舌图像分割的准确率；这些区域称之为信息损失区域，这些区域虽然只占物体总像素的一少部分，但对最终的分割结果至关重要，因此，本专利技术提出了一种基于信息损失区域检测机制的舌图像分割主要包括：主干特征提取、构建特征金字塔、构建四叉树和基于Transformer的舌图像分割四个步骤：3.1：主干特征提取选择ResNet101作为主干特征提取网络，为了防止舌图像失真和保证分割效果的精确，首先在原舌图像边缘加灰条并保证边长能够整除2的6次方，然后传入到主干特征提取网络处理，经过一系列的卷积、标准化和激活函数之后，舌图像的长和宽不断的进行压缩，获得多个共享特征层，也就是相当于把舌图像划分成多个网格；3.2：特征金字塔的构建为了实现特征多尺度的融合，取出在步骤3.1中经过主干特征提取之后获得的共享特征层进行卷积、上采样，使舌图像特征不断变大，并和上级特征层进行组合，构造特征金字塔（FPN），获得有效特征层；提取到的有效特征层一部分作为区域生成网络（RPN）的有效特征层，通过建议框的获取，生成粗略的分割结果，一部分用来构建ROI（感兴趣区域）特征金字塔，作为后续四叉树的输入，实现高精度的舌图像分割；步骤3.3：构建四叉树并进行信息损失区域检测通过构建四叉树来表示ROI特征金字塔中不同层级上的信息损失区域，由于不同层级上特征粒度不同，构建四叉树时从最低层级（28
×
28）检测到的信息损失结点作为根节点，从上到下递归扩展四个子象限点，构建了一个多层次的四叉树；信息损失区域的检测遵循由低到高的级联设计，为了检测ROI金字塔上的不同层级上信息损失结点，首先将最低层的ROI特征（28
×
28）和初始的舌体mask预测作为输入，采用一个全卷积网络（FCN）进行四个3
×
3卷积来预测四叉树的根结点，每个根结点分解到临近更高ROI层对应的4个子结点，对于高层的ROI特征，继续对上一层损失区域检测的mask做上采样，然后与ROI特征拼接组合，并使用单个1
×
1卷积层预测更精细的信息损失结点，以保持检测模块的轻量化；3.4：设计基于Transformer的舌图像分割网络完成信息损失区域检测后，将使用基于Transformer的舌图像分割网络完成信息损失区域的精细分割，再利用四叉树将修正后的掩码估计从粗尺度传播到细尺度，从而融合多尺度的新预测，基于Transformer的舌图像分割网络主要包含三个模块：结点编码器 (Node Encoder)、序列编码器 (Sequence Encoder)和像素解码器 (Pixel Decoder)；结点编码器选取四叉树的三个层级信息损失点作为输入，首先丰富每个信息损失结点的特征表示，例如补充点的位置编码和临近点局部细节信息，这样有助于定位舌体的边缘，四叉树结点经结点编码器编码之后，为了建立点与点之间的关联，序列编码器中的多头注意力模块会对输入序列进行点之间的特征融合及更新，序列编码器的每一层都由多头自注意力模块和全连接的前馈网络（FFN）组成，可以执行序列上的全局跨尺度预测，最后，再由像素解码器对序列编码器编码之后的结点进行解码，预测每个点是否属于舌体；像素
解码器由一个具有简单的两层多层感知机（MLP）构成；步骤4：训练并测试舌图像分割模型基于步骤3.3所构建的四叉树，设计灵活、自适应的训练和预测方案，将四叉树各层上检测到的所有信息损失区域组成一个序列用于并行预测，使用Tensorflow框架进行训练和测试，分割模型训练时采用随机梯度下降法SGD作为优化器，学习率设为0.0001，动量梯度下降（Momentum）的参数值设为0.9，权重衰减系数设为0.0001；从经步骤2预处理和数据增强后的舌图像集中选择2500张，训练步骤3所设计的舌图像分割模型样本，剩余500张作为测试样本输入分割模型进行测试；在训练过程中，将随机排列每个待分割舌图像的信息损失区域的顺序，并保证每个待分割舌图像具有相同的序列长度，在测试过程中，首先使用四叉树识别信息损失区域，然后使用步骤3.4所构建的舌图像分割模型预测四叉树中所有信息损失区域的精细分割结果，最后利用四叉树融合多个特征层级的预测结果，完成整个舌图像的分割。
[0007]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息损失区域检测机制的舌图像分割方法，其特征在于，包括以下步骤：步骤1:收集舌图像数据集舌图像分割数据集主要用于训练、验证和测试网络模型，为提高网络模型的泛化性，数据集通过舌诊采集仪器、开源数据库下载和手机摄像头拍摄三种方式获得；步骤2:舌图像标注与预处理为使训练的网络模型分割准确率更好，需先用Labelme图像标注工具对步骤1收集到的舌像进行舌体轮廓标注，之后利用数据增强程序对标注后的舌图像随机进行旋转、平移、缩放、添加噪声进行预处理，扩充原来的舌图像数据集；步骤3:构建舌图像分割模型通过识别舌图像分割中容易出错的物体边界和高频区域，来提高舌图像分割的准确率；这些区域称之为信息损失区域，基于信息损失区域检测机制的舌图像分割主要包括：主干特征提取、构建特征金字塔、构建四叉树和基于Transformer的舌图像分割；步骤4：训练并测试舌图像分割模型在训练过程中，将随机排列每个待分割舌图像的信息损失区域的顺序，并保证每个待分割舌图像具有相同的序列长度，在测试过程中，首先使用四叉树识别信息损失区域，然后使用构建的舌图像分割模型预测四叉树中所有信息损失区域的精细分割结果，最后利用四叉树融合多个特征层级的预测结果，完成整个舌图像的分割。2.根据权利要求1所述的基于信息损失区域检测机制的舌图像分割方法，其特征在于，所述的步骤3中，主干特征提取采用ResNet101作为主干特征提取网络，为了防止舌图像失真和保证分割效果的精确，首先在原舌图像边缘加灰条并保证边长能够整除2的6次方，然后传入到主干特征提取网络处理，经过一系列的卷积、标准化和激活函数之后，舌图像的长和宽不断的进行压缩，获得多个共享特征层，也就是相当于把舌图像划分成多个网格。3.根据权利要求1所述的基于信息损失区域检测机制的舌图像分割方法，其特征在于，所述的步骤3中，构建特征金字塔的方法为：取出经过主干特征提取之后获得的共享特征层进行卷积、上采样，使舌图像特征不断变大，并和上级特征层进行组合，构造特征金字塔，获得有效特征层；提取到的有效特征层一部分作为区域生成网络的有效特征层，通过建议框的获取，生成粗略的分割结果，一部分用来构建ROI特征金字塔，作为后续四叉树的输入，实现高精度的舌图像分割。4.根据权利要求1所述的基于信息损失区域检测机制的舌图像分割方法，其特征在于，所述的步骤3中，构建四叉树的方法为：首先将最低层的ROI特征和初始的舌体mask预测作为输入，采用一个全卷积网络进行四个3
×
3卷积来预测四叉树的根结点，每个根结点分解到临近更高ROI层对应的4个子结点，对于高层的ROI特征，继续对上一层损失区域检测的mask做上采样，然后与ROI特征拼接组合，并使用单个1
×
1卷积层预测更精细的信息损失结点，以保持检测模块的轻量化。5.根据权利要求1所述的基于信息损失区域检测机制的舌图像分割方法，其特征在于，所述的步骤3中，基于Transformer的舌图像分割方法包含三个模块：结点编码器、序列编码器和像素解码器；结点编码器选取四叉树的三个层级信息损失点作为输入，首先丰富每个信息损失结点的特征表示，四叉树结点经结点编码器编码之后，为了建立点与点之间的关联，序列编码器中的多头注意力模块会对输入序列进行点之间的特征融合及更新，序列编
码器的每一层都由多头自注意力模块和全连接的前馈网络组成，可以执行序列上的全局跨尺度预测，最后，再由像素解码器对序列编码器编码之后的结点进行解码，预测每个点是否属于舌体。6.根据权利要求1所述的基于信息损失区域检测机制的舌图像分割方法，其特征在于，具体包括以下步骤：步骤1：收集舌图像数据集数据集从以下三个渠道获得：（1）通过舌诊采集仪器采集到的100张舌像；（2）在GitHub上下载的开源舌像100张；（3）通过手机摄像头采集到的舌像50张；步骤2：舌图像标注与预处理使用Labelme图像标注工具对步骤1收集到的250张舌像进行舌体轮廓标注，保存标注文件并批量生成数据集；然后，利用数据增强程序对标注后的舌图像随机进行旋转、平移、缩放、添加噪声等一系列预处理操作，将原始250张带标签的舌图像扩展到3000张；步骤3:构建舌图像分割模型首先对输入舌图像进行主干特征提取，获得共享特征层，接着特征金字塔网络对共享特征层进行上采样、组合提取有效的特征层，在此获得的有效特征层用来构造ROI特征金字塔，进行信息损失区域的检测和舌图像的由粗到细的分割，包括从主干特征提取、特征金字塔的构建、信息损失区域检测和舌图像的分割四个方面；3.1 主干特征提取使用ResNet101作为主干特征提取，ResNet101主要包含：Conv Block和Identity Block两个块，其中Conv Block残差边有卷积，输入和输出的维度是不一样的，它的作用是改变网络的维度；Identity Block输入维度和输出维度相同，可以串联，用于加深网络的；输入舌图像尺寸为（1024,1024,3），经过ResNet101两个块的处理，舌图像的维度发生改变并串联，长和宽不断的进行压缩，获得多个共享特征层，可以加深网络深度，提高舌体检测效果；用C2表示舌图像在主干特征提取中长和宽压缩了2次的共享特征层，尺寸为（256,256,256）；C3表示长和宽压缩了3次的共享特征层，尺寸为...

【专利技术属性】
技术研发人员：牛秋月，曹莉，任靖娟，赵春霞，李瑞昌，王晓鹏，
申请(专利权)人：河南中医药大学，
类型：发明
国别省市：