一种基于特征金字塔网络的舌象分割与对齐方法技术

本发明专利技术提供一种基于特征金字塔网络的舌象分割与对齐方法，本发明专利技术通过构建特征金字塔，将网络的低层的细节特征和高层的语义特征进行多尺度的融合，利用目标检测网络先截取舌体区域，接着进一步为每个特征图生成掩膜，完成舌象的分割；将分割后的舌象进一步处理，通过共形映射实现舌象的对齐，为畸形医学图像处理和诊断提供了一种高效、准确的方法，对舌诊的客观化发展也具有一定的意义。的客观化发展也具有一定的意义。的客观化发展也具有一定的意义。

【技术实现步骤摘要】
一种基于特征金字塔网络的舌象分割与对齐方法


[0001]本专利技术涉及计算机视觉、图像处理以及中医舌诊领域，具体涉及一种基于特征金字塔网络的舌象分割与对齐方法。

技术介绍

[0002]中医理论认为舌象是映射人体内脏腑变化的窗口，反映着人体的邪气性质、病情进退、正气盛衰。中医舌诊是中医学中望诊的重要组成部分，指通过观察舌体、舌质、舌苔、舌下络脉等舌象特征来判断人体健康状况的一种方法，是中医临床诊断过程中的主要依据之一。
[0003]舌诊具有无痛、非侵入性等特点，是中医学最常用的诊断方法之一。舌体的颜色、质地、形状、舌苔等外观特征，揭示了人体健康状况的大量信息。然而，传统的舌诊高度依赖于临床医生的经验，不同的医生诊断同一个患者可能会得出不同的结论，这使得中医舌诊缺乏客观性。通过计算机辅助舌诊方法能够改善这些不足，但是采集到的舌象照片还包含了面部、嘴唇等背景区域，有些舌体是歪斜的，这对后续的辅助诊疗都会产生影响，因此需要先对舌体进行分割和对齐。
[0004]目前传统的舌体分割方法大致分为三类:基于边缘的方法、基于区域的方法、基于区域和边缘融合的方法。基于区域的方法，使用分水岭算法将舌头图像分割成许多小区域，然后进行基于颜色相似度的区域合并，得到最终的舌体分割。对于基于边缘的方法，需要边缘初始化来分割最终的舌体。基于区域和边缘的融合方法，首先利用颜色信息提取舌体的感兴趣区域，然后用感兴趣区域代替原始图像进行后续分割。这些方法虽然都取得了一定的成功，但是仍然存在一定的局限性。比如对复杂的背景和光线变化比较敏感，有的由于嘴唇和舌体的颜色非常相似需要额外的预处理，使整个过程变得复杂，并且无法准确的分割出边缘光滑的舌体。
[0005]近年来，随着深度学习的快速发展，基于深度卷积神经网络的方法被开发出来，以提高舌体分割的健壮性。由于深度神经网络具有强大的表征学习能力，因此基于深度学习的方法比传统的舌体分割方法具有更高的性能。深度网络中浅层部分有更多的细节信息，高层部分有丰富的语义信息，然而大多数网络都是利用最后的高层特征来进行分割，却忽略了浅层的细节特征，而浅层的细节信息在一定程度上能够提升分割的准确性。所以使用单一的高层特征不能取得理想的分割效果。

技术实现思路

[0006]为了解决上面所述的传统方法和深度网络在舌象分割中存在的问题，通过学习残差网络的思想，本专利技术提出了一种基于特征金字塔网络的舌象分割与对齐方法，本方法通过多尺度特征提取并且将高分辨率和低分辨率的舌象特征图相结合，实现更加精细的舌体分割，通过共形映射将分割好的舌象进行对齐处理，为舌诊辅助诊断的后续步骤打下基础。
[0007]为了达到上述目的，本专利技术所采用的技术方案是：一种基于特征金字塔网络的舌
象分割与对齐方法，包括以下步骤：步骤1：使用舌象采集设备，采集所需舌象图片，并对图片进行数据增强处理；步骤2：对所有的图片数据中的舌体进行人工标记；步骤3：将标记后的图片进行预处理后送入构建的特征金字塔网络中提取特征，得到有效特征层；步骤4：将步骤3提取到的有效特征层送入RPN获得建议框；步骤5：将步骤4获得的所有的建议框进行最大池化操作；步骤6：经过最大池化操作后的建议框之后连接两个全连接网络层，分别判断建议框内是否包含物体，然后对建议框进行调整获得预测框；步骤7：将步骤6获得的预测框作为mask模型的区域截取部分，截取后，利用mask模型再对像素点进行分类，获得语义分割结果；步骤8：计算分割后舌象的边界区域及傅里叶系数；步骤9：计算单位圆盘和舌象边界的对应区域；步骤10：确定边界值后，利用柯西积分公式计算内部区域的映射；步骤11：构造保角映射，其通过迭代更新函数的实部和虚部；步骤12：输出对齐后的图像。
[0008]进一步的，步骤1在对图片进行数据增强处理时，通过旋转和水平翻转对数集进行扩充。
[0009]进一步的，步骤2在对所有的图片数据中的舌体进行人工标记时，采用lableme软件。
[0010]进一步的，步骤5中，将所有的建议框经过最大池化操作后固定为7x7的特征。
[0011]进一步的，所述的特征金字塔网络由Mobilenetv2中间4个bneck的输出来构建。
[0012]与现有技术相比，本专利技术的有益效果是：本专利技术通过构建特征金字塔，将网络的低层的细节特征和高层的语义特征进行多尺度的融合，利用目标检测网络先截取舌体区域，接着进一步为每个特征图生成掩膜，完成舌象的分割；将分割后的舌象进一步处理，通过共形映射实现舌象的对齐，为畸形医学图像处理和诊断提供了一种高效、准确的方法，对舌诊的客观化发展也具有一定的意义。
附图说明
[0013]图1是本专利技术一种基于特征金字塔网络的舌象分割与对齐方法的流程示意图；图2是实施例中提到的单位圆盘的形状示意图；图3是实施例中提到的标准舌象的形状示意图；图4是实施例中给出的舌象标注图。
具体实施方式
[0014]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]在本专利技术中，提出了一种基于特征金字塔网络的舌象分割与对齐方法，其使用Mobilenetv2作为主干特征提取网络，取Mobilenetv2中间4个bneck的输出来构建特征金字塔网络，通过多尺度的特征融合，增强网络对细节特征的关注，有利于更加精确的分割。分割后的图像，使用基于共形映射的舌象对齐方法进行对齐处理，以下详细说明该方法的主要流程。
[0016]本专利技术主要针对标准环境下拍摄的舌象进行分割，由于拍摄的图片中包含面部和嘴唇部分。所以为了更加方便快速的分割舌体，首先检测出舌体的具体位置，框选出所需要的舌体部分，进而在分割出完整的舌体。本专利技术主要分为两个部分，第一部分是对舌象图片进行定位和分割，第二部分是对分割后的舌象通过共形映射实现舌象对齐，本专利技术的流程示意图如图1所示，具体步骤如下：
[0017]1.舌体定位及分割舌体的定位首先是要先检测出舌体在图像中的位置，图像中的舌体为前景点，其余部分为背景点，经过不断的调整获取更加精确的预测框，同时为每个预测框生成一个mask掩膜，实现舌体的分割。使用Mask R
‑
CNN网络模型，将网络中的backbone替换为mobilenet v2，通过高分辨率与低分辨率特征图的结合，使网络充分利用了低层的细节信息以及高层的语义信息，实现更加精准的分割。具体工作如下：(1)基础特征提取：首先将舌象图片输入网络，先通过标准的卷积获取特征图，接着利用1
×
1的卷积对特征图的通道进行扩张，丰富特征数量，再使用3
×
3的卷积进行特征整合，最后使用1
×
1的卷积进行压缩，最后使用跳跃连接将输入特征图与压缩后的特征图进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征金字塔网络的舌象分割与对齐方法，其特征在于，包括以下步骤：步骤1：使用舌象采集设备，采集所需舌象图片，并对图片进行数据增强处理；步骤2：对所有的图片数据中的舌体进行人工标记；步骤3：将标记后的图片进行预处理后送入构建的特征金字塔网络中提取特征，得到有效特征层；步骤4：将步骤3提取到的有效特征层送入RPN获得建议框；步骤5：将步骤4获得的所有的建议框进行最大池化操作；步骤6：经过最大池化操作后的建议框之后连接两个全连接网络层，分别判断建议框内是否包含物体，然后对建议框进行调整获得预测框；步骤7：将步骤6获得的预测框作为mask模型的区域截取部分，截取后，利用mask模型再对像素点进行分类，获得语义分割结果；步骤8：计算分割后舌象的边界区域及傅里叶系数；步骤9：计算单位圆盘和舌象边界的对应区域；步骤10：确定边界值...

【专利技术属性】
技术研发人员：张明川，王莎莎，王琳，郑瑞娟，吴庆涛，朱军龙，冀治航，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：