基于计算机视觉的舌裂纹形状识别方法及识别系统技术方案

本发明专利技术公开了一种基于计算机视觉的舌裂纹形状识别方法，包括以下步骤：步骤1，舌裂纹的检测和标注；步骤2，舌裂纹的形状识别和标注。本发明专利技术将深度学习与传统图像处理方法有机地融合在一起，能够提高舌裂纹特征提取和识别的精确度，能够实现舌裂纹的客观评价，填补了现有技术仅仅提取裂纹特征而无法实现舌裂纹客观评价的空缺。本发明专利技术还公开了一种基于计算机视觉的舌裂纹形状识别系统。

Tongue crack shape recognition method and recognition system based on computer vision

【技术实现步骤摘要】
基于计算机视觉的舌裂纹形状识别方法及识别系统
本专利技术涉及一种图像处理方法，具体涉及一种基于计算机视觉的舌裂纹形状识别方法。本专利技术还涉及一种基于计算机视觉的舌裂纹形状识别系统。
技术介绍
中医舌诊是一种通过观察舌体的生理与病理学形态来发现人体脏腑病理生理变化的诊察方法。医生通过对舌象的观察，能够对患者的病情作出相应的诊断和评估，在传统中医学中具有重要的价值。经过长期的临床实践，证明舌诊能够准确地辨别出病变部位和疾病的严重程度。而舌象中的舌裂纹是舌诊中的重要组成部分，舌裂纹的有无以及舌裂纹的形状能够反映人体维生素的缺乏情况和消化系统的健康情况，舌裂纹种类大致可以分为纵形、横形、爻字形，以及辐射状、脑回状、鹅卵石状等。中医已经获得舌裂纹的种类与人体的健康状况的关系，所以明确辨别出舌裂纹的种类，对中医问诊有极大好处。目前，有关舌裂纹的研究方法可分成两大类。第一类方法是传统图像处理技术，具体又分为两种，一种是基于舌图像的灰度、色彩信息对舌裂纹进行阈值分割，但并未考虑舌裂纹特征，因而难以精确、完整地分割出舌裂纹；另一种是基于线侦测方法对舌裂纹进行分割，还可以分成3个小类，即基于轮廓的分割方法、基于中心线的分割方法以及基于区域的分割方法。虽然基于线侦测的方法考虑了舌裂纹的纹理特征，但都存在一定程度的不足，例如：基于轮廓的分割方法采用的是一阶导数，对噪声敏感，而且在实际应用中往往得不到闭合的轮廓；基于中心线的分割方法一般采用的是二阶导数，同样对噪声敏感，而且中心线位置的提取往往存在较大误差；而基于区域的分割方法往往会将舌苔上的粗纹理、伪裂纹也分割出来，需要手动去除多余纹理、才能分割出裂纹。第二类方法是基于深度学习的技术，但是现有基于卷积神经网络的舌裂纹特征提取技术，过多依赖于卷积神经网络的设计和训练，往往忽略了传统图像处理技术在舌裂纹中的广泛应用。因此所获得的舌裂纹特征对于中医问诊很难有准确的参考价值。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于计算机视觉的舌裂纹形状识别方法，它可以实现对舌裂纹的形状进行客观评价。为解决上述技术问题，本专利技术基于计算机视觉的舌裂纹形状识别方法的技术解决方案为，包括以下步骤：步骤1，舌裂纹的检测和标注；检测舌裂纹，对输入舌图中的裂纹进行初步特征提取，获取并标注局部裂纹的边界框，得到无标注局部裂纹图；在另一实施例中，进一步地，所述步骤1包括以下步骤：步骤1.1，通过舌图采集设备采集不少于N万张原始舌图，采用人工标注的方式在原始舌图上标注出裂纹的边界框信息，该裂纹为原始裂纹；将标注有原始裂纹边界框信息的标注舌图文件进行保存；将标注舌图随机划分为裂纹检测训练集和裂纹检测验证集；再采集不少于M万张无标注的原始舌图；其中，M＞N；步骤1.2，搭建基于深度学习的裂纹检测训练模型；在另一实施例中，所述步骤1.2中的裂纹检测训练模型采用efficientdet结构，并使用bifpn搭建多尺度特征金字塔。步骤1.3，对所述裂纹检测训练模型进行模型训练，得到训练完成的裂纹检测模型；进一步地，所述步骤1.3的模型训练包括以下步骤：步骤1.3.1，利用所述步骤1.1所得的裂纹检测训练集，对所述步骤1.2搭建的基于深度学习的裂纹检测训练模型进行训练，并利用步骤1.1所得的裂纹检测验证集进行验证，得到检测模型；步骤1.3.2，利用所述步骤1.3.1所得到的检测模型，对所述M万张无标注的原始舌图中的每一张进行预测，将预测出的舌裂纹边界框按照概率值进行排序，取概率值大于0.9±0.05的裂纹边界框，删除概率值小于0.9±0.05的边界框，得到预测文件并与所述步骤1.1所得的裂纹检测训练集进行合并，得到新的裂纹检测训练集；步骤1.3.3，利用所述步骤1.3.2所得的新的裂纹检测训练集，对所述步骤1.3.1所得的检测模型再次进行训练，并利用步骤1.1所得的裂纹检测验证集进行验证，得到训练完成的裂纹检测模型；在另一实施例中，所述步骤1.3.1和/或所述步骤1.3.3的训练过程中采用ciouloss作为裂纹边界框回归损失函数；所述ciou裂纹边界框回归损失函数的公式为：其中，ρ(.)表示欧式距离，b表示预测框B的中心点，bgt表示真实框Bgt的中心点，c表示预测框B和真实框Bgt的最小外接矩形的对角线距离，α是用于平衡损失函数的参数，ν是用来衡量长宽比一致性的参数。在另一实施例中，所述步骤1.3.1中的参数α为：其中，IoU表示任意两个裂纹边界框B1、B2的重叠程度，所述步骤1.3.1中的参数ν为：其中，wgt表示真实标注的裂纹边界框的宽度，hgt表示真实标注的裂纹边界框的高度，w表示预测的裂纹边界框的宽度，h表示预测的裂纹边界框的高度。在另一实施例中，所述步骤1.3.1和/或所述步骤1.3.3的训练过程中使用在线强效数据增强模式；所述在线强效数据增强模式为随机缩放剪裁、旋转、镜像水平翻转、高斯噪声、中值滤波、亮度变化、对比度变换、RGB通道交换、mosaci中的一种或多种。步骤1.4，利用训练完成的裂纹检测模型，检测局部裂纹边界框；在另一实施例中，所述步骤1.4中检测局部裂纹边界框的方法为：利用步骤1.3所得到的训练完成的裂纹检测模型，对所述M万张无标注的原始舌图中的每一张进行预测，将预测出的舌裂纹边界框按照概率值进行排序，取概率值大于0.9±0.05的裂纹边界框，删除概率值小于0.9±0.05的边界框，得到局部裂纹边界框。步骤1.5，根据步骤1.4所检测的局部裂纹边界框，对M万张无标注的原始舌图进行剪裁，剪裁出局部裂纹图，得到所述无标注局部裂纹图。步骤2，舌裂纹的形状识别和标注；步骤2.1，对所述无标注局部裂纹图进行人工标注，标注出裂纹的形状类别信息，并将标注后的局部裂纹图随机划分为形状识别训练集和形状识别验证集；在另一实施例中，所述步骤2.1中裂纹的形状类别信息包括纵形、横形、爻字形、辐射状、脑回状、鹅卵石状的一种或多种。在另一实施例中，所述步骤2.1中的形状识别训练集和形状识别验证集的比例为8:2；所述步骤1.1中的裂纹检测训练集和裂纹检测验证集的比例为8:2。步骤2.2，搭建基于深度学习的裂纹形状分类训练模型；在另一实施例中，所述步骤2.2中的裂纹形状分类训练模型采用efficientnet结构。步骤2.3，对所述裂纹形状分类训练模型进行模型训练，得到训练完成的裂纹形状分类模型；步骤2.4，利用训练完成的裂纹形状分类模型对无标注局部裂纹图进行预测，得到最终的裂纹形状类别。在另一实施例中，进一步地，所述步骤2.3的训练过程包括以下步骤：步骤2.3.1，利用所述步骤2.1所得的形状识别训练集，对所述步骤2.2搭建的基于深度学习的裂纹形状分类训练模型进行训练，并利用步骤2.1所得的形状识本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的舌裂纹形状识别方法，其特征在于，包括以下步骤：/n步骤1，舌裂纹的检测和标注；/n检测舌裂纹，对输入舌图中的裂纹进行初步特征提取，获取并标注局部裂纹的边界框，得到无标注局部裂纹图；/n步骤2，舌裂纹的形状识别和标注；/n步骤2.1，对所述无标注局部裂纹图进行人工标注，标注出裂纹的形状类别信息，并将标注后的局部裂纹图随机划分为形状识别训练集和形状识别验证集；/n步骤2.2，搭建基于深度学习的裂纹形状分类训练模型；/n步骤2.3，对所述裂纹形状分类训练模型进行模型训练，得到训练完成的裂纹形状分类模型；/n步骤2.4，利用训练完成的裂纹形状分类模型对无标注局部裂纹图进行预测，得到最终的裂纹形状类别。/n

【技术特征摘要】
1.一种基于计算机视觉的舌裂纹形状识别方法，其特征在于，包括以下步骤：
步骤1，舌裂纹的检测和标注；
检测舌裂纹，对输入舌图中的裂纹进行初步特征提取，获取并标注局部裂纹的边界框，得到无标注局部裂纹图；
步骤2，舌裂纹的形状识别和标注；
步骤2.1，对所述无标注局部裂纹图进行人工标注，标注出裂纹的形状类别信息，并将标注后的局部裂纹图随机划分为形状识别训练集和形状识别验证集；
步骤2.2，搭建基于深度学习的裂纹形状分类训练模型；
步骤2.3，对所述裂纹形状分类训练模型进行模型训练，得到训练完成的裂纹形状分类模型；
步骤2.4，利用训练完成的裂纹形状分类模型对无标注局部裂纹图进行预测，得到最终的裂纹形状类别。


2.根据权利要求1所述的基于计算机视觉的舌裂纹形状识别方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1，通过舌图采集设备采集不少于N万张原始舌图，采用人工标注的方式在原始舌图上标注出裂纹的边界框信息，该裂纹为原始裂纹；将标注有原始裂纹边界框信息的标注舌图文件进行保存；将标注舌图随机划分为裂纹检测训练集和裂纹检测验证集；再采集不少于M万张无标注的原始舌图；其中，M＞N；
步骤1.2，搭建基于深度学习的裂纹检测训练模型；
步骤1.3，对所述裂纹检测训练模型进行模型训练，得到训练完成的裂纹检测模型；
所述步骤1.3的模型训练包括以下步骤：
步骤1.3.1，利用所述步骤1.1所得的裂纹检测训练集，对所述步骤1.2搭建的基于深度学习的裂纹检测训练模型进行训练，并利用步骤1.1所得的裂纹检测验证集进行验证，得到检测模型；
步骤1.3.2，利用所述步骤1.3.1所得到的检测模型，对所述M万张无标注的原始舌图中的每一张进行预测，将预测出的舌裂纹边界框按照概率值进行排序，取概率值大于0.9±0.05的裂纹边界框，删除概率值小于0.9±0.05的边界框，得到预测文件并与所述步骤1.1所得的裂纹检测训练集进行合并，得到新的裂纹检测训练集；
步骤1.3.3，利用所述步骤1.3.2所得的新的裂纹检测训练集，对所述步骤1.3.1所得的检测模型再次进行训练，并利用步骤1.1所得的裂纹检测验证集进行验证，得到训练完成的裂纹检测模型；
步骤1.4，利用训练完成的裂纹检测模型，检测局部裂纹边界框；
步骤1.5，根据步骤1.4所检测的局部裂纹边界框，对M万张无标注的原始舌图进行剪裁，剪裁出局部裂纹图，得到所述无标注局部裂纹图。


3.根据权利要求2所述的基于计算机视觉的舌裂纹形状识别方法，其特征在于，所述步骤1.3.1和/或所述步骤1.3.3的训练过程中采用ciouloss作为裂纹边界框回归损失函数；所述ciou裂纹边界框回归损失函数的公式为：



其中，ρ(.)表示欧式距离，
b表示预测框B的中心点，
bgt表示真实框Bgt的中心点，
c表示预测框B和真实框Bgt的最小外接矩形的对角线距离，
α是用于平衡损失函数的参数，
ν是用来衡量长宽比一致性的参数。


4.根据权利要求3所述的基于计算机视觉的舌裂纹形状识别方法，其特征在于，所述步骤1.3.1中的参数α为：



其中，IoU表示任意两个裂纹边界框B1、B2的重叠程度，
所述步骤1.3.1中的参数ν为：



其中，wgt表示真实标注的裂纹边界框的宽度，
hgt表示真实标注的裂纹边界框的高度，
w表示预测的裂纹边界框的宽度，
h表示预测的裂纹边界框的高度。


5.根据权利要求1所述的基于计算机视觉的舌裂纹形状识别方法，其特征在于，所述步骤2.3的训练过程包括以下步骤：
步骤2.3.1，利用所述步骤2.1所得的形状识别训练集，对所述步骤2.2搭建的基于深度学习的裂纹形状分类训练模型进行训练，并利用步骤2.1所得的形状识别验证集进行验证，得到分类模型；
步骤2.3.2，利用步骤2.3.1所得的分类模型，对所述无标注局部裂纹图进行预测，对预测后的所有局部裂纹图按照概率值进行排序，保留概率值大于0.9±0.05的局部裂纹图，得到预测文件并与步骤2.1所得的形状识别训练集进行合并，得到新的形状识别训练集；
步骤2.3.3，利用所述步骤2.3.2所得的新的形状识别训练集，对所述步骤2.3.1所得的分类模型再次进行训练，并利用步骤2.1所得的形状...

【专利技术属性】
技术研发人员：颜仕星，郭峰，何海洋，李晓霞，李春清，
申请(专利权)人：上海道生医疗科技有限公司，
类型：发明
国别省市：上海;31