【技术实现步骤摘要】
本专利技术属于舌诊，具体涉及一种基于ai语义分割和图像识别的舌诊检测方法。
技术介绍
1、目前，随着医疗科技的不断进步，计算机视觉和人工智能的应用在医学领域日益受到重视。舌诊作为中医诊断的重要手段之一，在传统医学中有着悠久的历史。然而，传统的舌诊方法通常依赖于医生的经验和直觉，其主观性和误差可能会影响诊断的准确性和一致性。
2、近年来，基于语义分割的技术在医学影像分析中展现出了巨大的潜力。这些技术结合了计算机视觉和深度学习方法，能够从图像中提取并理解更丰富的信息。
3、如现有技术中，申请号为cn202310490925.8的专利提供了基于深度学习的舌面检测分割及体质分类方法，包括步骤为：步骤1：图像去噪，得到去噪图像v2；步骤2：舌面标注：利用labelimg和labelme对v2进行检测和分割标注，获得舌面图像数据集v3；步骤3：模型训练：利用改进的深度学习模型对数据集v3进行训练；训练好的模型可实时检测和分割舌面，分割结果进行保存；步骤4：体质标注：保存的分割结果由医师进行体质标注，获得体质分类数据集v4；步骤5：体质分类：利用迁移网络融合模型对v4进行训练，保存最优训练模型，并对v2进行体质类型研判。
4、申请号为cn202310281209.9的专利提供了一种基于改进的yolov5的自然环境下舌像检测定位方法，包括：步骤1、构建舌像数据集，数据集包括自然状态下的舌像数据和舌像仪采集的舌像数据，使用开源软件labelimag进行标注，生成标签文件xml文件和对应的txt文件；步骤2、采用
5、申请号为cn202210517301.6的专利提供了一种基于改进的tiny-yolo v4自然环境下舌像检测定位方法，包括：a步骤、收集舌像数据，并制作舌像数据集；b步骤、构建改进tiny-yolo v4网络结构，在所述改进网络结构基础上实施与结构相匹配的tiny-yolo v4目标检测方法，所述改进网络结构包括特征提取骨干网络、协同注意力机制模块、特征融合模块和多分类器模块；c步骤、利用a步骤的数据集对所述与结构相匹配的tiny-yolo v4目标检测方法进行训练，将训练后最佳的权重文件加载至tiny-yolo v4目标检测方法中得到目标检测网络模型，训练中采用mosaic数据增强方法对舌像数据集进行扩充，采用k-means聚类方法对舌像尺寸进行分类；d步骤、目标检测网络模型训练完成后进行多组独立数据集测试，在自然环境下快速定位检测舌体的位置并评价模型检测效果。
6、申请号为cn202010017676.7的专利提供了一种基于深度学习的舌部区域检测方法，所述方法包括：对获取的包含舌部的图像数据集进行标注，并对标注后的图像数据集进行预处理，以获取第一图像数据集；设置多种固定参考框的比例大小，并采用k-means聚类的方式进行聚类，以获取多个聚类中心参考框；基于darknet网络结构进行训练，根据所述多个聚类中心参考框确定输出层维度，并根据所述第一图像数据集进行训练，以确定第一检测模型；利用所述第一检测模型对不包含舌部的图像数据集进行检测，以获取误检的误检图像数据集；调整所述第一检测模型的网络结构，修改输出层维度，并利用所述第一检测模型的除最后一层外的参数初始化模型，并利用所述第一图像数据集和误检图像数据集重新进行训练，以确定舌部检测模型，用于舌部区域的检测。
7、申请号为cn201911346435.0的专利提供了一种中医胖舌识别方法，包括：使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；将面部矩形区域进行分割，获取舌部检测区；使用深度学习分类模型，判断所述舌部检测区是否有舌体；若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌。
8、申请号为cn202211598354.1的专利提供了一种基于关键点检测的舌诊图像处理方法、设备及介质，包括：对获取的初始望诊图像进行预处理,得到待标注图像集；基于预设标注规则对待标注图像集进行标注,得到第一标注图像集；将待标注图像集输入预置关键点识别模型,得到第二标注图像集；基于第一标注图像集、第二标注图像集和预置舌体建模模型对初始舌体关键点定位模型进行训练,得到舌体关键点定位模型；将待处理的望诊图像输入关键点舌体定位模型,得到舌体关键点定位分割结果,将舌体关键点定位分割结果输入预先训练好的舌象特征分类器,得到舌象分类结果。该方法虽然极大地降低了容错率，但若出现部分预测关键点识别错误，则会严重影响到舌头位置的预测和裁剪。
9、申请号为cn202211692647.6的专利提供了一种舌象数据处理方法、装置及相关设备，所述方法包括：获取舌诊用户的舌象数据；将该舌象数据输入至舌象检测网络,确定舌象图像中的舌头位置,并基于舌头位置对舌象图像进行裁剪,得到包含舌头的裁剪图像；将裁剪图像输入至舌象分类网络,得到舌象分类结果,该结果包括用户的舌诊特征；基于舌诊数据库对所述舌象分类结果进行匹配查询,输出与所述舌象分类结果关联的体质状态和调理策略。该方法严重依赖于图像分类模型训练数据集的数量和质量，基于数量较少或者质量不高的训练集训练出来的图像识别模型效果并不好，鲁棒性差。
10、因此，在现有技术中，舌诊的客观性、准确性和效率上仍然还有很大进步空间。
技术实现思路
1、为了克服上述技术的不足，本专利技术的目的是提供一种基于ai语义分割和图像识别的舌诊检测方法。
2、本专利技术所采用的技术方案是：一种基于ai语义分割和图像识别的舌诊检测方法,包括以下步骤：获取舌诊患者的自然光待检测舌象图片，将待检测舌象图片输入至预先训练好的改进的deeplab v3+语义分割模型中，得到裁剪后的舌头图片，将裁剪后的舌头图片进行水平矫正，得到包含水平位置的舌头图片；将矫正后的水平位置舌头图片进行基于曲线拟合舌体的形状，得到舌体胖瘦的结果；对裁剪后的舌头图片做色彩矫正，并计算其hsv空间像素值大小，得到舌苔颜色结果。
3、进一步的，所述改进的deeplab v3+语义分割模型的训练过程包括以下步骤：收集初始舌象望诊图片数据集，对初始舌象望诊图片中舌体区域边缘进行标注，得到语义分割模型训练数据集；将deeplab 本文档来自技高网...
【技术保护点】
1.一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，包括以下步骤：获取舌诊患者的自然光待检测舌象图片，将待检测舌象图片输入至预先训练好的改进的Deeplab v3+语义分割模型中，得到裁剪后的舌头图片，将裁剪后的舌头图片进行水平矫正，得到包含水平位置的舌头图片；将矫正后的水平位置舌头图片进行基于曲线拟合舌体的形状，得到舌体胖瘦的结果；对裁剪后的舌头图片做色彩矫正，并计算其HSV空间像素值大小，得到舌苔颜色结果。
2.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述改进的Deeplab v3+语义分割模型的训练过程包括以下步骤：收集初始舌象望诊图片数据集，对初始舌象望诊图片中舌体区域边缘进行标注，得到语义分割模型训练数据集；将Deeplab v3+语义分割模型中编码器的骨干网络改成MobileNet V2网络模块，并在编码器和解码器中间添加了SE通道注意力机制模块，从而构建成改进的Deeplab v3+语义分割模型；使用标注好的训练数据集对改进的Deeplab v3+语义分割模型进行训练。
3.如权利要求2所述的一种
4.如权利要求2所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述收集初始舌象望诊图片被缩放到同一尺度，使其shape为[512,512,3]，经过MobileNetV2模块进行特征提取，可以得到两个有效特征层：第一个有效特征层是输入图片高和宽压缩两次的结果，即shape为[128,128,24]，第二个有效特征层是输入图片高和宽压缩四次的结果，即shape为[32,32,320]，第一个有效特征层直接连接SE通道注意力机制模块。
5.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述待检测舌象图片是由待舌诊的用户用移动终端或者相机拍摄口腔得到。
6.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述待检测舌象图片输入改进的Deeplab v3+语义分割模型进行语义分割，得到裁剪后包含舌象边缘点的集合，基于舌象的边缘点集合从原始图像中进行像素分割，从而得到裁剪后的舌头图片。
7.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述将裁剪后的舌头图片进行水平矫正的具体方法为，采用opencv中cv2.fitEllipse接口来拟合裁剪后的包含舌象的边缘点集合为椭圆，基于最佳拟合的椭圆的中心轴线可进行仿射变换，将偏移的裁剪后舌头图片进行水平矫正，保证其中心轴线与水平线成90度，从而得到包含水平位置的舌头图片。
8.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述将矫正后的水平位置舌头图片进行基于曲线拟合舌体的形状，得到舌体胖瘦的结果，具体包括：基于4次多项式将矫正之后的舌象边缘点连接的曲线进行曲线拟合，公式如下：
9.如权利要求1所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述对裁剪后的舌头图片做色彩矫正，并计算其HSV空间像素值大小，得到舌苔颜色结果，具体包括：将裁剪后的舌头图片拆分成红、绿、蓝三个通道，使其变成灰度图像；依次计算原始灰度图像的像素值，计算出灰度图像的灰度像素值直方图；计算灰度像素值直方图的累积分布函数，从而得到输入与输出之间的映射关系；具体公式如下：
10.如权利要求9所述的一种基于AI语义分割和图像识别的舌诊检测方法,其特征在于，所述对色彩矫正后的图片进行像素颜色统计，以判断该舌头的颜色分布情况，具体包括：首先将图片从BGR转换为HSV颜色空间，提取裁剪区域的像素值，计算裁剪区域的HSV各个通道的像素平均值Am＝[Hm,Sm,Vm]；当舌头颜色为淡红色时，HSV空间的各个通道的像素平均值为Alight_red＝[151.68,74.92,233.34]；当舌头颜色为淡白色时，HSV空间的各个通道的像素平均值为Apale_white＝[166.64,68.66,220.25]；当舌头颜色为红色时，HSV空间的各个通道的像素平均值为Ared＝[171.99,88.82,155.08]；当舌头颜色为绛色时，HSV空间的各个通道的像素平均值为Acrimson＝[146.71,132.75,...
【技术特征摘要】
1.一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，包括以下步骤：获取舌诊患者的自然光待检测舌象图片，将待检测舌象图片输入至预先训练好的改进的deeplab v3+语义分割模型中，得到裁剪后的舌头图片，将裁剪后的舌头图片进行水平矫正，得到包含水平位置的舌头图片；将矫正后的水平位置舌头图片进行基于曲线拟合舌体的形状，得到舌体胖瘦的结果；对裁剪后的舌头图片做色彩矫正，并计算其hsv空间像素值大小，得到舌苔颜色结果。
2.如权利要求1所述的一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，所述改进的deeplab v3+语义分割模型的训练过程包括以下步骤：收集初始舌象望诊图片数据集，对初始舌象望诊图片中舌体区域边缘进行标注，得到语义分割模型训练数据集；将deeplab v3+语义分割模型中编码器的骨干网络改成mobilenet v2网络模块，并在编码器和解码器中间添加了se通道注意力机制模块，从而构建成改进的deeplab v3+语义分割模型；使用标注好的训练数据集对改进的deeplab v3+语义分割模型进行训练。
3.如权利要求2所述的一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，所述mobilenet v2网络模块由inverted resblock模块组成，所述inverted resblock模块的主干部分利用1x1卷积进行升维，然后利用3x3深度可分离卷积进行特征提取，然后再利用1x1卷积降维，最后与残差边部分直接拼接进行输出。
4.如权利要求2所述的一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，所述收集初始舌象望诊图片被缩放到同一尺度，使其shape为[512,512,3]，经过mobilenetv2模块进行特征提取，可以得到两个有效特征层：第一个有效特征层是输入图片高和宽压缩两次的结果，即shape为[128,128,24]，第二个有效特征层是输入图片高和宽压缩四次的结果，即shape为[32,32,320]，第一个有效特征层直接连接se通道注意力机制模块。
5.如权利要求1所述的一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，所述待检测舌象图片是由待舌诊的用户用移动终端或者相机拍摄口腔得到。
6.如权利要求1所述的一种基于ai语义分割和图像识别的舌诊检测方法,其特征在于，所述待检测舌象图片输入改进的deeplab v3+语义分割模型进行语义分割，得到裁剪后包含舌象边缘点的集合，基...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。