一种基于深度学习的两阶段舌象识别方法技术

本发明专利技术公开了一种基于深度学习的两阶段舌象识别方法，分为两个阶段：基于Transformer模型与交叉注意力机制网络模型的舌体分割与基于Swin Transformer的舌象识别网络模型的舌象特征检测。在第一阶段是基于Transformer模型与交叉注意力机制网络模型的舌体分割，包括深度残差网络提取特征、Transformer模块全局信息建模、跳过连接模块特征融合；第二阶段是基于Swin Transformer的舌象识别网络模型的舌象特征检测，包括主干网络模块提取特征、Transformer模块全局信息建模、预测模块得出特征类别与边界框。本发明专利技术能实现对舌象特征的识别，本发明专利技术设计的网络模型为中医舌象特征识别提供了有效的技术手段。别提供了有效的技术手段。别提供了有效的技术手段。

【技术实现步骤摘要】
一种基于深度学习的两阶段舌象识别方法


[0001]本专利技术属于中医舌诊辅助诊疗
，具体涉及一种基于深度学习的两阶段舌象识别方法，解决深度学习在传统中医舌诊方法计算机化的过程中，面临的诊断准确率较低的问题。

技术介绍

[0002]舌诊是我国传统医学四诊“望、闻、问、切”中的重要内容，依据舌和内脏通过经络的内在联系，通过观察舌象来了解病人邪正盛衰和气血津液的变化，可以定性揭示病变部位和程度。随着人工智能、计算机视觉、卷积神经网络在图像处理方面应用的快速发展，舌诊方面也有了应用需求：
[0003](1)对舌色、苔色、舌裂纹、舌齿痕等进行定量分析来量化舌诊；
[0004](2)通过计算机图像处理来辨识人眼难以观察的颜色差异；
[0005](3)减轻外界环境因素的干扰，提高舌诊的准确率。深度学习、卷积神经网络凭借其强大的特征学习与表达能力被广泛应用于图像识别，因此针对深度学习应用于舌诊方法的研究对发展中医、提高舌诊准确率具有重要意义。

技术实现思路

[0006]本专利技术提供一种基于深度学习的两阶段舌诊识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的两阶段舌象识别方法，其特征在于，分为两个阶段来实现舌象特征的识别；第一阶段为基于Transformer模型与交叉注意力机制网络模型的舌体分割，第二阶段为基于Swin Transformer的舌象识别网络模型的舌象特征检测，包括如下步骤：第一阶段：步骤1，深度残差网络提取特征：使用跳过连接结构构建深层残差网络模块，使得网络不会出现梯度消失，使张量数据传入网络的深处，进行高效地提取高级语义特征；步骤2，Transformer模块全局信息建模：使用多头自注意力、多层感知机、残差连接和层归一化计算单元构建Transformer模块，将经过深层残差网络模块提取的高级语义特征进行1*1卷积压缩通道数，然后reshape操作转化为序列化数据，将序列数据送入Transformer模块关注全局信息，对提取的高级特征进行全局信息建模；步骤3，跳过连接模块特征融合：将多头注意力嵌入跳过连接结构中构建跳过连接模块，将在所述步骤1中深层残差模块生成的低级细节特征通过跳过连接传入多头注意力MHA模块中，同时将在所述步骤2产生的高级语义特征通过上采样也传入MHA模块，通过对高级语义特征的关注对低级细节特征施加权重，去除非舌体干扰信息，然后与上采样特征进行特征融合，重建特征图，获得精细舌体分割图像；第二阶段：步骤4，主干网络模块提取特征：如步骤1中构建深度残差模块，在所述步骤2中所述计算单元构建Transformer block模块，将Transformer block模块以金字塔结构嵌入到深度残差模块中构成骨干网络模块，将在所述步骤3获得的分割后的舌体图像送入主干网络提取高级语义特征，多尺度的关注每一层残差网络提取的特征的全局信息；步骤5，Transformer模块全局信息建模：对于在所述步骤2中构建的Transformer模块，将在步骤4中输出的高维张量数据送入Transformer模块关注全局信息，对提取的高级特征进行全局信息建模；步骤6...

【专利技术属性】
技术研发人员：田应仲，卜雪虎，李龙，胡慧娟，
申请(专利权)人：上海大学，
类型：发明
国别省市：