A method of cracked tongue recognition based on SSD network is presented, which includes the pretreatment of tongue segmentation, data enhancement during training, depth convolution neural network for feature extraction of tongue as a whole, and candidate box generation method for predicting cracked areas. The determination of the region and the filtration of confidence are used to determine whether it is a cracked tongue. The invention does not need to manually define the features, and effectively improves the correct recognition rate of the cracked tongue.
【技术实现步骤摘要】
一种基于SSD网络的裂纹舌识别方法
本专利技术涉及一种分析方法,具体涉及中医舌诊、计算机视觉、数字图像处理、模式识别、深度学习和深度卷积神经网络等技术在舌象识别领域的应用。
技术介绍
舌诊是中医临床最直接、最基本的诊断方法之一,自古以来就受到众多医家的推崇,广泛应用于临床实践。舌象包含着人体丰富的生理和病理信息,通过对患者舌面苔迹、舌质相关属性,包括颜色、形态等进行观察,从而判断疾病所在,进行辨证论治,这对中医用药及判断疾病有重要的参考意义。但长期以来,由于舌诊结果完全依赖于医生的主观判断,诊断信息的正确与否受到医生的经验积累、环境因素的影响,导致舌诊缺乏客观的诊断方法与标准,且大多数舌象诊断经验不易于传授和保存,在一定程度上阻碍了舌诊的发展。因此,以中医理论为基础,将中医诊疗与图像分析技术相结合,对舌象进行定量分析,实现舌诊的客观化、标准化和定量化成为中医舌诊发展的必经之路。随着人们日常生活习惯和身体状况的变化,舌面上可能会出现各种形状、深浅不一、多少不等的裂纹、裂沟。裂纹或裂沟中无舌苔覆盖者,多属病理性变化;若有舌苔覆盖,则多见于先天性裂纹。在中医理论中,裂纹舌是全身营养不良的一种表现,有精血亏虚,舌体失养,舌面乳头萎缩或组织破裂所致。申请号为CN201410000707.2的中国专利申请公开了一种基于支持向量机的裂纹舌识别方法,包括如下步骤:(1)建立裂舌纹特征训练样本集;(2)构建基于支持向量机的裂纹舌分类器;(3)利用基于支持向量机的裂纹舌分类器进行识别,识别出待测舌裂纹特征样本集中的每一个待测样本是否属于裂纹舌象。该方法在检测出疑似舌裂纹区域的 ...
【技术保护点】
1.一种基于SSD网络的裂纹舌识别方法,其特征在于,所述方法包括对采集到的舌象进行舌体分割的预处理操作、基于深度卷积神经网络的舌象整体特征提取和对裂纹区域进行预测的候选框生成方法,完成对舌象中裂纹区域的确定,并通过置信度过滤来判别其是否为裂纹舌;所述的对采集到的舌象进行舌体分割的预处理操作,通过构建全卷积网络实现,所述全卷积网络由卷积层、池化层和反卷积层组成,卷积池化层将原始舌象从像素域映射到特征域,进行隐式的特征提取,反卷积层将上一步得到的特征图恢复到原图尺寸,进而对图像中的每个点进行分类实现分割;所述的基于深度卷积神经网络的舌象整体特征提取,所述深度卷积神经网络由卷积层组成,将上述分割后的舌体作为输入,输入图像在网络中进行层层映射,得到不同的表示形式,提取其抽象特征,从而实现对舌象的深度表示;所述的对裂纹区域进行预测的候选框生成方法,在不同层次的特征图上生成多种尺度、多种长宽比的默认盒子作为候选框,并将与真实框最吻合的候选框作为正样本,其余候选框都作为负样本。
【技术特征摘要】
1.一种基于SSD网络的裂纹舌识别方法,其特征在于,所述方法包括对采集到的舌象进行舌体分割的预处理操作、基于深度卷积神经网络的舌象整体特征提取和对裂纹区域进行预测的候选框生成方法,完成对舌象中裂纹区域的确定,并通过置信度过滤来判别其是否为裂纹舌;所述的对采集到的舌象进行舌体分割的预处理操作,通过构建全卷积网络实现,所述全卷积网络由卷积层、池化层和反卷积层组成,卷积池化层将原始舌象从像素域映射到特征域,进行隐式的特征提取,反卷积层将上一步得到的特征图恢复到原图尺寸,进而对图像中的每个点进行分类实现分割;所述的基于深度卷积神经网络的舌象整体特征提取,所述深度卷积神经网络由卷积层组成,将上述分割后的舌体作为输入,输入图像在网络中进行层层映射,得到不同的表示形式,提取其抽象特征,从而实现对舌象的深度表示;所述的对裂纹区域进行预测的候选框生成方法,在不同层次的特征图上生成多种尺度、多种长宽比的默认盒子作为候选框,并将与真实框最吻合的候选框作为正样本,其余候选框都作为负样本。2.如权利要求1所述的基于SSD网络的裂纹舌识别方法,其特征在于:所述对采集到的舌象进行舌体分割的预处理操作中,分割网络选取VGG16的全卷积形式进行实现,其中包含五层堆叠的卷积池化层,经过五个池化层,输出的特征图尺寸依次变为原来的1/2,故采用了反卷积层将每层的特征图依次进行相应倍数的放大和融合,将特征图恢复到原图尺寸;并将真实分割图作为输入,训练softmax分类器对图像中的每个像素点进行分类,进而实现分割。3.如权利要求1或2所述的基于SSD网络的裂纹舌识别方法,其特征在于:所述基于深度卷积神经网络的舌象整体特征提取中,网络使用VGG16-Atrous作为基础网络,再增加额外的特征提取层,附加网络的结构和参数如下所示:第一个卷积层(conv6_1)有256个卷积核,核大小为1×1,步长为1,不填充像素;第二个卷积层(conv6_2)有512个卷积核,核大小为3×3,步长为...
【专利技术属性】
技术研发人员:王丽冉,汤一平,陈朋,何霞,袁公萍,
申请(专利权)人:浙江工业大学,
类型:发明
国别省市:浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。