一种基于深度卷积神经网络的中医舌图像自动分割方法技术

一种基于深度卷积神经网络的中医舌图像自动分割方法属于计算机视觉领域和中医舌诊领域。本发明专利技术设计了一种卷积神经网络结构，利用采集到的样本数据对该网络的训练，得到网络模型，采用该模型可以对中医舌图像进行自动分割。该方法包含离线训练阶段和在线分割阶段，该方法可以同时适用于封闭式和开放式的舌象采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。本发明专利技术具体涉及深度学习、语义分割、图像处理等技术。

A method for automatic segmentation of tongue image depth based on convolutional neural network

An automatic tongue segmentation method based on deep convolution neural network belongs to the field of computer vision and tongue diagnosis in traditional Chinese medicine. The invention designs a convolution neural network structure, uses the collected sample data to train the network, obtains the network model, and adopts the model to automatically segment the tongue images of the traditional Chinese medicine. The method includes off-line training and on-line segmentation stage, this method can apply to both closed and open tongue image acquisition environment, can effectively improve the accuracy and robustness of the automatic segmentation of tongue image. The invention relates to deep learning, semantic segmentation, image processing and the like.

【技术实现步骤摘要】
一种基于深度卷积神经网络的中医舌图像自动分割方法
本专利技术将深度学习技术引入到中医舌诊客观化研究中，提出一种基于深度卷积神经网络的中医舌图像自动分割方法，该方法可以同时适用于封闭式和开放式的舌象采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。本专利技术属于计算机视觉领域和中医舌诊领域，具体涉及深度学习、语义分割、图像处理等技术。
技术介绍
中医舌诊通过观察舌象的变化，了解人体的生理功能和病理变化,是中医学中望诊的重要组成部分。20世纪80年代以来，随着计算机技术的发展，研究者们开始将数字图像处理技术应用于中医舌诊客观化研究，其主要流程包括舌图像采集、预处理、舌体分割以及舌象特征分析等，其中，舌体分割是中医舌诊客观化的重要环节。由于舌象特征分析的目标区域是舌体，而采集到的中医舌图像除了包含舌体以外，往往还包含唇部、脸部等背景区域。为了避免这些背景区域对后续舌象特征分析的影响，需先分割出舌体区域，分割的精确性将直接影响舌象特征分析的准确性。尽管舌图像自动分割方面的研究工作取得了一定的进展，但受到图像质量、病人舌图像的差异性、舌体颜色与嘴唇颜色相近以及光照变化等一系列客观因素的本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的中医舌图像自动分割方法，包含离线训练阶段和在线分割阶段，其特征在于：具体包括以下步骤：步骤1：构建数据集；针对封闭式和开放式的舌象采集环境，分别构建了舌图像分割数据集TonsegDataset1和TonsegDataset2；其中，TonsegDataset1具有光照统一和舌图像位置相对一致的特点；TonsegDataset2具有尺寸大小不一，光照复杂多变，舌体的大小形状各异和位置不固定特点；步骤2：标注语义分割标签；即分别对图像上的舌体区域和背景区域的像素点进行标注；步骤3：卷积神经网络的结构设计和网络训练；设计的卷积神经网络包括编码网络和解码网络，其中，编码网络由...

【技术特征摘要】
1.一种基于深度卷积神经网络的中医舌图像自动分割方法，包含离线训练阶段和在线分割阶段，其特征在于：具体包括以下步骤：步骤1：构建数据集；针对封闭式和开放式的舌象采集环境，分别构建了舌图像分割数据集TonsegDataset1和TonsegDataset2；其中，TonsegDataset1具有光照统一和舌图像位置相对一致的特点；TonsegDataset2具有尺寸大小不一，光照复杂多变，舌体的大小形状各异和位置不固定特点；步骤2：标注语义分割标签；即分别对图像上的舌体区域和背景区域的像素点进行标注；步骤3：卷积神经网络的结构设计和网络训练；设计的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、BatchNormalization层、激活层和池化层堆叠而成，解码网络则由反池化层、反卷积层、BatchNormalization层和激活层堆叠而成，并采用跳跃连接结构将池化层的输出特征图与反池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原；解码网络的输出连接sigmoid层，该层实现像素的二分类，得到语义分割结果；将舌图像的像素分为2类，即舌体区域和背景区域；步骤4：利用训练好的网络模型对图像进行舌体区域分割；首先对待分割舌图像的光照情况进行预判，如果图像过亮或者过暗，则不对其进行分割；否则，对该图像的嘴区进行失焦检测，如果嘴区失焦，则不进行分割；否则，利用步骤3中训练好的卷积神经网络对该图像进行舌体分割。2.根据权利要求1所述方法，其特征在于：步骤3中设计的卷积神经网络简称为TonsegNet，包括输入层、编码网络、解码网络和输出层；其中，输入层为含有舌体的图像，图像尺寸为512×512；编码网络包含15个卷积层，卷积核的大小均为3×3，每个卷积层后面均连接着BatchNormalization层和激活层；将编码网络分为5组，每组包含3个卷积层，每组输出的特征图个数分别为32，64，128，256，512，且每组中的卷积层输出特征图个数相同；此外，每组后面连接一个池化层，编码网络共包含5个池化层，采用核尺寸为2×2大小的最大池化层；解码网络与编码网络对称，由反池化层、卷积层、BatchNormalization层和激活层堆叠而成，其中，采用跳跃连接结构将反池化层的输出特征图与池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原；解码网络的输出连接sigmoid层，通过该层可以得到每个像素的类别概率，实现语义分割；将舌图像的像素分为2类，即舌体区域和背景区域。3.根据权利要求1所述方法，其特征在于：步骤3中采用的激活函数是RectifiedLinearUnits(ReLU)。4.根据权利要求1所述方法，其特征在于：步骤3中池化层对图像进行子抽样，池化层首先把输入分块，然后把分块做下采样处理，将得到的值加上偏置值输入到激活函数中；采用max-pooling进行下采样，使用尺寸为2x2的滤波器，取出4个权值中最大的一个，并将该权值在2x2滤波器中的相对位置进行保存；反池化是池化的逆过程，先对输入的特征图放大两倍，再将输入特征图的数据根据保存的...

【专利技术属性】
技术研发人员：卓力，屈盼玲，肖庆新，张辉，张菁，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11