一种基于改进VGG16网络的中医复杂体质辨识方法技术

本发明专利技术公开了一种基于改进VGG16网络的中医复杂体质辨识方法，包括：步骤一：采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集；步骤二：扩展舌象数据集样本规模；步骤三：对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据集；步骤四：构建特征提取网络模型，采用截断的VGG16网络作为低维特征提取器，采用多层优化的Inception网络结构作为高维特征提取器；步骤五：设置特征提取网络模型的相关函数；步骤六：采用多种优化方法优化特征提取网络模型；步骤七：对图像特征进行定位与提取；步骤八：对图像特征进行分类，设置损失函数与梯度下降方法。本发明专利技术提升了舌象识别的精度与效率，更好地完成中医体质辨识任务。地完成中医体质辨识任务。地完成中医体质辨识任务。

【技术实现步骤摘要】
一种基于改进VGG16网络的中医复杂体质辨识方法


[0001]本专利技术涉及传统中医体质临床诊断领域与图像识别领域，特别是一种基于改进VGG16网络的中医复杂体质辨识方法。

技术介绍

[0002]中医体质理论将人体体质分为9大类，分别为平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质；中医主要通过舌诊来进行中医体质辨识。舌诊的具体实现方式为中医医师通过观察舌象，基于中医的舌象理论判定患者体质。然而，舌诊方法存在着严重依赖于中医医师专业理论知识和中医诊断经验的问题，并且诊断结果不具备客观性，难以使用统一的评判标准来对结果进行评估。因此，需要实现舌诊流程的自动化和客观化，更加准确客观地辨识人体中医体质。为了实现上述目标，相关研究人员基于中医理论知识和临床实践经验，总结了舌诊的流程步骤，构建了完善的舌诊系统。
[0003]一个完善的舌诊系统主要由三个部分组成，分别为舌象图像采集、舌象图像处理、构建中医体质分类器。首先，目前舌象图像采集技术已经相当成熟，市场上也存在各种专业的中医舌象采集设备，可以在消除环境因素影响的基础上，采集到自然、真实的舌象图像；其次，舌象图像处理主要是为了提取图像的关键像素、去除图像的噪声像素，避免噪声像素对最终结果产生干扰；图像处理主要包括图像提取算法和图像去噪算法，目前这些算法已经相当成熟，并且运用在对舌象图像的处理上有着相当不错的效果。因此，本专利技术提出的一种基于改进VGG16网络的中医体质方法，可以很好地构建一个高效准确的中医体质分类器，从而构建一个完整的舌诊系统，准确客观地辨识患者的中医体质。
[0004]将目前常见CNN模型运用于的舌象识别中，大致存在三个问题：第一：深层的网络结构在提升拟合能力的同时，也带来了参数规模的爆炸式增长，导致网络模型难以训练，需要耗费大量的时间和计算资源。第二：深层的网络结构可能出现网络弥散的现象，导致网络难以训练，并且随着网络层次的加深，网络性能不升反降。第三：对于256*256大小的舌象图像，无法保证充分地提取图像特征，可能会丢弃特征图的矢量信息，导致仅仅提取到舌象纹理、肥厚程度、轮廓等信息，而米有提取到舌象的位置信息。

技术实现思路

[0005]本专利技术要解决的问题在于提供一种舌象识别的算法模型，完成中医体质辨识任务。
[0006]实现本专利技术的技术解决方案为：一种基于改进VGG16网络的中医复杂体质辨识方法，包括以下步骤：
[0007]步骤1、采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集；
[0008]步骤2、扩展舌象数据集样本规模；
[0009]步骤3、对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据
集；
[0010]步骤4、构建舌象识别网络模型，采用截断的VGG16网络作为低维特征提取器，采用多层优化的Inception网络结构作为高维特征提取器；
[0011]步骤5、设置舌象识别网络模型的相关函数；
[0012]步骤6、采用多种优化方法优化舌象识别网络模型；
[0013]步骤7、对图像特征进行定位与提取；
[0014]步骤8、对图像特征进行分类，设置损失函数与梯度下降方法。
[0015]相较于VGG16、VGG19、RenseNet50等传统的算法模型，本专利技术提出的方法在提高卷积神经网络复杂度、提升网络性能的同时，降低了网络模型整体的参数规模，因此带来了两方面的优势。第一，本专利技术提出的方法相较于传统算法模型效率更高，训练神经网络耗费的时间与计算资源更少；第二：本专利技术提出的方法相较于传统算法模型准确率更高，对于中医体质的辨识更加精准客观。
[0016]下面结合附图对本专利技术做进一步详细描述。
附图说明
[0017]图1为本专利技术提出的基于改进VGG16网络的中医复杂体质辨识方法的流程图。
[0018]图2为本专利技术提出的舌象识别网络模型的结构图。
[0019]图3为舌象样本图像，A为舌象原图，B为前景分割后的舌象图，C为垂直翻转后的舌象图，D为旋转后的舌象图，E为亮度调节后的舌象图，F为平移后的舌象图。
[0020]图4为舌象识别网络模型训练过程中正确率、损失函数变化曲线图。
[0021]图5为舌象识别网络模型的性能评估柱状图。
具体实施方式
[0022]结合图1，本专利技术提出的一种基于改进VGG16网络的中医复杂体质辨识方法，包括以下步骤：
[0023]步骤1、采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集；
[0024]步骤2、扩展舌象数据集样本规模；
[0025]步骤3、对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据集；
[0026]步骤4、构建舌象识别网络模型，采用截断的VGG16网络作为低维特征提取器，采用多层优化的Inception网络结构作为高维特征提取器；
[0027]步骤5、设置舌象识别网络模型的相关函数；
[0028]步骤6、采用多种优化方法优化舌象识别网络模型；
[0029]步骤7、对图像特征进行定位与提取；
[0030]步骤8、对图像特征进行分类，设置损失函数与梯度下降方法。
[0031]进一步地，步骤1所述的采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集，具体为：
[0032]步骤1
‑
1：在自然光照环境下，利用舌象采集仪采集人体舌象，得到三通道的彩色
高清舌象图像。
[0033]步骤1
‑
2：根据中医医师的临床诊断，对人体舌象图像对应的中医体质进行分类，一共有9种不同类别的中医体质，舌象图像对应地标注成0
‑
8，得到舌象数据集。
[0034]进一步地，步骤2所述的扩展舌象数据集样本规模，具体为：
[0035]针对舌象数据集中的每张图像，分别使用垂直翻转、旋转、亮度调节、平移四种方法进行数据增强，将数据集样本规模扩展为原始数据集的5倍。
[0036]进一步地，步骤3所述的对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据集，具体为：
[0037]步骤3
‑
1：图像前背景分割，使用GrabCut算法对彩色舌象图像进行前背景分割，将舌体像素从复杂的背景像素中分割出来，防止非舌体像素对最终结果产生影响。
[0038]步骤3
‑
2：图像尺寸归一化，使用双线性插值算法将舌象图像统一缩放成s*s大小，具体实现方式为：
[0039]首先，在横向方向上进行第一次线性插值处理，具体如式(1)所示：
[0040][0041]式中f(
·
)表示某个像素点的像素值，x表示目标像素的横坐标位置，x1、x2表示源图像像素的横坐标位置，y表示目标像素的纵坐标位置，y1、y2表示源图像像素的纵坐标位置。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进VGG16网络的中医复杂体质辨识方法，其特征在于，包括以下步骤：步骤1、采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集；步骤2、扩展舌象数据集样本规模；步骤3、对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据集；步骤4、构建舌象识别网络模型，采用截断的VGG16网络作为低维特征提取器，采用多层优化的Inception网络结构作为高维特征提取器；步骤5、设置舌象识别网络模型的相关函数；步骤6、采用多种优化方法优化舌象识别网络模型；步骤7、对图像特征进行定位与提取；步骤8、对图像特征进行分类，设置损失函数与梯度下降方法。2.根据权利要求1所述的基于改进VGG16网络的中医复杂体质辨识方法，其特征在于，步骤1所述的采集人体舌象图像，基于9种中医体质对人体舌象图像进行分类，建立舌象数据集，具体为：步骤1
‑
1：在自然光照环境下，利用舌象采集仪采集人体舌象，得到三通道的彩色高清舌象图像。步骤1
‑
2：根据中医医师的临床诊断，对人体舌象图像对应的中医体质进行分类，一共有9种不同类别的中医体质，舌象图像对应地标注成0
‑
8，得到舌象数据集。3.根据权利要求1所述的基于改进VGG16网络的中医复杂体质辨识方法，其特征在于，步骤2所述的扩展舌象数据集样本规模，具体为：针对舌象数据集中的每张图像，分别使用垂直翻转、旋转、亮度调节、平移四种方法进行数据增强，将数据集样本规模扩展为原始数据集的5倍。4.根据权利要求1所述的基于改进VGG16网络的中医复杂体质辨识方法，其特征在于，步骤3所述的对舌象数据集进行图像预处理与样本划分，得到训练数据集和测试数据集，具体为：步骤3
‑
1：图像前背景分割，使用GrabCut算法对彩色舌象图像进行前背景分割，将舌体像素从复杂的背景像素中分割出来，防止非舌体像素对最终结果产生影响。步骤3
‑
2：图像尺寸归一化，使用双线性插值算法将舌象图像统一缩放成s*s大小，具体实现方式为：首先，在横向方向上进行第一次线性插值处理，具体如式(1)所示：式中f(
·
)表示某个像素点的像素值，x表示目标像素的横坐标位置，x1、x2表示源图像像素的横坐标位置，y表示目标像素的纵坐标位置，y1、y2表示源图像像素的纵坐标位置。其次，在纵向方向上进行第二次线性插值处理，具体如式(2)所示：
式中f(
·
)表示某个像素点的像素值，f(x，y)表示双线性插值处理之后目标像素的像素值，y表示目标像素的纵坐标位置，y1、y2表示源图像像素的纵坐标位置。步骤3
‑
3：使用k折交叉验证方法划分数据集，具体实现方法为：1)随机打乱舌象数据集，保证划分后的训练集和验证集分布一致。2)将舌象数据集划分成样本数目相等的k组数据。3)每次取其中一组作为验证集，剩余的k
‑
1组作为训练集。4)使用训练集训练网络模型，使用验证集评估网络模型，总共进行k次训练与验证，将k次验证结果进行平均计算，得到最终中医体质辨识模型的评估结果。5.根据权利要求1所述的基于改进VGG16网络的中医复杂体质辨识方法，其特征在于，步骤4所述的构建舌象识别网络模型，采用截断的VGG16网络作为低维特征提取器，采用多层优化的Inception网络结构作为高维特征提取器，具体为：采用改进后的VGG16网络作为舌象识别网络模型，该网络模型结构由四部分组成：低维特征提取器、高维特征提取器、转换层、分类器。舌象图像作为输入，经过低维特征提取器得到低维特征图，经过高维特征提取器得到高维特征图，经过转换层将特征图通道进行降维，经过分类器实现舌象特征分类。舌象识别网络模型的具体构建与相关参数如下所示：1)输入层：分辨率为256*256像素大小的RGB舌象图像。2)低维特征提取器：截断的VGG16网络，截取VGG16网络的第1
‑
10层卷积层作为低维特征提取器，具体为VGG16网络的前四组卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3。设置低维特征提取器中卷积层的卷积核大小、滑动步长、通道数目等参数。所有的卷积核大小均为3*3，滑动步长均为1，第一组卷积核的通道数目为64；第二组卷积核的通道数目为128；第三组卷积核的通道数目为256；第四组卷积核的通道数目为512。设置低维特征提取器中池化层的池化方法、池化大小、滑动步长等参数，所有的池化层均采用最大池化算法，池化大小均设置为2*2，滑动步长均设置为1。3)高维特征提取器：高维特征提取器中使用了优化的Inception结构，相较于传统的Inception结构，优化的Inception结构使用平均池化，并舍弃了1*1卷积核作为一个单独尺寸的过滤器。高维特征提取器由三组优化的Inception结构组成，第一组：Conv5_1、Conv5_2、Conv5_3、Conv5_4、AvgPool5_1、Conv5_5；第二组：Conv6_1、Conv6_2、Conv6_3、Conv6_4、AvgPool6_1、Conv6_5；第三组：Conv7_1、Conv7_2、Conv7_3、Conv7_4、AvgPool7_1、Conv7_5。设置高维特征提取器中卷积层的卷积核大小、滑动步长、通道数目等参数。其中Conv5_1、Conv5_3、Conv5_5、Conv6_1、Conv6_3、Conv6_5、Conv7_1、Conv7_3、Conv7_5的卷积核大小为1*1，滑动步长为1，通道数目为128；Conv5_2、Conv6_2、Conv7_2的卷积核大小为3*3，滑动步长为2，通道数目为448；Conv5_4、Conv6_4、Conv7_4的卷积核大小为5*5，滑动步长为1，通道数目为448。设置高维特征提取器中池化层的池化方法、池化大小、滑动步长等参数，AvgPool5_1、AvgPool6_1、AvgPool7_1采用平均池化算法，池化大小设置为3*3，滑动步长设置为2。4)转换...

【专利技术属性】
技术研发人员：刘万里，杨晓辉，俞圳韬，王逸文，王泽廷，徐雷，李鑫，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：