基于机器学习的中医舌色苔色定量分析方法技术

本发明专利技术涉及舌色苔色鉴定，具体涉及基于机器学习的中医舌色苔色定量分析方法，对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据，对中医舌象大数据中的舌象图像提取舌体区域，通过HSV空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡，基于xgboost机器学习算法构建像素颜色属性分类器X，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；本发明专利技术提供的技术方案能够有效克服现有技术所存在的识别结果准确性较低、较为依赖样本数据的缺陷。

Quantitative Analysis of Tongue Coating in Traditional Chinese Medicine Based on Machine Learning

【技术实现步骤摘要】
基于机器学习的中医舌色苔色定量分析方法
本专利技术涉及舌色苔色鉴定，具体涉及基于机器学习的中医舌色苔色定量分析方法。
技术介绍
传统望舌是以肉眼观察为主，其正确性取决于医生经验，受限于环境因素，缺乏客观统一的辨识指标，无法达到研究上的可重复性要求。医生可能会因光线、环境等因素，造成对舌色、苔色的判断失误，因此急需采用机器量化分析和辨识的方法。现有技术主要有以下两种方法：卷积神经网络分类模型直接使用神经网络来分类判别舌体苔质颜色，以InceptionV4分类网络为例，该网络在ILSVRC-2012-CLS数据集下以最大概率的类别作为预测结果，准确率为80.2％，而使用的是包含百万张图片的数据集。对于中医舌诊来说，要使用权威医生标注的高质量样本不仅匮乏而且代价十分昂贵，经验不足的医生往往难以保证数据标注的质量，所以能够作为训练的舌象库样本容量太小，无法达到预期的分类效果。卷积网络滑动窗口预测在《一种基于卷积神经网络的中医舌色苔色自动分析方法》专利中，提到的不再使用原图进行直接训练，而是利用滑动窗口从舌象的舌质、舌苔区域得到小块图片，然后再由中医进行确定标签，随后训练，预测的时候也是先通过滑动窗口将图片分成小块，然后通过模型预测每块的类型，综合起来判定整舌的舌色、苔色。上述方式较第一种确实有所改进，但是其中也有问题，比如使用滑动窗口方式取分块，具有随机性和不稳定性，往往一块图片上带有其他很多颜色，导致标记出现偏差，致使最终结果不准确。
技术实现思路
(一)解决的技术问题针对现有技术所存在的上述缺点，本专利技术提供了基于机器学习的中医舌色苔色定量分析方法，能够有效克服现有技术所存在的识别结果准确性较低、较为依赖样本数据的缺陷。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：基于机器学习的中医舌色苔色定量分析方法，包括以下步骤：S1、对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据；S2、对中医舌象大数据中的舌象图像提取舌体区域，通过HSV空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡；S3、基于xgboost机器学习算法构建像素颜色属性分类器X，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；S5、使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色；S6、按局部特征定义要求，对舌体各分区进行局部舌色、苔色特征计算。优选地，所述舌象图像为在自然光条件下，采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。优选地，所述中医舌象大数据包括舌色、舌形、苔质、苔色，所述舌色包括淡白、淡红、红、绛、青紫，所述舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺，所述苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔，所述苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。优选地，从所述舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型，所述实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界，每张舌体区域图像生成一张背景为黑色、前景为舌体的图像，作为舌体颜色特征计算数据源。优选地，通过所述HSV空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤：S1、通过颜色聚类的方式将提取的舌体区域图像进行HSV颜色空间聚类，按照相邻区域相近颜色为同一区域切分成子图；S2、对切分成的子图，使用抠图工具按照舌色、苔色的顺序，新建11张各颜色命名的黑色背景图片，从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中，经过反复取小图的方式，可以得到比较可靠的各颜色小块图片的拼图；S3、对各颜色小块图片进行像素点合并，并对色调跳跃大的以及重复像素点进行数据清洗，最后生成各种颜色对应的像素点图片，即五张舌色颜色色卡、六张苔色颜色色卡。优选地，构建所述像素颜色属性分类器X包括将舌色颜色色卡、苔色颜色色卡像素点的HSV三个值作为三列训练集特征数据，色卡对应的颜色作为标签值，并用数字代替，制作好的数据进行颜色属性分类器X的训练，得到所述颜色属性分类器X。优选地，构建所述整舌舌色分类模型s和整舌苔色分类模型t包括以下步骤：S1、使用颜色属性分类器X计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；S2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签，苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签；S3、使用SVM模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练，得到整舌舌色分类模型s、整舌苔色分类模型t。优选地，使用所述整舌舌色分类模型s计算整舌舌色，使用所述整舌苔色分类模型t计算整舌苔色包括以下步骤：S1、读取r张舌象图像，图片宽度为w，高度为h，计算各像素在HSV空间的矩阵M：其中，mij＝[hsv]，h∈[0，180]s∈[0，255]v∈[0，255]S2、使用像素颜色属性分类器X计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵Ns：S3、对颜色属性类别矩阵Ns统计各类别像素数量矩阵Cs及其占整舌比例fs：S4、使用整舌舌色分类模型s计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps：取颜色最大概率max(ps)＝[pj]r为整舌舌色；S5、使用像素颜色属性分类器X计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵Nt：S6、对颜色属性类别矩阵Nt统计各类别像素数量矩阵Ct及其占整舌比例ft：S7、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt：取颜色最大概率max(pt)＝[pj]r为整舌苔色。优选地，所述舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。(三)有益效果与现有技术相比，本专利技术所提供的基于机器学习的中医舌色苔色定量分析方法具有以下有益效果：(1)、准确度明显高于同类方法，对舌体颜色特征的检测能力高于一般方法，检测算法的准确性更高，所需数据依赖更小，更能保证日常自然光照条件下拍照舌诊使用；(2)、通过对HSV颜色空间舌色、苔色属性的两次机器学习，对舌体进行像素级分类和舌色、苔色的定量计算，能达到对舌体5种舌色、6种苔色，共11个类别的检测，以及舌尖、舌中、舌根、舌左边、舌右边5个区域局部颜色的特征识别，显著提升了检测能力并且重复性好、准确度高，可应用于人工智能舌诊机器辨析舌色、苔色。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术舌色、苔色机器学习模型训练流程示意图；图2为本专利技术舌色、苔色分类模型定量分析示意图；图3为本专利技术舌体区域划分示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术本文档来自技高网...

【技术保护点】
1.基于机器学习的中医舌色苔色定量分析方法，其特征在于：包括以下步骤：S1、对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据；S2、对中医舌象大数据中的舌象图像提取舌体区域，通过HSV空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡；S3、基于xgboost机器学习算法构建像素颜色属性分类器X，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；S5、使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色；S6、按局部特征定义要求，对舌体各分区进行局部舌色、苔色特征计算。

【技术特征摘要】
1.基于机器学习的中医舌色苔色定量分析方法，其特征在于：包括以下步骤：S1、对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据；S2、对中医舌象大数据中的舌象图像提取舌体区域，通过HSV空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡；S3、基于xgboost机器学习算法构建像素颜色属性分类器X，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；S5、使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色；S6、按局部特征定义要求，对舌体各分区进行局部舌色、苔色特征计算。2.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法，其特征在于：所述舌象图像为在自然光条件下，采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。3.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法，其特征在于：所述中医舌象大数据包括舌色、舌形、苔质、苔色，所述舌色包括淡白、淡红、红、绛、青紫，所述舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺，所述苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔，所述苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。4.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法，其特征在于：从所述舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型，所述实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界，每张舌体区域图像生成一张背景为黑色、前景为舌体的图像，作为舌体颜色特征计算数据源。5.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法，其特征在于：通过所述HSV空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤：S1、通过颜色聚类的方式将提取的舌体区域图像进行HSV颜色空间聚类，按照相邻区域相近颜色为同一区域切分成子图；S2、对切分成的子图，使用抠图工具按照舌色、苔色的顺序，新建11张各颜色命名的黑色背景图片，从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中，经过反复取小图的方式，可以得到比较可靠的各颜色小块图片的拼图；S3、对各颜色小块图片进行像素点合并，并对色调跳跃大...

【专利技术属性】
技术研发人员：彭成东，王勇，杨诺，黄稳，陈仁明，董昌武，
申请(专利权)人：合肥云诊信息科技有限公司，
类型：发明
国别省市：安徽,34