一种中医胖舌识别方法及装置制造方法及图纸

本发明专利技术公开了一种中医胖舌识别方法，包括：使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；将面部矩形区域进行分割，获取舌部检测区；使用深度学习分类模型，判断所述舌部检测区是否有舌体；若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌，解决现有技术中用户使用难度高，效果差的问题。

A recognition method and device of fat tongue in traditional Chinese Medicine

【技术实现步骤摘要】
一种中医胖舌识别方法及装置
本申请涉及图像识别领域，具体涉及一种中医胖舌识别方法，同时涉及一种中医胖舌识别装置。
技术介绍
中医是我们中华民族的瑰宝，是经过数千年很多代人不断完善的智慧结晶。随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医的诊断方法也在向着自动化、数字化的方向发展。正如《古今医统》所说：“望闻问切四字，诚为医之纲领。”即望闻问切组成了中医诊断的四诊。《灵枢·本脏篇》：“视其外应，以知其内脏，则知所病矣。”可知望诊具有非常重要的作用。望诊可以分为面诊和舌诊。《辨舌指南》：“辨舌质可辨脏腑的虚实，视舌苔可察六淫之浅深。”舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联，脏腑病变，可在舌质和舌苔上反映出来。舌诊主要诊断舌质和舌苔的形态、色泽等，以此判断疾病的性质、病势的浅深、气血的盛衰及脏腑的虚实等。近年，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，深度卷积神经网络开始应用到中医舌诊之中，并产生了多种方法。但是，现有的面舌诊方法很多都要求用户把面部或者舌部固定在一个检测仪器的某个位置，用户使用起来很不方便，增加了用户使用的难度。而对于一些用于舌部定位或者舌部分割的方法，也需要舌头在整个图像中的占比不能太小，否则也会影响这些算法的效果。
技术实现思路
本申请提供一种中医胖舌识别方法，解决现有技术中用户使用难度高，效果差的问题。本申请提供一种中医胖舌识别方法，包括：使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；将面部矩形区域进行分割，获取舌部检测区；使用深度学习分类模型，判断所述舌部检测区是否有舌体；若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌。优选的，使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域，包括：使用基于ResNet的面部识别深度卷积神经网络，定位到图像中人的面部，进而获取面部的矩形区域。优选的，将面部矩形区域进行分割，获取舌部检测区，包括：将面部矩形区域进行分割，将分割的下面二分之一区域作为舌部检测区。优选的，使用深度学习分类模型，判断所述舌部检测区是否有舌体，包括：基于SqueezeNet的深度学习分类模型，使用有舌体和无舌体的图像作为训练样本对所述模型进行训练；训练完成后，使用基于SqueezeNet的深度学习分类模型，对所述舌部检测区图像进行识别，所述模型输出所述舌部检测区图片是否有舌体。优选的，若所述舌部检测区有舌体，使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌的步骤之前，还包括：使用图片标注工具LabelImg对舌体的矩形区域进行标注，将所述舌体的矩形区域作为训练样本；使用所述训练样本，对SqueezeNet和SSD相结合的舌部定位模型进行训练；训练完成后，所述舌部定位模型对所述舌部检测区的图片中的舌体进行定位。优选的，在使用胖大舌深度学习模型之前，还包括：对所述胖大舌深度学习模型进行训练，训练的步骤包括：根据舌体区域左上角顶点坐标、宽度和高度，获得舌体正方形区域；使用所述舌体正方形区域，对基于SqueezeNet的胖大舌深度学习模型进行训练，所述模型输出舌体正方形区域对应的舌体分类；所述舌体分类包括胖舌，瘦舌，胖瘦适中舌。优选的，若所述舌部检测区有舌体，使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌，包括：将所述舌部检测区有舌体的图片，经过基于SqueezeNet的胖大舌深度学习模型进行识别，输出所述舌体的分类，确定所述舌体是否是胖大舌。本申请同时提供一种中医胖舌识别装置，包括：面部矩形区域获取单元，用于使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；舌部检测区确定单元，将面部矩形区域进行分割，获取舌部检测区；舌体检测单元，用于使用深度学习分类模型，判断所述舌部检测区是否有舌体；胖大舌确定单元，若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌。优选的，舌体检测单元，包括：训练子单元，用于基于SqueezeNet的深度学习分类模型，使用有舌体和无舌体的图像作为训练样本进行训练；舌体检测子单元，用于训练完成后，使用基于SqueezeNet的深度学习分类模型，对所述舌部检测区图像进行识别，所述模型输出所述舌部检测区图片是否有舌体。优选的，还包括：标注子单元，用于使用图片标注工具LabelImg对舌体的矩形区域进行标注，将所述舌体的矩形区域作为训练样本；训练子单元，用于使用所述训练样本，对SqueezeNet和SSD相结合的舌部定位模型进行训练；舌体定位子单元，用于训练完成后，所述舌部定位模型对所述舌部检测区的图片中的舌体进行定位。本申请提供一种中医胖舌识别方法，首先通过面部识别深度卷积神经网络，获取面部的矩形区域，从面部矩形区域获取舌部检测区，再通过深度学习分类模型，判断舌部检测区是否有舌体，最后使用胖大舌深度学习模型，确定舌体是否是胖大舌，解决现有技术中用户使用难度高，效果差的问题。附图说明图1是本申请提供的一种中医胖舌识别方法的流程示意图；图2是本申请涉及的面部检测结果示意图；图3是本申请涉及的舌体区域定位结果图；图4是本申请涉及的胖大舌训练样本的扩展效果图；图5是本申请提供的一种中医胖舌识别装置示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。图1是本申请提供的一种中医胖舌识别方法的流程示意图，下面结合图1对本申请提供的方法进行详细说明。步骤S101，使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域。本申请使用的深度学习框架是Caffe，面部检测使用基于ResNet的面部识别深度卷积神经网络，对舌体采集装置采集到的图像，进行面部识别，获取面部的矩形区域。采集图像时，会受到其他因素的影响，如环境因素，采集图像时，处于人员密集的场所，那么就会多个人同时出现在图像中，这时，面部识别深度卷积神经网络，就会自动识别处于图像最中间的、且面积最大的人脸，并将其作为面部检测结果，如图2所示。此时面部检测结果只检测了面部，并未判断面部定位区域是否有舌体。步骤S102，将面部矩形区域进行分割，获取舌部检测区。将如图2中的面部的矩形区域的下面二分之一区域作为“舌部检测区”，步骤S103，使用深度学习分类模型，判本文档来自技高网...

【技术保护点】
1.一种中医胖舌识别方法，其特征在于，包括：/n使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；/n将面部矩形区域进行分割，获取舌部检测区；/n使用深度学习分类模型，判断所述舌部检测区是否有舌体；/n若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌。/n

【技术特征摘要】
1.一种中医胖舌识别方法，其特征在于，包括：
使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域；
将面部矩形区域进行分割，获取舌部检测区；
使用深度学习分类模型，判断所述舌部检测区是否有舌体；
若所述舌部检测区有舌体，则使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌。


2.根据权利要求1所述的方法，其特征在于，使用面部识别深度卷积神经网络定位图像中人的面部，获取面部的矩形区域，包括：
使用基于ResNet的面部识别深度卷积神经网络，定位到图像中人的面部，进而获取面部的矩形区域。


3.根据权利要求1所述的方法，其特征在于，将面部矩形区域进行分割，获取舌部检测区，包括：
将面部矩形区域进行分割，将分割的下面二分之一区域作为舌部检测区。


4.根据权利要求1所述的方法，其特征在于，使用深度学习分类模型，判断所述舌部检测区是否有舌体，包括：
基于SqueezeNet的深度学习分类模型，使用有舌体和无舌体的图像作为训练样本对所述模型进行训练；
训练完成后，使用基于SqueezeNet的深度学习分类模型，对所述舌部检测区图像进行识别，所述模型输出所述舌部检测区图片是否有舌体。


5.根据权利要求1所述的方法，其特征在于，若所述舌部检测区有舌体，使用胖大舌深度学习模型，判断所述舌体的分类，确定所述舌体是否是胖大舌的步骤之前，还包括：
使用图片标注工具LabelImg对舌体的矩形区域进行标注，将所述舌体的矩形区域作为训练样本；
使用所述训练样本，对SqueezeNet和SSD相结合的舌部定位模型进行训练；
训练完成后，所述舌部定位模型对所述舌部检测区的图片中的舌体进行定位。


6.根据权利要求1所述的方法，其特征在于，在使用胖大舌深度学习模型之前，还包括：对所述胖大舌深度学习模型进行训练，训练的步骤包括：

【专利技术属性】
技术研发人员：魏春雨，王雨晨，周枫明，
申请(专利权)人：新绎健康科技有限公司，
类型：发明
国别省市：河北;13