一种智能面舌诊方法、系统及智能设备技术方案

本发明专利技术公开了一种智能面舌诊方法，包括：确定用户进行面诊检测或舌诊检测；基于确定用户进行面诊检测，机械臂开始移动寻找人脸位置；处于移动限位时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，摄像头拍摄人脸图片后，面诊模块对人脸图片进行处理分析并显示面诊结果；基于确定用户进行舌诊检测，机械臂开始移动寻找舌头位置；处于移动限位时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，摄像头拍摄舌头图片后，舌诊模块对舌头图片进行处理分析并显示舌诊结果。还公开了对应的系统、智能设备、电子设备以及计算机可读存储介质，保证用户在放松状态下完成全部面舌诊检测，提供无扰智能的产品体验。验。验。

【技术实现步骤摘要】
一种智能面舌诊方法、系统及智能设备


[0001]本专利技术属于中医诊疗设备
，尤其涉及一种智能面舌诊方法、系统及智能设备。

技术介绍

[0002]中医看病讲究望、闻、问、切，即看外形、听声音(包括闻气味)、问症状、把脉。在没有医学仪器检查的情况下，中医凭借着望闻问切的功力，收集病情资料，诊断疾病。在四诊中，望排在第一位，可见其重要性。中医认为，内脏的病变可以反映到体表，相反，通过对外部的诊察，也可以推测内脏的变化。“望”主要包括观察病人的舌头、脸色、精神状态、动作等。中医把通过观察舌头诊断疾病叫做舌诊，通过观察脸部诊断疾病，叫做面诊，舌诊和面诊是中医最重要的诊断技术之一。
[0003]传统的面舌诊是医生直接观察病人的面部、舌部，根据经验进行判断分析，并口头描述病人的病症。这就造成面舌诊依赖于医生的主观经验，缺乏客观化、定量化的描述，并且由于病人精神状态的不同、所处环境的差异等因素的影响，医生对颜色等的判别因人、因地而异。缺乏客观诊断方法与标准对中医发展造成了严重阻碍。为了弥补人眼诊断的先天不足，并实现中医望诊的定量化、数字化，图像处理、模式识别、人工智能、大数据分析等技术越来越多地应用在数字化望诊领域，市场上逐渐出现了一些数字化面舌诊相关产品。
[0004]通常的数字望诊产品需要用户主动将面部放在指定区域，产品体验具有一定的限制性和被动性。并且大部分望诊设备布置在固定的机构，使用及移动极其不方便，并且不能作为日常的检测设备。将智能面舌诊功能在机器人上实现是一种较新的思路，机器人可以主动去寻找用户的面部，在日常放松状态下完成全部的面诊和舌诊检测，为用户提供无扰、智能的产品体验。
[0005]此外，现有的数字望诊装置无法实现全智能化的面部和舌部的检测部位划分、识别和诊断信息的精确分类，从而无法获得准确的诊断信息，因此，上述的现有技术确实有待提出更佳解决方案的必要性。

技术实现思路

[0006]本专利技术的目的是提供一种智能面舌诊方法、系统及智能设备，将智能面舌诊功能集成在机器人上，无需限制用户的检测姿势，可以自动寻找用户的面部，保证用户在日常放松状态下完成全部的面诊和舌诊检测，提供无扰、智能的产品体验；此外，通过高精度智能图像望诊技术、深度学习技术、边缘计算技术等将中医面舌诊功能在康养机器人上展示出来，可达到普通人群在日常环境下进行健康自检的目的，并且操作简单、方便，无需专业指导。
[0007]本专利技术一方面提供了一种智能面舌诊方法，包括：
[0008]S1，确定用户进行面诊检测或舌诊检测；
[0009]S2，基于确定用户进行面诊检测，机械臂开始移动寻找人脸位置；处于移动限位
时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，摄像头拍摄用户完整清晰的人脸图片后，面诊模块对人脸图片进行处理分析并显示面诊结果；
[0010]S3，基于确定用户进行舌诊检测，机械臂开始移动寻找舌头位置；处于移动限位时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，如果检测到用户已经伸出舌头，则摄像头拍摄用户完整清晰的舌头图片后，舌诊模块对舌头图片进行处理分析并显示舌诊结果；如果检测到用户未伸出舌头，则提示用户伸出舌头，使舌头处于界面中采样边框内，摄像头拍摄用户完整清晰的舌头图片后，舌诊模块对舌头图片进行处理分析并显示舌诊结果。
[0011]优选的，所述S1可以通过用户提前在设备上通过输入选择项确定，或者通过图像采集设备采集用户的姿势中是否有露出舌部的行为动作或者最终的姿态确定；S2和S3均通过语音唤醒所述机械臂的工作；S2中所述摄像头拍摄用户完整清晰的人脸图片或S3中摄像头拍摄用户完整清晰的舌头图片时，如果无法获得清晰的人脸照片或舌头照片，则对摄像头光源进行光源矫正；在S2或S3的执行过程中，用户可以随时通过操作界面或者语音控制模块结束所述面诊检测或所述舌诊。
[0012]优选的，所述S2中所述面诊模块对人脸图片进行处理分析并显示面诊结果包括：
[0013]S21，基于PCA和SVM的人脸分割算法对人脸进行分割获得面部分割结果，包括：
[0014](1)提取人脸图像特征，包括：从尺寸m*n的矩阵I中分别取出六个部位，分别为第一部位额头FH、第二部位右眼RE、第三部位左眼LE、第四部位鼻子NS、第五部位嘴巴MU以及第六部位下巴JW共计6个特征图像矩阵；
[0015]A.设样本集人脸图像有H张，I
i
(i＝1,2,.....,H)为全部样本图片，图片尺寸为m*n，将第一部位变换为D＝m1*n1维的列向量X
NS
,则全体的第一部位的样本训练矩阵为A
NS
＝[X
NS1
,X
NS2
,...,X
NSM
],第一部位的协方差矩阵为：
[0016][0017]其中U
NS
为H张第一部位图像的期望向量，同理可以得到第二部位到第六部位的协方差矩阵；
[0018]B.对S
NS
求特征值和特征向量，假设λ
i
是S
NS
的i个不为零的特征值，那么ν
i
即为λ
i
的一个特征向量，则矩阵的正交归一化特征向量μ
i
为：
[0019][0020]C.根据特征值所占的比重选择最大的前p个特征向量：
[0021][0022]其中，取α＝90％；同样可以得到第二部位到第六部位五个特征对应的矩阵的特征值和特征向量；
[0023](2)基于PCA对特征向量进行降维
[0024]A.定义最优投影向量组P1,P2,.....,P
d
，其中最优投影向量组取为S
NS
的d个最大特征值所对应的标准正交特征向量；令P
NS
＝[P1,P2,....,P
d
]，P
NS
称为最优投影矩阵；
[0025]B.对已知的第一部位的图像样本X
NS
,根据式(4)将X
NS
投影到矩阵P
NS
构成的子空间上，即：
[0026][0027]其中，投影特征向量Y
NS
成为鼻子图像样本矩阵X
NS
的主成分特征矩阵；
[0028]同样方式获得第二部位到第五部位对应的主成分特征矩阵；
[0029](3)基于SVM进行分类后获得人脸分割结果；
[0030]设Y
YH
,Y
RE
,Y
LE
,Y
NS
,Y
MU
,Y
JW
为PCA抽取的第i个人的额头、右眼、左眼、鼻子、嘴巴、下巴6个部位的特征向量，将这6个向量融合成一个新的特征向量，并将这个新的特征向量输入(M+N)维的SVM特征空间进行识别分割获得所述面部分割结果；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能面舌诊方法，其特征在于，包括：S1，确定用户进行面诊检测或舌诊检测；S2，基于确定用户进行面诊检测，机械臂开始移动寻找人脸位置；处于移动限位时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，摄像头拍摄用户完整清晰的人脸图片后，面诊模块对人脸图片进行处理分析并显示面诊结果；S3，基于确定用户进行舌诊检测，机械臂开始移动寻找舌头位置；处于移动限位时，导航模块进行定量移动使机械臂到达目标位置；到达目标位置后，如果检测到用户已经伸出舌头，则摄像头拍摄用户完整清晰的舌头图片后，舌诊模块对舌头图片进行处理分析并显示舌诊结果；如果检测到用户未伸出舌头，则提示用户伸出舌头，使舌头处于界面中采样边框内，摄像头拍摄用户完整清晰的舌头图片后，舌诊模块对舌头图片进行处理分析并显示舌诊结果。2.根据权利要求1所述的一种智能面舌诊方法，其特征在于，所述S1可以通过用户提前在设备上通过输入选择项确定，或者通过图像采集设备采集用户的姿势中是否有露出舌部的行为动作或者最终的姿态确定；S2和S3均通过语音唤醒所述机械臂的工作；S2中所述摄像头拍摄用户完整清晰的人脸图片或S3中摄像头拍摄用户完整清晰的舌头图片时，如果无法获得清晰的人脸照片或舌头照片，则对摄像头光源进行光源矫正；在S2或S3的执行过程中，用户可以随时通过操作界面或者语音控制模块结束所述面诊检测或所述舌诊。3.根据权利要求2所述的一种智能面舌诊方法，其特征在于，所述S2中所述面诊模块对人脸图片进行处理分析并显示面诊结果包括：S21，基于PCA和SVM的人脸分割算法对人脸进行分割获得面部分割结果，包括：(1)提取人脸图像特征，包括：从尺寸m*n的矩阵I中分别取出六个部位，分别为第一部位额头FH、第二部位右眼RE、第三部位左眼LE、第四部位鼻子NS、第五部位嘴巴MU以及第六部位下巴JW共计6个特征图像矩阵；A.设样本集人脸图像有H张，I
i
(i＝1,2,.....,H)为全部样本图片，图片尺寸为m*n，将第一部位变换为D＝m1*n1维的列向量X
NS
,则全体的第一部位的样本训练矩阵为A
NS
＝[X
NS1
,X
NS2
,...,X
NSM
],第一部位的协方差矩阵为：其中U
NS
为H张第一部位图像的期望向量，同理可以得到第二部位到第六部位的协方差矩阵；B.对S
NS
求特征值和特征向量，假设λ
i
是S
NS
的i个不为零的特征值，那么ν
i
即为λ
i
的一个特征向量，则矩阵的正交归一化特征向量μ
i
为：C.根据特征值所占的比重选择最大的前p个特征向量：其中，取α＝90％；同样可以得到第二部位到第六部位五个特征对应的矩阵的特征值和
特征向量；(2)基于PCA对特征向量进行降维，包括：A.定义最优投影向量组P1,P2,.....,P
d
，其中最优投影向量组取为S
NS
的d个最大特征值所对应的标准正交特征向量；令P
NS
＝[P1,P2,....,P
d
]，P
NS
称为最优投影矩阵；B.对已知的第一部位的图像样本X
NS
,根据式(4)将X
NS
投影到矩阵P
NS
构成的子空间上，即：其中，投影特征向量Y
NS
成为鼻子图像样本矩阵X
NS
的主成分特征矩阵；同样方式获得第二部位到第五部位对应的主成分特征矩阵；(3)基于SVM进行分类后获得人脸分割结果；设Y
YH
,Y
RE
,Y
LE
,Y
NS
,Y
MU
,Y
JW
为PCA抽取的第i个人的额头、右眼、左眼、鼻子、嘴巴、下巴6个部位的特征向量，将这6个向量融合成一个新的特征向量，并将这个新的特征向量输入(M+N)维的SVM特征空间进行识别分割获得所述面部分割结果；S22，基于所述面部分割结果，将人脸面部颜色，眼眶，嘴唇和两颊进行面部识别分类获得面部识别分类信息；对所述面部识别分类信息进行分析，并与面诊标准库进行比较获得面部分类，基于所述面部分类获得舌象分析结果；S23，显示面诊结果。4.根据权利要求3所述的一种智能面舌诊方法，其特征在于，所述S22包括：所述面部分类使用OpenCV的dnn模块调用多个已经训练好的深度卷积神经网络模型SqueezeNet，对面部区域图像进行分类；所述面部分类包含四种面部特征，分别为面色、唇色...

【专利技术属性】
技术研发人员：汤青，刘长青，李良学，孟凡吉，魏春雨，王雨晨，高明杰，
申请(专利权)人：新绎健康科技有限公司，
类型：发明
国别省市：