一种面瘫康复训练方法及系统技术方案

本发明专利技术提供一种面瘫康复训练方法，包含步骤：采集患者面部图像，检测该面部图像中的关键点及角膜识别圆；建立人脸坐标系，所述人脸坐标系的x轴为两个角膜识别圆圆心的连线；计算关键点在人脸坐标系下的坐标值，并基于所述坐标值通过深度学习得到患者脸部对称性评估结果；基于患者恢复时间和/或所述对称性评估结果，为患者推送包含至少一个训练内容的训练任务；检测患者训练时的关键点，以人脸坐标系的y轴为对称轴，将患侧关键点投影到健侧，得到对应的投影点；基于关键点和/或健侧的投影点，通过图形界面客户端向患者实时反馈用于指导患侧和/或健侧表情训练的动画图像；向患者反馈训练内容完成质量。本发明专利技术还提供一种面瘫康复训练系统。复训练系统。复训练系统。

【技术实现步骤摘要】
一种面瘫康复训练方法及系统


[0001]本专利技术涉及面瘫评估与康复
，特别涉及一种面瘫康复训练方法及系统。

技术介绍

[0002]面部肌肉、神经损伤的患者会出现表情扭曲现象，严重影响了患者的日常生活。对于患者而言，长期定时前往医院进行康复状况检查，需花费大量时间金钱。并且患者面对医生时可能由于紧张、害怕等心理因素导致无法表现出最好的状态，使康复状况评估不够准确。对于医生而言，为病人评估康复状况、指导康复训练属于重复性基础工作，占用大量门诊时间，减少接诊病人数量。
[0003]如何提供一种训练方法及训练系统，能够自动对患者面部对称性进行评估，根据评估结果及时向患者提供适合当前病情的训练内容，并基于图像或声音为患者每次表情动作反馈正确的预期效果，指导患者做出对称表情，并及时精细化评价患者实际训练效果，是目前亟需解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种面瘫康复训练方法及系统，能够实时评估患者脸部对称性，为患者提供适合的训练方案；本专利技术还以患侧实际面肌功能为参考，生成可视化的动画图像指导健侧表情，通过“患侧指导健侧”的方式帮助患者生成对称的微笑；同时本专利技术还可以通过动画图像、声音等及时反馈患侧、健侧面肌功能差异，帮助患者及时调整面肌用力方向及力度。
[0005]为了达到上述目的，本专利技术提供一种面瘫康复训练方法，包含步骤：
[0006]采集患者面部图像，检测所述面部图像中的关键点；
[0007]建立人脸坐标系，计算所述关键点在人脸坐标系下的坐标值，并基于所述坐标值通过深度学习的方法得到患者脸部对称性评估结果；
[0008]基于患者恢复时间和/或所述对称性评估结果，为患者推送包含至少一个训练内容的训练任务；
[0009]检测患者训练时的关键点，以人脸坐标系的y轴为对称轴，将人脸坐标系下的患侧关键点投影到健侧，得到对应的投影点；基于人脸坐标系下的关键点和/或健侧投影点的坐标值，生成用于指导患侧和/或健侧面肌训练的动画图像；
[0010]通过图形界面客户端向患者实时反馈所述动画图像；
[0011]向患者反馈量化考评的训练效果。
[0012]可选的，所述动画图像包含第一动画图像；所述第一动画图像包含人脸坐标系下，基于患侧关键点、健侧投影点生成的虚拟眉毛、眼睛、鼻子、嘴唇图像中的一种或多种；第一动画图像随患侧面部表情变化而变化，通过第一动画图像指导健侧的口角运动起始时间点、方向、速度、期望到达位置，眼睛睁度，眉毛高度中的一种或多种。
[0013]可选的，所述动画图像还包含第二动画图像；第二动画图像包含人脸坐标系下，基
于患侧、健侧关键点生成的虚拟眉毛、眼睛、鼻子、嘴巴图像中的一种或多种；第二动画图像同时随患侧、健侧面部表情变化而变化。
[0014]可选的，所述动画图像还包含一图形，所述图形基于两侧口角关键点的位移量而改变运动方向；通过该图形的运动反馈两侧口角的运动幅度、运动速度及两侧口角对称性。
[0015]可选的，所述训练内容为放松训练；所述训练方法还包含：
[0016]将患者放松状态的面部图像作为第一面部图像；计算人脸坐标系下，所述第一面部图像中的关键点坐标值；
[0017]实时采集患者的面部图像作为第二面部图像；计算人脸坐标系下，所述第二面部图像中的关键点坐标值；
[0018]比对人脸坐标系下，第一、第二面部图像中对应关键点的位移值；将患者面部各区域的所述位移值经过加权计算后，得到对应区域的肌张力评分值；
[0019]通过图形界面客户端反馈人脸坐标系下的第二面部图像，若面部某区域的肌张力评分值高于设定的肌张力阈值，在第二面部图像上示出该区域。
[0020]可选的，所述训练内容包含患侧口角力量训练，所述训练方法还包含：
[0021]计算患侧口角的关键点的位移值；通过图形界面客户端向患者反馈所述图形的图像或患者实时面部图像；
[0022]基于所述位移值向患者反馈患侧口角恢复程度评分；
[0023]基于患侧上下睑缘的关键点计算患侧睁眼度，当所述患侧睁眼度小于设定的睁眼度阈值，进行提示或报警。
[0024]可选的，所述训练内容包含双侧口角运动协调性训练，所述训练方法还包含：
[0025]不规律的向患者发出微笑、中笑、大笑指令；
[0026]通过图形界面客户端反馈人脸坐标系下的患者面部图像，并在该面部图像上叠加第一动画图像；或者通过图形界面客户端反馈第二动画图像，并在该第二动画图像上叠加第一动画图像；或者通过图形界面客户端反馈所述图形的图像；
[0027]基于两侧口角关键点的运动起始时间、完成指令动作所花费的时间、人脸坐标系下的位移值，向患者反馈两侧口角运动的起始同步度评分、指令动作完成速度评分、运动幅度评分；
[0028]基于患侧口唇关键点与对应健侧口唇关键点的位移幅度，向患者反馈两侧口角运动方向性评分。
[0029]可选的，所述训练内容包含患侧眼睑闭合训练，所述训练方法还包含：
[0030]基于患侧完成闭眼睑动作所花费的时间，向患者反馈患侧闭眼睑速度评分；
[0031]基于人脸坐标系下，患侧上下睑缘的关键点坐标，计算患侧睁眼度；基于所述患侧睁眼度向患者反馈患侧闭眼睑程度评分。
[0032]可选的，所述训练内容包含：双侧眼睑闭合训练，所述训练方法包含：
[0033]基于患侧、健侧完成闭眼睑动作所花费的时间，向患者反馈两眼闭眼睑时间差评分、患侧闭眼睑速度评分、健侧闭眼睑速度评分；
[0034]基于人脸坐标系下，患侧上下睑缘的关键点坐标，计算患侧睁眼度；基于所述患侧睁眼度，向患者反馈患侧闭眼睑程度评分。
[0035]本专利技术还提供一种面瘫康复训练系统，用于实现如本专利技术所述的面瘫康复训练方
法，所述训练系统包含：
[0036]图像采集模块，用于采集面瘫患者的面部图像；
[0037]图像处理模块，信号连接所述图像采集模块，用于检测所述面部图像中的关键点，并转化该面部图像至人脸坐标系；
[0038]面瘫评估模块，信号连接所述图像处理模块，基于人脸坐标系下的关键点坐标值，通过深度学习的方法得到患者脸部对称性评估结果；
[0039]训练指导模块，信号连接图像处理模块和所述面瘫评估模块；基于患者恢复时间和/或所述对称性评估结果，向患者推送训练任务；所述训练指导模块还基于人脸坐标系下，关键点坐标值和/或健侧投影点坐标值，生成指导患侧和/或健侧面肌训练的动画图像；通过以人脸坐标系的y轴为对称轴，将人脸坐标系下的患侧关键点投影到健侧，得到所述健侧投影点；
[0040]显示模块，信号连接图像采集模块、训练指导模块，用于可视化的显示患者的面部图像和/或所述动画图像。
[0041]与现有技术相比，本专利技术的有益效果在于：
[0042]本专利技术的面瘫康复训练方法及系统能够自动检测患者面部关键点，通过深度学习的方法，获得可信的面部对称性评估结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面瘫康复训练方法，其特征在于，包含步骤：采集患者面部图像，检测所述面部图像中的关键点；建立人脸坐标系，计算所述关键点在人脸坐标系下的坐标值，并基于所述坐标值通过深度学习的方法得到患者脸部对称性评估结果；基于患者恢复时间和/或所述对称性评估结果，为患者推送包含至少一个训练内容的训练任务；检测患者训练时的关键点，以人脸坐标系的y轴为对称轴，将人脸坐标系下的患侧关键点投影到健侧，得到对应的投影点；基于人脸坐标系下的关键点和/或健侧投影点的坐标值，生成用于指导患侧和/或健侧面肌训练的动画图像；通过图形界面客户端向患者实时反馈所述动画图像，及量化考评的训练效果。2.如权利要求1所述的面瘫康复训练方法，其特征在于，所述动画图像包含第一动画图像；所述第一动画图像包含人脸坐标系下，基于患侧关键点、健侧投影点生成的虚拟眉毛、眼睛、鼻子、嘴唇图像中的一种或多种；第一动画图像随患侧面部表情变化而变化，通过第一动画图像指导健侧的口角运动起始时间点、方向、速度、期望到达位置，眼睛睁度，眉毛高度中的一种或多种。3.如权利要求2所述的面瘫康复训练方法，其特征在于，所述动画图像还包含第二动画图像；第二动画图像包含人脸坐标系下，基于患侧、健侧关键点生成的虚拟眉毛、眼睛、鼻子、嘴巴图像中的一种或多种；第二动画图像同时随患侧、健侧面部表情变化而变化。4.如权利要求3所述的面瘫康复训练方法，其特征在于，所述动画图像还包含一图形，所述图形基于两侧口角关键点的位移量而改变运动方向；通过该图形的运动反馈两侧口角的运动幅度、运动速度及两侧口角对称性。5.如权利要求1所述的面瘫康复训练方法，其特征在于，所述训练内容为放松训练；所述训练方法还包含：将患者放松状态的面部图像作为第一面部图像；计算人脸坐标系下，所述第一面部图像中的关键点坐标值；实时采集患者的面部图像作为第二面部图像；计算人脸坐标系下，所述第二面部图像中的关键点坐标值；比对人脸坐标系下，第一、第二面部图像中对应关键点的位移值；将患者面部各区域的所述位移值经过加权计算后，得到对应区域的肌张力评分值；通过图形界面客户端反馈人脸坐标系下的第二面部图像，若面部某区域的肌张力评分值高于设定的肌张力阈值，在第二面部图像上标记该区域。6.如权利要求4所述的面瘫康复训练方法，其特征在于，所述训练内容包含患侧口角力量训练，所述训练方法还包含：计算患侧口角的关键点的位移值；通过图形界面客户端向患者反馈所述图形的图像或患者实时面部图像；基于所述位移值向患者反馈患侧口角恢复程度评分；基...

【专利技术属性】
技术研发人员：王炜，王文进，陈刚，戴文斌，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：