一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法技术

本发明专利技术公开了一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，解决了面部神经麻痹疾病的检测诊断不能快速简易化的问题。该发明专利技术含有以下步骤：1、通过人脸检测算法获得相机视野中人脸的位置，采集图像数据，输出人脸图像；2、根据人脸图像重建3D模型；3、获取人脸3D模型上相关肌肉对应的网格点的坐标；4、对人脸图像进行角点检测，获得肌肉上的角点特征，并根据角点修正面部肌肉的运动特征；5、为人脸3Dmensh的网格点分配权重；6、根据面部肌肉运动特征和角点位置的变化特征获得面部肌肉的运动幅度。该技术可以方便快捷的部署在APP应用上，疑似患者通过APP来检测其是否患有面部神经麻痹疾病以及患病程度。面部神经麻痹疾病以及患病程度。面部神经麻痹疾病以及患病程度。

【技术实现步骤摘要】
一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法


[0001]本专利技术涉及机器视觉图像处理
，特别是涉及一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法。

技术介绍

[0002]面部神经麻痹疾病是以面部表情肌群运动功能障碍为主要特征的一种疾病，它是一种常见病、多发病，不受年龄限制，症状表现为口眼歪斜等，严重的患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。这种疾病发现的越早、治疗越早恢复的就越快，并且不会留下后遗症，但是疑似有面部神经麻痹疾病的患者需要到医院或诊所去检测诊断才能获知是否有这种疾病，这样麻烦费时费钱，目前还没有一种快速自动诊断面部神经麻痹疾病的系统和方法。

技术实现思路

[0003]本专利技术克服了现有技术中面部神经麻痹疾病的检测诊断不能快速简易化的问题，提供一种的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法。
[0004]本专利技术的技术解决方案是，提供一种具有以下步骤的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法：含有以下步骤：步骤1、通过人脸检测算法获得相机视野中人脸的位置，采集图像数据，输出人脸图像；步骤2、根据人脸图像重建3D模型；步骤3、获取人脸3D模型上相关肌肉对应的网格点的坐标；步骤4、对人脸图像进行角点检测，获得肌肉上的角点特征，并根据角点修正面部肌肉的运动特征；步骤5、为人脸3D mensh的网格点分配权重；步骤6、根据面部肌肉运动特征和角点位置的变化特征获得面部肌肉的运动幅度。
[0005]优选地，所述步骤1中利用手机的前置相机采集用户的图像数据。
[0006]优选地，所述步骤2中通过PRNet、VRNet或2DASL深度神经网络获得面部的3D模型，通过2DASL深度神经获得3DMM模型的参数，输出的参数作用在该3DMM模型上，使其变形为和图像中人脸一样的形状和纹理。
[0007]优选地，所述步骤3中从人脸3D mensh上选取分布在双目下方、鼻子两侧、两嘴角周围和颧骨周围的所有网格点，其分布在口轮匝肌、咬肌、提上唇肌和颊肌上，通过肌肉上的网格点的位置变化来计算肌肉的运动特征。
[0008]优选地，所述步骤4含有以下分步骤：
[0009]步骤4.1、将角点和3D mensh的网格点相结合实现优势互补，将角点的位置融入3D mensh；
[0010]1)人脸3D mensh是和人脸图像上的人脸对齐后，获取角点的位置，将该位置反向投影回3D mensh上，获得角点在3D mensh上对应的三维坐标P；
[0011]2)获取坐标P周围最近的四个网格点的位置为，构建一个序列ΔP＝{||PP
i
||2}
i＝1，2，3，4
＝{||PP1||2，||PP2||2，||PP3||2，||PP4||2}，||PP
i
||2表示坐标P和坐标P
i
的欧式
距离，i＝1，2，3，4，序列ΔP反映坐标P与周围最近的四个网格点的欧式距离；
[0012]3)构建四个权重系数α1，α2，α3，α4，分别表示四个网格点对坐标位置P的关注程度，令：令：sum(ΔP)表示对序列ΔP的元素求和，网格点P
i
与坐标位置P的距离越近，α
i
就越大，说明P
i
对P的关注程度越高，并且满足α1+α2+α3+α4＝3；
[0013]4)对于网格点P
i
，使用下式对其进行更新：P
i
：＝α
i
P+(1-α
i
)P
i
；
[0014]步骤4.2、对于第j个网格点，其在N帧图像上的位置序列为D
j
＝{D
1，j
，D
2，j
，D
i，j
，
…
，D
N，j
}，D
i，j
表示第j个网格点在第i帧图像上的位置，第j个网格点的运动幅度方法如下：
[0015]1)计算边缘的网格点的坐标的均值为令：符号“：＝”表示将符号右边的表达式的结果赋值给符号左边的变量；
[0016]2)首先获得第j个网格点的在当前第i帧的最小运动幅度，方法如下：计算当前第i帧的第j个网格点D
i，j
与前i-1帧图像中每帧的第j个网格点的欧式距离L
i
，L
i
＝{L
i，1
，，L
i，2
，...，L
i，m
，...，L
i，i-1
}，L
i，m
表示第i帧的第j个网格点D
i，j
与第m帧的第j个网格点D
m，j
的欧式距离，即L
i，m
＝||D
i，j
D
m，j
||2，设前i帧中第j个网格点的最小运动幅度为Lmin
i
，则：Lmin
i
＝min(min(L
i
)，Lmin
i-1
)，i＞2，min(L
i
)表示序列L
i
中最小的元素值，Lmin
i-1
表示前i-1帧中第j个网格点的最小运动幅度，其中Lmin2＝||D
2，j
D
1，j
||2，Lmin
i
表示前i帧中第j个网格点的最小运动范围，通常该值比较小，等于或趋近于0；
[0017]3)同理获得当前第i帧第j个关键点的最大运动程度Lmax
i
，表示在前i帧中网格点最大的运动范围，Lmax
i
与Lmin
i
的算法一样；
[0018]4)则第j个网格点的运动幅度为M
j
：
[0019]5)M
j
越大表示第j个网格点的运动范围越大，说明第j个网格点处的肌肉的运动能力越强。
[0020]优选地，所述步骤5含有以下分步骤：设有J个网格点，获得当前J个网格点的运动幅度M＝{M1，M2，...，M
j
，...，M
J
}，M
j
表示第j个网格点的运动幅度；对不同网格点施加以不同的权重w＝{w1，w2，
…
，w
j
，...，w
J
}，w
j
表示对第j个网格点施加的权重；设有A个正常人的人脸数据，A为超参数，越大越好，A取值为100到200之间；第i个人脸对应的J个网格点的运动幅度为其中表示第i个人脸上第j个网格点的运动幅度，A个人脸对应的第j个网格点的运动幅度为脸对应的第j个网格点的运动幅度为对数据列表m
j
，首先剔除值为0的元素，然后利用均值漂移(Meanshift)算法进行聚类，该算法会输出数据分布密度较大的数据所构成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，其特征在于：含有以下步骤：步骤1、通过人脸检测算法获得相机视野中人脸的位置，采集图像数据，输出人脸图像；步骤2、根据人脸图像重建3D模型；步骤3、获取人脸3D模型上相关肌肉对应的网格点的坐标；步骤4、对人脸图像进行角点检测，获得肌肉上的角点特征，并根据角点修正面部肌肉的运动特征；步骤5、为人脸3D mensh的网格点分配权重；步骤6、根据面部肌肉运动特征和角点位置的变化特征获得面部肌肉的运动幅度。2.根据权利要求1所述的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，其特征在于：所述步骤1中利用手机的前置相机采集用户的图像数据。3.根据权利要求1所述的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，其特征在于：所述步骤2中通过PRNet、VRNet或2DASL深度神经网络获得面部的3D模型，通过2DASL深度神经获得3DMM模型的参数，输出的参数作用在该3DMM模型上，使其变形为和图像中人脸一样的形状和纹理。4.根据权利要求1所述的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，其特征在于：所述步骤3中从人脸3D mensh上选取分布在双目下方、鼻子两侧、两嘴角周围和颧骨周围的所有网格点，其分布在口轮匝肌、咬肌、提上唇肌和颊肌上，通过肌肉上的网格点的位置变化来计算肌肉的运动特征。5.根据权利要求1所述的基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法，其特征在于：所述步骤4含有以下分步骤：步骤4.1、将角点和3D mensh的网格点相结合实现优势互补，将角点的位置融入3D mensh；1)人脸3D mensh是和人脸图像上的人脸对齐后，获取角点的位置，将该位置反向投影回3D mensh上，获得角点在3D mensh上对应的三维坐标P；2)获取坐标P周围最近的四个网格点的位置为，构建一个序列ΔP＝{||PP
i
||2}
i＝1，2，3，4
＝{||PP1||2，||PP2||2，||PP3||2，||PP4||2}，||PP
i
||2表示坐标P和坐标P
i
的欧式距离，i＝1，2，3，4，序列ΔP反映坐标P与周围最近的四个网格点的欧式距离；3)构建四个权重系数α1，α2，α3，α4，分别表示四个网格点对坐标位置P的关注程度，令：，分别表示四个网格点对坐标位置P的关注程度，令：i＝1，2，3，4；sum(ΔP)表示对序列ΔP的元素求和，网格点P
i
与坐标位置P的距离越近，α
i
就越大，说明P
i
对P的关注程度越高，并且满足α1+α2+α3+α4＝3；4)对于网格点P
i
，使用下式对其进行更新：P
i
：＝α
i
P+(1-α
i
)P
i
；步骤4.2、对于第j个网格点，其在N帧图像上的位置序列为D
j
＝{D
1，j
，D
2，j
，D
i，j
，...，D
N，j
}，D
i，j
表示第j个网格点在第i帧图像上的位置，第j个网格点的运动幅度方法如下：1)计算边缘的网格点的坐标的均值为令：符号“：＝”表示将符号右边的表达式的结果赋值给符号左边的变量；2)首先获得第j个网格点的在当前第i帧的最小运动幅度，方法如下：计算当前第i帧的第j个网格点D
i，j
与前i-1帧图像中每帧的第j个网格点的欧式距离L
i
，L
i
＝{L
i，1
，L
i，2
，...，
L
i，m
，...，L
i，i-1
}，L
i，m
表示第i帧的第j个网格点D
i，j
与第m帧的第j个网格点D
m，j
的欧式距离，即L
i，m
＝||D
i，j
D
m，j
||2，设前i帧中第j个网格点的最小运动幅度为Lmin
i
...

【专利技术属性】
技术研发人员：王坚，曹智梅，
申请(专利权)人：王坚，
类型：发明
国别省市：