基于自监督的预训练和面瘫分级的建模、分级方法及系统技术方案

本发明专利技术公开了一种基于自监督的预训练和面瘫分级的建模、分级方法及系统。面瘫分级评估方法主要包括视频序列预测的上游任务和面瘫分级评估的下游任务两个阶段。为进行视频序列预测，将面瘫的诊断视频中人脸对称地划分为左侧脸和右侧脸，将这些单侧脸的视频采样为若干个视频片段并打乱。然后利用3D

【技术实现步骤摘要】
基于自监督的预训练和面瘫分级的建模、分级方法及系统


[0001]本专利技术属于医疗辅助诊断、信息处理和人工智能
，具体涉及一种基于自监督的预训练和面瘫分级的建模、分级方法及系统。

技术介绍

[0002]面瘫是一种较为常见的面部肌肉运动障碍的疾病。由于不健康的生活方式、各种生活和精神压力，越来越多的年轻人患有面瘫疾病。面瘫的主要症状是患者面部表情肌肉丧失了正常的运动功能。患者无法正常表达出常见的面部表情。面瘫对患者的身心健康以及正常生活产生不利影响。大多数面瘫患者的临床特征是单侧性面瘫。因此，面瘫评估主要是依据面部运动的不对称性和面部肌肉运动模式。目前面瘫的诊断和分级评估基本都是由专科医生根据医学经验和相关标准进行的，诊断结果很大程度上受医生主观医学经验的影响，且效率低下。而利用计算机视觉技术的辅助诊断可以减轻医生的工作量，提高工作效率，减少诊断结果受主观因素的影响，提升准确性。
[0003]目前，基于计算机视觉技术的面瘫分级评估方法主要有：
[0004](1)基于静态面部图像的非对称性的评价方法，该方法主要依据面部形状和纹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自监督的预训练模型建立方法，其特征在于，包括如下步骤：步骤1：获取面部表情视频集，对面部表情视频集中的每个面部表情视频进行采样获得视频段，将面部表情视频集采样后得到的所有视频段作为面部数据集；步骤2：对于面部数据集进行预处理，获得面部视频序列集，所述的面部视频序列集包括多组左侧面子视频段序列和多组右侧面子视频段序列，其中，对于面部数据集中的任意一个视频段进行预处理包括如下子步骤：步骤2.1：将视频段依次通过Faster RCNN进行人脸检测，获得视频段的人脸数据；步骤2.2：采用AAM算法计算人脸数据的面部中轴线，根据面部中轴线将视频段分离为左侧面视频段和右侧面视频段；步骤2.3：对左侧面视频段进行分割得到多个左侧面子视频段，获取左侧面子视频段的所有排列顺序，将每种排列顺序的左侧面子视频段作为一个左侧面子视频段序列，获得所有左侧面子视频段序列作为一组左侧面子视频段序列；步骤2.4：采用步骤2.3的方法根据右侧面视频段获得一组右侧面子视频段序列；步骤3：建立3D
‑
CNN模型，将步骤2获得的面部视频序列集作为训练集进行自监督训练，将训练好的模型作为3D
‑
CNN预训练模型。2.如权利要求1所述的基于自监督的预训练模型建立方法，其特征在于，步骤2.2中采用式Ⅰ计算人脸数据的面部中轴线ML：其中，x表示横坐标，x1表示AAM算法提取到的鼻梁与眼角间左侧关键点横坐标，x2表示AAM算法提取到的鼻梁与眼角间右侧关键点横坐标。3.如权利要求1所述的基于自监督的预训练模型建立方法，其特征在于，步骤2.3中将左侧面视频段分割为3个子视频段，获取3个左侧面子视频段的所有排列顺序共6种。4.面瘫分级模型的建立方法，其特征在于，包括如下步骤：步骤一：获取面部表情视频集和面部表情视频集中每个面部表情视频的面瘫等级，对每个面部表情视频进行采样获得视频段，将面部表情视频集采样后得到的所有视频段作为面部数据集；步骤二：对于面部数据集采用如权利要求1
‑
3任一所述的基于自监督的预训练模型建立方法中步骤2.1至步骤2.2的方法进行分离，获得面部视频段集，所述的面部视频段集包括多个左侧面子视频段和多个右侧面子视频段；步骤三：建立双路3D
‑
CNN模型，所述的双路3D
‑
CNN模型包括两个3D
‑
CNN预训练模型，所述的3D
‑
CNN预训练模型采用如权利要求1
‑
3任一所述的基于自监督的预训练模型建立方法得到；将面部视频片段集中的多个左侧面子视频段和多个右侧面子视频段分别作为两个3D
‑
CNN预训练模型的训练集，将每个面部表情视频的面瘫等级作为两个3D
‑
CNN预训练模型的标签集，对双路3D
‑
CNN模型进行训练，将训练好的模型作为面瘫分级模型。5.如权利要求4所述的面瘫分级模型的建立方法，其特征在于，所述面瘫等级包括正常、轻度、中度和危重四个等级。6.面瘫分级方法，其特征在于，包括如下步骤：
步骤Ⅰ：...

【专利技术属性】
技术研发人员：李志鹏，孙豪杰，句建国，许鹏飞，管子玉，谢飞，缪飞，
申请(专利权)人：西北大学，
类型：发明
国别省市：