【技术实现步骤摘要】
本专利技术涉及网络学习状态的评价技术，特别是涉及一种电网调度员网络培训学员学习状态的评价方法和系统。
技术介绍
1、电网运行特性呈现新的特征，迫切需要各级电网调度机构提高对新型电力系统运行特性的感知、认知、预知水平。通过调度员培训仿真系统(dts)模拟电网各种运行状态，建立集学习、锻炼、评估、指导为一体的新型培训平台，成为最安全、经济、有效的调度业务培训手段，为大电网安全稳定经济运行提供智力支持。
2、网络学习状态是取得良好学习成效的重要保证，但在线学习时空分离的特性难以保证学习者的专注度得到及时监控，故探究精准识别网络学习状态的可行方法至关重要。
3、人的情感是一个相当复杂的心理过程，每个人的情感表达也有很多方式，如表情、语言、动作。这3类中，语言和动作的欺诈行为的易操作性远远比人脸表情高，依靠表情表现出的信息更为可靠。因此，网络培训环境中，通过分析学员的面部表情变化可以更好地了解学员的学习状态。1971年美国学者ekman等人通过大量的面部表情识别实验首次将人脸分为开心、惊讶、恐惧、伤心、厌恶、生气等6种基本表情，通过基本表情的识别可以将学员学习的情绪分为积极情绪、消极情绪以及中性情绪，但基本表情并不能完全、准确反映学员的关注度和学习状态。
4、在对网络教育和培训的监督系统的进一步探索中，检测方法包括头部姿态、面部表情、眼睛状态、嘴巴状态和视线这些因子的组合，将专注度划分为专注、正常、疲劳等较少的等级，分级太少，反馈信息准确度低，不利于准确地把握学员的学习专注度。有些研究评估结果真实性较高
5、因此，有必要提供一种全面、准确评价学员学习状态的方法和系统。
技术实现思路
1、为解决现有技术中存在的不足，本专利技术提供一种基于三维情绪模型，利用面部表情识别技术和动作行为识别技术相结合的多模态电网调度网络培训系统学员学习状态评价方法和系统，解决云培训模式下对电网调度员学习状态的全面、客观、准确的评价问题。
2、本专利技术采用如下的技术方案。
3、本专利技术第一方面，涉及一种行为动作和表情多模态学习状态评价方法，方法包括以下步骤：步骤1，以预先定义的帧率采集预设时间段内培训学员的面部二维图像和学员学习场景深度图像，以实现面部表情和行为动作的识别，从而获得面部表情和行为动作的次数；步骤2，预先定义学习状态评价指标，并根据面部表情和行为动作的次数计算学习状态评价指标的取值；其中，学习状态评价指标至少包括：面部表情唤醒度c21、面部表情兴趣度c22和面部表情满意度c23；步骤3，以学习状态评价指标作为层次分析法的准则，利用层次分析法定义学习状态评价指标的权重系数，并根据学习状态评价指标的取值和权重系数计算出预设时间段内培训学员的学习状态评价分数。
4、优选的，步骤1中还包括：采用rgb面阵相机采集面部二维图像；同时，利用深度相机采集学员学习场景深度图像数据。
5、优选的，步骤1中，实现面部表情识别还包括：步骤1.1.1，构建深度学习模型，基于深度学习模型识别出所述面部二维图像中的具备不完全特征信息的面部表情；步骤1.1.2，从面部二维图像中提取二维特征点，将面部二维图像中的二维特征点与学员学习场景深度图像进行匹配，从而获得二维特征点的深度信息；步骤1.1.3，从学员学习场景深度图像中去除环境信息，并提取出培训学员的人体三维点云数据，以及定义人体三维点云数据的三维空间坐标；步骤1.1.4，在三维空间坐标系中，基于深度信息构建二维特征点的三维空间坐标，并将二维特征点转换为面部表情的三维特征点。
6、优选的，获得面部表情的次数还包括：基于任意两个面部表情的三维特征点之间的欧式距离，构建特征向量；对特征向量进行主成分分析以获取特征向量对应的面部表情维度，并利用支持向量机算法判断所述特征向量在当前的面部表情维度上的程度等级。
7、优选的，步骤1中，实现行为动作识别还包括：步骤1.2.1，构建深度学习模型，基于深度学习模型识别出面部二维图像中的具备不完全特征信息的行为动作；步骤1.2.2，从学员学习场景深度图像中去除环境信息，并提取出培训学员的人体三维点云数据；步骤1.2.3，从人体三维点云数据中提取出行为动作的三维特征点。
8、优选的，获得行为动作的次数还包括：从人体三维点云数据中提取出行为动作的三维特征点还包括：利用深度学习算法，从人体三维点云数据中提取出行为动作的三维特征点，并基于行为动作的三维特征点构建人体骨架三维关节坐标；利用支持向量机算法识别出当前状态下人体骨架三维关节坐标所对应的行为动作。
9、优选的，定义三维情绪模型，三维情绪模型中包括面部表情维度，分别为唤醒维度、兴趣维度和满意度维度；其中，每一个面部表情维度中均包括多个面部表情维度上的程度等级。
10、优选的，步骤2中还包括：定义每一个程度等级的权重，对当前的面部表情维度中每一个程度等级的次数，进行加权求平均，以获得面部表情的学习状态评价指标的取值；根据行为动作的次数，划分出当前的行为动作的出现频率等级，并基于出现频率等级定义行为动作的学习状态评价指标的取值。
11、优选的，步骤3中还包括：基于层次分析法构造第一、第二层次分析矩阵；并且，层次分析法的目标层为行为动作和面部表情多模态学习状态的评价，第一层次分析矩阵的准则层为面部表情唤醒度c21、面部表情兴趣度c22和面部表情满意度c23，第二层次分析矩阵的准则层为动作行为；方案层为评价等级。
12、优选的，第一、第二层次分析矩阵所在的准则层前，还包括预备准则层，预备准则层用于：定义第一层次分析矩阵和第二层次分析矩阵之间的权向量，矩阵之间的权向量包括第一层次分析矩阵和第二层次分析矩阵之间的关联度。
13、优选的，层次分析法还包括：分别定义第一层次分析矩阵中的准则之间、第二层次分析矩阵中的准则之间的关联度；基于关联度计算得到两个矩阵的权向量和最大特征根。
14、优选的，关联度基于1-9标度方法获得；若初始获得的关联度使得第一层次分析矩阵、第二层次分析矩阵的一致性检验不合格，则调整1-9标度方法中相应的矩阵、相应的准则之间的等价或差异逻辑。
15、本专利技术第二方面，涉及一种行为动作和表情多模态学习状态评价系统，系统用于实现本专利技术第一方面中方法的步骤，并且，系统包括采集模块、指标模块和分析模块；其中，采集模块，用于以预先定义的帧率采集预设时间段内培训学员的面部二维图像和学员学习场景深度图像，以实现面部表情和行为动作的识别，从而获得面部表情和行为动作的次数；指标模块，用于预先定义学习状态评价指标，并根据面部表情和所述行为动作的次数计算学习状态评价指标的取值；其中，学习状态评价指标至少包括：面部表情唤醒度c21、面部表情兴趣度c22和面部表情满意度c23；分析模块，用于以学习状态评价指标作为层次分析法的准则，利用层次分析法定义学习状态本文档来自技高网...
【技术保护点】
1.一种行为动作和表情多模态学习状态评价方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
3.根据权利要求2中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
4.根据权利要求3中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
5.根据权利要求2中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
6.根据权利要求5中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
7.根据权利要求4中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
8.根据权利要求7中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
9.根据权利要求1中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
10.根据权利要求9中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
11.根据权利要求10中所述的一种行为动作和表情多模
12.根据权利要求10或11中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
13.一种行为动作和表情多模态学习状态评价系统，其特征在于：
14.一种装置，包括处理器及存储介质；其特征在于：
15.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-12任一项所述方法的步骤。
...【技术特征摘要】
1.一种行为动作和表情多模态学习状态评价方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
3.根据权利要求2中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
4.根据权利要求3中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
5.根据权利要求2中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
6.根据权利要求5中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
7.根据权利要求4中所述的一种行为动作和表情多模态学习状态评价方法，其特征在于：
8.根据权利要求7中所述的一种行为动作和表情...
【专利技术属性】
技术研发人员：阮梦宇，陈宏福，靳伟，凌晓波，林春龙，韩政，范玉昆，张麟，郑文辉，苏凡，孙逊，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。