一种MOOC课程中学生面部表情的动态识别方法，属于图像处理领域，该方法对MOOC课程中拍摄的视频进行分帧，对分帧得到的图像提取特征点，并抽取关键部位特征点组成特征向量后，训练表情模式分类器，利用表情模式分类器对MOOC课程中拍摄的实时视频中学生面部表情进行表情模式的分类；本发明专利技术针对MOOC课堂中学生面部表情特点对六种基本表情重新定义，使识别结果对学生课堂状态分析更有效；通过对动作模式的组合得到表情模式，使表情模式的识别更准确；使用欧式距离构建的动作模式特征向量，特征向量具有维度低、数量少的特点，使表情识别速度更快。
【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种MOOC课程中学生面部表情的动态识别方法。
技术介绍
大规模在线开放课程(Massive Open Online Course，MOOC)是近些年快速兴起一种课程形式，在全球范围内获得了政府、高校和企业的高度重视，成为推动“高等教育变革”的重要力量。MOOC课程利用视频传播的快速性和便捷性，实现授课过程的大规模传播，并针对视频单向传播带来的教学反馈不足的问题，引入交互式练习。但是交互式练习所提供的教学反馈能力与传统线下面授课过程相比仍显不足。线下课程中，授课者可以通过学生的面部表情和通过对学生提问获得反馈，从而做出及时的教学调整，MOOC课程还无法做到这一点。表情识别技术被视为未来情感人机交互的重要技术，吸引了国内外众多高校和科研机构的参与和研究。目前，针对JAFFE等标准表情数据库的多种表情识别方法已取得较高的识别率，将表情识别技术应用于MOOC课程，可以实时的获得学生课堂状态，并针对学生反映作出课堂调整，但是，已有的表情识别方法应用于MOOC课程时仍具有以下缺点：1、将人脸上存在的人为表情作为前提，而忽略了表情组成的多样性，实用性不大；2、表情不够细致。人脸表情并非只局限于6种基本表情；3、表情不具备针对性。人脸表情在特定的场景下往往会有趋势，即某些表情出现的概率较大，某一些较小。
技术实现思路
针对上述现有技术存在的不足，本专利技术提供一种MOOC课程中学生面部表情的动态识别方法。本专利技术的技术方案如下：一种MOOC课程中学生面部表情的动态识别方法，包括如下步骤：步骤1：对MOOC课程上学生学习过程中的面部表情进行拍摄，得到学生面部表情视频；步骤2：获取MOOC课程中学生面部表情历史视频；步骤3：对MOOC课程学生面部表情历史视频进行分帧处理，使其转换为具有学生面部特征的n帧历史静态图像；步骤4：使用face++人脸识别系统依次提取每帧历史静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤5：对每帧历史静态图像中学生面部特征的特征点进行预处理，具体方法为：将特征点的像素坐标转换为齐次坐标，对齐次坐标依次进行旋转、平移和缩放变换处理后，再转换回像素坐标；步骤6：从预处理后的每帧图像的学生面部特征的特征点中，抽取面部关键部位：眼睛、嘴巴、眉毛的特征点；步骤7：分别根据每帧图像中眼睛、嘴巴和眉毛的特征点，建立每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤8：定义眼睛动作模式分别为瞪眼、正常和闭眼，嘴巴动作模式分别为正常、偏向于思考与悲伤的抿嘴、偏向于愤怒的抿嘴和咧嘴，眉毛动作模式分别为皱眉、正常和挑眉；步骤9：根据动作模式的定义，分别对每帧图像中眼睛特征向量所属的动作模式、嘴巴特征向量所属的动作模式和眉毛特征向量所属的动作模式进行标定；步骤10：将每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量分别保存到各自所标的动作模式的特征向量集合中；步骤11：使用支持向量机(SupportVector Machine，SVM)对各动作模式的特征向量集合进行训练，得到各动作模式分类器；步骤12：获取MOOC课程中学生面部表情实时视频；步骤13：对学生面部表情实时视频进行分帧处理，使其转换为m帧具有学生面部特征的实时静态图像；步骤14：使用face++api依次提取每帧实时静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤15：对每帧实时图像中学生面部特征的特征点进行预处理，具体方法为：将特征点的像素坐标转换为齐次坐标，对齐次坐标依次进行旋转、平移和缩放变换处理后，再转换回像素坐标；步骤16：从每帧预处理后的实时图像中抽取眼睛、嘴巴、眉毛的特征点，并分别建立眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤17：使用动作模式分类器分别对每帧实时图像的嘴巴、眼睛和眉毛特征向量进行分类，得到每帧实时图像中嘴巴、眼睛和眉毛对应的动作模式；步骤18：根据每帧实时图像中嘴巴、眼睛和眉毛的动作模式的组合，确定在每帧实时图像中学生的表情所属的表情模式；所述步骤7和步骤16中所述的眼睛特征向量、嘴巴特征向量和眉毛特征向量的建立方法为：分别计算眼睛特征点中两两点之间的欧氏距离，即眼睛特征点欧氏距离值，嘴巴特征点中两两点之间的欧氏距离，即嘴巴特征点欧氏距离值，眉毛特征点中两两点之间的欧氏距离，即眉毛特征点欧氏距离值，分别使用眼睛特征点欧氏距离值、嘴巴特征点欧氏距离值和眉毛特征点欧氏距离值构成眼睛特征向量、嘴巴特征向量和眉毛特征向量。所述步骤18中所述表情模式采用表1中映射关系确定：表1 动作模式与表情模式的映射关系表有益效果：本专利技术的一种MOOC课程中学生面部表情的动态识别方法，具有以下优点：1、六种基本表情模式为快乐、伤心、恐惧、愤怒、惊讶和厌恶，但在MOOC课堂中出现恐惧与厌恶的表情概率较小，即使出现，大多与课程的内容无关，因此，将恐惧和厌恶从表情模式中去掉，将出现频率较高的思考、无聊和正常添加到表情识别的结果中，使表情识别结果对MOOC课堂更加有效；2、通过对动作模式的组合得到表情模式，使表情模式的识别更准确；3、使用欧式距离构建的动作模式特征向量，特征向量具有维度低、数量少的特点，使表情识别速度更快。附图说明图1一种MOOC课程中学生面部表情的动态识别方法流程图；图2 MOOC课程中表情识别过程示意图；图3(a)眼睛动作模式中瞪眼示意图；图3(b)眼睛动作模式中正常示意图；图3(c)眼睛动作模式中闭眼示意图；图4(a)嘴巴动作模式中正常示意图；图4(b)嘴巴动作模式中偏向于思考与悲伤的抿嘴示意图；图4(c)嘴巴动作模式中偏向于愤怒的抿嘴示意图；图4(d)嘴巴动作模式中咧嘴示意图；图5(a)眉毛动作模式中皱眉示意图；图5(b)眉毛动作模式中正常示意图；图5(c)眉毛动作模式中挑眉示意图；图6截取图像中部分图像示意图；图7面部特征点示意图；图8面部特征点坐标示意图；图9旋转基准示意图；图10平移及缩放基准示意图；图11眼睛特征点示意图；图12嘴部特征点示意图；图13眉毛特征点示意图；图14分类树模型示意图，其中E代表眼睛，E1、E2和E3分别代表正常、闭眼和瞪眼；M代表嘴巴，M1、M2、M3和M4分别代表正常、偏于思考与悲伤的抿嘴、偏于愤怒的抿嘴和咧嘴；B代表眉毛，B1、B2和B3分别代表正常、皱眉和挑眉。具体实施方式下面结合附图对本专利技术的一种实施方式作详细说明。如图1和图2所示，本实施方式的一种MOOC课程中学生面部表情的动态识别方法的表情动态识别过程包括如下步骤：本实施方式的MOOC课程中学生面部表情的动态识别方法，具体包括如下步骤：步骤1：对MOOC课程上学生学习过程中的面部表情进行拍摄，得到学生面部表情视频；步骤2：获取MOOC课程中学生面部表情历史视频；步骤3：对MOOC课程学生面部表情历史视频进行分帧处理，使其转换为具有学生面部特征的n帧历史静态图像，并从第一帧静态图像开始，每5帧静态图像截取一帧图像，直到历史视频截取完毕，这样的截取不会造成表情缺失，同时有效避免了数据冗余。本实施方式中下述的历史图像为历史视频中截取到的历史静态图像。步骤4：使用face++人脸识别系统依次提本文档来自技高网...
【技术保护点】
一种MOOC课程中学生面部表情的动态识别方法，其特征在于：所述方法包括：步骤1：对MOOC课程上学生学习过程中的面部表情进行拍摄，得到学生面部表情视频；步骤2：获取MOOC课程中学生面部表情历史视频；步骤3：对MOOC课程中学生面部表情历史视频进行分帧处理，使其转换为具有学生面部特征的n帧历史静态图像；步骤4：使用face++人脸识别系统依次提取每帧历史静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤5：对每帧静态图像中学生面部特征的特征点进行预处理；步骤6：从预处理后的每帧静态图像的学生面部特征的特征点中，抽取面部关键部位：眼睛、嘴巴、眉毛的特征点；步骤7：分别根据每帧图像中眼睛、嘴巴和眉毛的特征点，建立每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤8：预先定义眼睛的动作模式、嘴巴的动作模式和眉毛的动作模式；步骤9：根据动作模式的定义，分别对每帧静态图像中眼睛特征向量所属的动作模式、嘴巴特征向量所属的动作模式和眉毛特征向量所属的动作模式进行标定；步骤10：将每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量分别保存到各自所标的动作模式的特征向量集合中；步骤11：使用SVM对各动作模式的特征向量集合进行训练，得到各动作模式分类器；步骤12：获取MOOC课程中学生面部表情实时视频；步骤13：对学生面部表情实时视频进行分帧处理，使其转换为m帧具有学生面部特征的实时静态图像；步骤14：使用face++api依次提取每帧实时静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤15：对每帧实时静态图像中学生面部特征的特征点进行预处理；步骤16：从每帧预处理后的实时图像中抽取眼睛、嘴巴、眉毛的特征点，并分别建立眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤17：使用动作模式分类器分别对每帧实时图像的嘴巴、眼睛和眉毛特征向量进行分类，得到每帧实时图像中嘴巴、眼睛和眉毛对应的动作模式；步骤18：根据每帧实时图像中嘴巴、眼睛和眉毛的动作模式的组合，确定在每帧实时图像中学生的表情所属的表情模式。...
【技术特征摘要】
1.一种MOOC课程中学生面部表情的动态识别方法，其特征在于：所述方法包括：步骤1：对MOOC课程上学生学习过程中的面部表情进行拍摄，得到学生面部表情视频；步骤2：获取MOOC课程中学生面部表情历史视频；步骤3：对MOOC课程中学生面部表情历史视频进行分帧处理，使其转换为具有学生面部特征的n帧历史静态图像；步骤4：使用face++人脸识别系统依次提取每帧历史静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤5：对每帧静态图像中学生面部特征的特征点进行预处理；步骤6：从预处理后的每帧静态图像的学生面部特征的特征点中，抽取面部关键部位：眼睛、嘴巴、眉毛的特征点；步骤7：分别根据每帧图像中眼睛、嘴巴和眉毛的特征点，建立每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤8：预先定义眼睛的动作模式、嘴巴的动作模式和眉毛的动作模式；步骤9：根据动作模式的定义，分别对每帧静态图像中眼睛特征向量所属的动作模式、嘴巴特征向量所属的动作模式和眉毛特征向量所属的动作模式进行标定；步骤10：将每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量分别保存到各自所标的动作模式的特征向量集合中；步骤11：使用SVM对各动作模式的特征向量集合进行训练，得到各动作模式分类器；步骤12：获取MOOC课程中学生面部表情实时视频；步骤13：对学生面部表情实时视频进行分帧处理，使其转换为m帧具有学生面部特征的实时静态图像；步骤14：使用face++api依次提取每帧实时静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤15：对每帧实时静态图像中学生面部特征的特征点进行预处...
【专利技术属性】
技术研发人员：郦泽坤，苏航，陈美月，赵长宽，高克宁，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。