一种识别学习情绪进行个性化推荐的系统及方法技术方案

本发明专利技术公开了一种识别学习情绪进行个性化推荐的系统及方法，所述系统包括：教学过程采集单、学生影像采集装置、视音频合成单元、交互行为分析单元、情绪评价单元、智能切片单元、个性化标注单元和个性化推荐单元。本发明专利技术首先利用教室内直录播影像系统采集与分析每个学生的情绪数据、学习状态，对所有情绪数据进行汇总统计，并依据整体专注程度对视频进行切片，同时结合个人对不同片段的情绪表现，最终形成基于时间维度的个性化切片课堂录屏结果，推荐给对应学生，既能帮助学生更清楚的认识自我学习状态，更能有针对性的帮助学生有所侧重的解决课堂中的遗留问题。的解决课堂中的遗留问题。的解决课堂中的遗留问题。

【技术实现步骤摘要】
一种识别学习情绪进行个性化推荐的系统及方法


[0001]本专利技术涉及学习情绪识别，特别是涉及一种识别学习情绪进行个性化推荐的系统及方法。

技术介绍

[0002]在教育信息化的大环境下，智慧课堂的存在越发普遍，在高等院校中也开始较为广泛的使用。
[0003]其主要目的，包括在课内实现教学互动、记录教学过程数据、课后分发作业资料、形成课堂教学的完整闭环。智慧课堂的诞生之初，其目的是了辅助教师，为教师提供新的手段即时了解课堂学情，针对性的改进教学活动，针对性的在课后进行查漏补缺。
[0004]但随着教学改革的不断深入，学习者的主体地位日益凸显，学生该如何进行有效自主学习成为重要的课题，而教师的时间、精力是非常有限的，无法做到眼观四路、耳听八方，无法探知每个学生的心理活动状态，因此无法逐一照顾到每个学生的水平。
[0005]目前现行的智慧课堂解决方案中针对学生课后自主学习，主要包括以下方法：
[0006]方法一：教师通过任务形式推送微课等资源，教师需要根据主观判断提前对学生进行分组，选择相应的资源进行推送。但这种方法不仅依赖于教师对学生学情的精准掌握，而且还需要教师找到合适不同层次学生的资源，加重了教师的工作负担。
[0007]方法二：通过录屏、录像的形式产生课堂教学的完整视频，课后推送给学生，学生可借此进行回顾复习。此种方式虽然教师不需要付出额外的工作，但对于学生来说学习仍然缺乏重点，使得学生没有动力去观看一次完整的视频，课堂遗失的问题也难以通过这样的复习来补全。这两种方式固有的缺陷导致均不适用于学生进行高效的自主学习。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的不足，提供一种识别学习情绪进行个性化推荐的系统及方法，有效利用了教室内的直录播装置，动态跟踪课堂上每个学生的情绪变化，据此对教师机实时采集的音视频信号进行分段切片标注并实现情绪关联，将资源推送给学生，帮助学生课后自主温习，巩固与提升。
[0009]本专利技术的目的是通过以下技术方案来实现的：一种识别学习情绪进行个性化推荐的系统，包括：
[0010]教学过程采集单元，对教师教学过程的音视频信息进行采集；
[0011]学生影像采集装置，用于对学生的影像信息进行采集；
[0012]视音频合成单元，用于接收来自教学过程采集单元的音视频信息，并进行音视频合成；
[0013]交互行为分析单元，用于根据交互行为对视音频合成单元输出的视频进行标记；
[0014]情绪评价单元，用于根据学生影像采集装置实时采集到的影像，对学生个人进行情绪识别，标记当前时间流上该学生的状态，并分析全体学生的情绪信息，标记当前时间流
上的课堂情况；
[0015]智能切片单元，结合交互行为分析单元的到的结果，对视频进行多维度切片；
[0016]个性化标注单元，用于根据学生的个人情绪评价，对切片进行个性标注；
[0017]个性化推荐单元，用于整套课程视频资源进行整理，并向教师或学生进行推送。
[0018]进一步地，所述系统还包括时间总控单元，用于确保各种装置、单元在时间上连续、一致的同步，使得系统中多个装置、多个单元协同工作，对同一时间点的课堂教学行为的反馈信息加以采集利用。
[0019]进一步地，所述教学过程采集模块包括：
[0020]教师影像采集装置，即教师内的直录播设备，用于采集教师的教学过程影像，包括教师的神态动作，以及教师背后的黑板或白板的影像，并将图像传输至视音频合成单元；
[0021]教师PC录屏装置，用于实现对教师PC屏幕的全程屏幕录像，并将录制视频传输至视音频合成单元；
[0022]课堂音频采集装置，用于采集课堂内的所有声音素材，包括教师讲解语音，学生作答语音，教师内播放多媒体素材时发出的声音，采集到的声音将传输至视音频合成单元。
[0023]所述学生影像采集装置包括教室内的直录播设备，设置与教于室正前方，面向所有学生，用于采集位置上所有学生的表情、体态特征，记录所有学生课堂学习过程影像。
[0024]进一步地，所述视音频合成单元，接收教师影像采集装置和PC录屏装置传输的视频流，并与课堂音频采集装置采集的音频进行同步合成，输出连续的视频，包括连续教师影像视频、连续录屏影像视频。
[0025]进一步地，所述交互行为分析单元包括：
[0026]教师声音识别模块，用于识别教师声音，在教师进行连续讲解的过程中进行教师讲解标记；
[0027]学生作答声音识别模块，用于识别学生作答声音，在学生作答时进行学生作答标记；
[0028]环境嘈杂音识别模块，用于识别嘈杂环境音，标记嘈杂环境标识；
[0029]安静环境音识别模块，用于识别安静环境音，标记安静环境标识；
[0030]教师板书识别模块，用于识别教师板书行为，进行教师板书标记；
[0031]幻灯片切换识别单元，用于识别教师PC幻灯片切换、切换到桌面行为，进行对应分段标记。
[0032]进一步地，所述情绪识别单元包括
[0033]个人情绪评价模块，用于根据学生影像采集装置采集到的人脸信息，对学生个人进行情绪识别，标记当前时间流上该学生的状态；标记内容包括学生高兴、平静、愤怒、伤心的基础表情情况，以及的学情情况，所述学情情况包括走神、专注、思考、睡觉、其他五类；
[0034]综合情绪评价模块，用于根据学生影像采集装置采集到的影像，分析全体学生的情绪信息，标记当前时间流上的课堂情况：
[0035]在每个时间点上，各种情绪下的学生占比，包括高兴情绪下的学生占比、平静情绪下的学生占比、愤怒平静情绪下的学生占比和伤心平静情绪下的学生占比；
[0036]在每个时间点上，标记各种学情下的学生占比，包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比。
[0037]进一步地，所述智能行为切片单元工作时，从教师影像将教师板书切为一段、教师讲解切为一段、教师提问切为一段；从教师音频上将教师连续讲解切为一段、师生交互切为一段、学生讨论切为一段等；从录屏影像上将教师每次PPT翻页截为一段；
[0038]所述个性化标注单元，在进行多维度视频切片的同时，基于综合情绪评价模块进行的整体综合情绪分析情况，对所切片段进行标记：
[0039]对于得到的任一切片，在该切片持续的时间内，统计各种学情下的学生占比，包括走神的学生占比、专注的学生占比、思考的学生占比、睡觉的学生占比、其他的学生占比；并利用占比最大的学情对该切片进行标记，同时记录当前切片其他学情的占比情况；
[0040]其中，切片下任一学情的学生占比，等于该切片持续时间内每个时间点上该学情占比的平均值。
[0041]进一步地，所述个性化推荐单元包括：
[0042]教师推荐模块，向教师反馈课堂学生综合表现，了解整体学情，反馈课堂过程中的各个环节情况，方便教师授课复盘；
[0043]学生推荐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别学习情绪进行个性化推荐的系统，其特征在于：包括：教学过程采集单元，对教师教学过程的音视频信息进行采集；学生影像采集装置，用于对学生的影像信息进行采集；视音频合成单元，用于接收来自教学过程采集单元的音视频信息，并进行音视频合成；交互行为分析单元，用于根据交互行为对视音频合成单元输出的视频进行标记；情绪评价单元，用于根据学生影像采集装置实时采集到的影像，对学生个人进行情绪识别，标记当前时间流上该学生的状态，并分析全体学生的情绪信息，标记当前时间流上的课堂情况；智能切片单元，结合交互行为分析单元的到的结果，对视频进行多维度切片；个性化标注单元，用于根据学生的个人情绪评价，对切片进行个性标注；个性化推荐单元，用于整套课程视频资源进行整理，并向教师或学生进行推送。2.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述系统还包括时间总控单元，用于确保各种装置、单元在时间上连续、一致的同步，使得系统中多个装置、多个单元协同工作，对同一时间点的课堂教学行为的反馈信息加以采集利用。3.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述教学过程采集模块包括：教师影像采集装置，即教师内的直录播设备，用于采集教师的教学过程影像，包括教师的神态动作，以及教师背后的黑板或白板的影像，并将图像传输至视音频合成单元；教师PC录屏装置，用于实现对教师PC屏幕的全程屏幕录像，并将录制视频传输至视音频合成单元；课堂音频采集装置，用于采集课堂内的所有声音素材，包括教师讲解语音，学生作答语音，教师内播放多媒体素材时发出的声音，采集到的声音将传输至视音频合成单元。4.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述学生影像采集装置包括教室内的直录播设备，设置与教于室正前方，面向所有学生，用于采集位置上所有学生的表情、体态特征，记录所有学生课堂学习过程影像。5.根据权利要求3所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述视音频合成单元，接收教师影像采集装置和PC录屏装置传输的视频流，并与课堂音频采集装置采集的音频进行同步合成，输出连续的视频，包括连续教师影像视频、连续录屏影像视频。6.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述交互行为分析单元包括：教师声音识别模块，用于识别教师声音，在教师进行连续讲解的过程中进行教师讲解标记；学生作答声音识别模块，用于识别学生作答声音，在学生作答时进行学生作答标记；环境嘈杂音识别模块，用于识别嘈杂环境音，标记嘈杂环境标识；安静环境音识别模块，用于识别安静环境音，标记安静环境标识；教师板书识别模块，用于识别教师板书行为，进行教师板书标记；幻灯片切换识别单元，用于识别教师PC幻灯片切换、切换到桌面行为，进行对应分段标记。
7.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统，其特征在于：所述情绪识别单元包括个人情绪评价模块...

【专利技术属性】
技术研发人员：何茂，谢维义，
申请(专利权)人：成都佳发教育科技有限公司，
类型：发明
国别省市：