一种基于人脸表情识别的虚拟人教学辅助系统技术方案

一种基于人脸表情识别的虚拟人教学辅助系统，教学课件采用虚拟人教学方式进行异步学习；所述的系统通过摄像头实时捕捉学习人员的面部表情，并使用SSD算法框定面部区域，使用RepVGG网络模型对表情进行分类并统计；同时，系统将学习人员在虚拟教学过程中不同表情的统计结果存储在数据库中，提供可视化展示，方便教师观察学习人员在虚拟教学过程中的学习状态。本发明专利技术利用表情识别技术，结合可视化技术，实现对学习人员在虚拟教学过程中的实时监测，让老师或管理人员可以在课后直观的了解学生在学习过程中的状态，使网络教学能够达到与面对面的教学一样的效果；提高教学质量。该技术在智慧教育、人机交互等领域具有广泛的应用前景。前景。前景。

【技术实现步骤摘要】
一种基于人脸表情识别的虚拟人教学辅助系统


[0001]本专利技术涉及计算机
，具体涉及一种基于人脸表情识别的虚拟人教学辅助系统。

技术介绍

[0002]随着计算机技术、通讯技术、多媒体技术和网络技术的不断发展，基于网络的教学互动学习平台随之发展并应用越来越广泛。
[0003]现有的基于网络的教学互动学习平台主要有以下几种方式，一种是将授课视音频存储到服务器中，学生客户端通过网络从服务器中下载授课视音频进行学习观看；另一种为教师客户端通过服务器与学生客户端实时在线授课；可见，学生远程听取培训课程，面对的是单一的二维视频，整个教学过程乏味与枯燥，学生容易分心走神，并且在研究中表明，人类的大脑有其各种弱点，懒惰，不想思考。
[0004]但是由于网络教学，还有一部分学生都是后期回看教学视频进行学习，老师很难监督到每一个学生的学习状态；导致老师无法像面对面教学时，通过观察学生的表情和状态，能时刻了解到学生的学习状态，并根据学生的学习状态调整讲课的内容和学习的进度。

技术实现思路

[0005]针对上述的技术问题，本技术方案提供了一种基于人脸表情识别的虚拟人教学辅助系统，通过摄像头实时捕捉学习人员的面部表情，并使用SSD算法框定面部区域，使用RepVGG网络模型对表情进行分类并统计；将学习人员在虚拟教学过程中不同表情的统计结果存储在数据库中，提供可视化展示，方便教师观察学习人员在虚拟教学过程中的学习状态；根据学生的面部表情反馈，可以判断学生的学习状态，后期调整课件；能有效的解决上述问题。/>[0006]本专利技术通过以下技术方案实现：一种基于人脸表情识别的虚拟人教学辅助系统，教学课件采用虚拟人教学方式进行异步学习；所述的系统通过摄像头实时捕捉学习人员的面部表情，并使用SSD算法框定面部区域，使用RepVGG网络模型对表情进行分类并统计；同时，系统将学习人员在虚拟教学过程中不同表情的统计结果存储在数据库中，提供可视化展示，方便教师观察学习人员在虚拟教学过程中的学习状态；系统具体实现的方式为：步骤1：调用摄像头对学习人员的面部进行实时捕捉；步骤2：采用目标检测算法SSD，在SSD算法中设置多个参数，对学习人员的面部进行识别、定位；步骤3：使用RepVGG网络模型对学习人员的面部表情进行分类，在RepVGG网络模型中设置各种参数，将输入学习人员的不同表情面部图像映射为对应的表情类别；步骤4：对学习人员在上课教学过程中不同表情的数量、频率进行统计，并将数据统计的结果存储在数据库中；
步骤5：将统计结果可视化展示于页面中供教师参考；步骤6：教学或管理人员通过前端页面查看学习人员在虚拟教学过程中的表情记录，实时监测学习人员的学习状态，并及时做出相应的调整。
[0007]进一步的，步骤2所述的SSD算法，其具体的操作步骤为：步骤2.1：输入待检测的图片：根据实际场景设置图片的尺寸，输入图片的大小会直接影响检测的速度和准确度；步骤2.2：特征提取：使用一个预训练的卷积神经网络CCN模型，对输入图像进行特征提取，得到一系列特征图；步骤2.3：特征图处理：对特征图进行卷积、降采样等操作，得到一系列不同尺度的特征图；步骤2.4：生成锚框：在每个特征图的每个像素位置生成多个大小和长宽比不同的锚框，用来表示可能包含目标的区域；步骤2.5：预测类别和位置：对于每个锚框使用CNN网络预测其所包含的目标类别和位置信息；步骤2.6：非极大值抑制：对于同一个目标物体，使用非极大值抑制的算法，去除重复的框，保留最有可能包含目标的框；步骤2.7：输出检测结果：最终输出检测到目标物体的类别和位置信息。
[0008]进一步的，步骤2所述的在SSD算法中设置多个参数，设置多个参数包括：输入图片的尺寸、卷积核的大小和数量、各种特征层之间的比例和步长、检查框的数量和比例。
[0009]进一步的，所述图片的尺寸：输入图片的大小会直接影响检测的速度和准确度，通常根据实际场景设置大小；所述卷积核的大小和数量：卷积核的大小和数量会影响特征提取的效果，通常会通过实验调整这些参数，以得到更好的检测结果；所述不同特征层之间的比例和步长：SSD算法使用多个特征层来检测不同尺度和大小的目标，需要设置不同特征层之间的比例和步长；所述检测框的数量和比例：在每个特征层上，需要生成一组预定义大小和比例的检测框，以便对目标进行定位。
[0010]进一步的，步骤3所述的表情类别包括7种表情分类：开心、惊慌、思考、惊讶、皱眉、反感、中立/无表情。
[0011]进一步的，步骤3所述的在RepVGG网络模型中设置各种参数，设置各种参数包括：输入图片的大小、神经网络的结构、数据增强技术、损失函数和优化算法。
[0012]进一步的，所述输入图片的大小：使用100*100的图片大小进行训练和测试；神经网络的结构：RepVGG网络模型可以采用RepVGG
‑
A0的结构，对于实时人脸表情识别任务，可以获得较好的效果和较快的计算速度；数据增强技术：可以使用随机裁剪、随机翻转、随机旋转、加噪声等技术对原始图片进行扩充，增加数据量和多样性，提高模型的鲁棒性；损失函数：用于评估模型的训练效果，通常采用交叉熵损失函数进行优化；优化算法：采用Adam优化算法，以加速模型的收敛和提高准确度。
[0013]进一步的，所述步骤4的主要步骤包括：步骤4.1：当检测到学习人员产生不同的表情时，便会对该类表情计数加一；步骤4.2：将学习人员在虚拟教学过程中各类表情的数量、时间分布等统计结果存储在数据库中；
进一步的，所述步骤5的主要步骤包括：步骤5.1：对学习人员产生的各类表情进行统计，统计结果采用表格形式展示；步骤5.2：将数据库中学习人员各类的表情的数据统计展现至前端界面，供教学或管理人员审阅并参考。
[0014]有益效果本专利技术提出的一种基于人脸表情识别的虚拟人教学辅助系统,与现有技术相比较，其具有以下有益效果：（1）本专利技术通过摄像头实时捕捉学习人员的面部表情，并使用SSD算法框定面部区域，使用RepVGG网络模型对表情进行分类并统计；将学习人员在虚拟教学过程中不同表情的统计结果存储在数据库中，提供可视化展示，方便教师观察学习人员在虚拟教学过程中的学习状态；根据学生的面部表情反馈，可以判断学生的学习状态，后期调整课件。利用表情识别技术和可视化技术，对学习人员在虚拟教学过程中的学习进行监督，也方便教学或管理人员对学习人员的学习状态有一个直观了解。
[0015]（2）本专利技术将人脸表情识别方法应用于教育领域，能够实时监测学习人员的表情状态，提供实时的学习人员情感分析数据，帮助教师更好地了解学习人员的状况，调整教学策略，改善教学效果。与传统方法相比，本专利技术的方法具有更高的表现力和泛化能力，能够充分挖掘数据中的潜在信息，同时降低了训练数据和人工标注的成本，且具有实时性。此外，基于深度学习算法实现了表情识别，使得虚拟人能够更加自然地与学习人员互动，提高学习人员的参与度和学习效果。本专利技术在提高教育领域教学效果、降低教学成本、提高学习人员参与度等方面具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸表情识别的虚拟人教学辅助系统，教学课件采用虚拟人教学方式进行异步学习；其特征在于：所述的系统通过摄像头实时捕捉学习人员的面部表情，并使用SSD算法框定面部区域，使用RepVGG网络模型对表情进行分类并统计；同时，系统将学习人员在虚拟教学过程中不同表情的统计结果存储在数据库中，提供可视化展示，方便教师观察学习人员在虚拟教学过程中的学习状态；系统具体实现的方式为：步骤1：调用摄像头对学习人员的面部进行实时捕捉；步骤2：采用目标检测算法SSD，在SSD算法中设置多个参数，对学习人员的面部进行识别、定位；步骤3：使用RepVGG网络模型对学习人员的面部表情进行分类，在RepVGG网络模型中设置各种参数，将输入学习人员的不同表情面部图像映射为对应的表情类别；步骤4：对学习人员在上课教学过程中不同表情的数量、频率进行统计，并将数据统计的结果存储在数据库中；步骤5：将统计结果可视化展示于页面中供教师参考；步骤6：教学或管理人员通过前端页面查看学习人员在虚拟教学过程中的表情记录，实时监测学习人员的学习状态，并及时做出相应的调整。2.根据权利要求1所述的一种基于人脸表情识别的虚拟人教学辅助系统，其特征在于：步骤2所述的SSD算法，其具体的操作步骤为：步骤2.1：输入待检测的图片：根据实际场景设置图片的尺寸，输入图片的大小会直接影响检测的速度和准确度；步骤2.2：特征提取：使用一个预训练的卷积神经网络CCN模型，对输入图像进行特征提取，得到一系列特征图；步骤2.3：特征图处理：对特征图进行卷积、降采样等操作，得到一系列不同尺度的特征图；步骤2.4：生成锚框：在每个特征图的每个像素位置生成多个大小和长宽比不同的锚框，用来表示可能包含目标的区域；步骤2.5：预测类别和位置：对于每个锚框使用CNN网络预测其所包含的目标类别和位置信息；步骤2.6：非极大值抑制：对于同一个目标物体，使用非极大值抑制的算法，去除重复的框，保留最有可能包含目标的框；步骤2.7：输出检测结果：最终输出检测到目标物体的类别和位置信息。3.根据权利要求1或2所述的一种基于人脸表情识别的虚拟人教学辅助系统，其特征在于：步骤2所述的在SSD算法中设置多个参数，设置多个参数包括：输入图片的尺寸、卷积核的大小和数量、各种特征层之间的比例和步长、检查框的数量和比例。4.根据权利要求3所...

【专利技术属性】
技术研发人员：王坤德，杨文俊，周泓，代天翔，刘畅，朱倩倩，杨俊，凌海灵，赵保中，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：