一种基于人工智能的教学直播方法技术

本申请公开了一种基于人工智能的教学直播方法，包括：教学终端通过云服务器与多个学习终端建立通信，其中，教学终端用于采集教师的教学视频，学习终端用于接收教学视频，并为学生用户提供播放；在接收到直播指令后，教学终端开启直播，并将直播视频通过云服务器分发至多个学习终端；云服务器实时对视频中的语音信息进行语义识别，并通过字幕形式同步显示在多个学习终端上；学习终端通过内置摄像头实时采集学生人脸图像，并将人脸图像上传至云服务器；云服务器基于人脸图像进行学生用户的疲劳程度识别，并当疲劳程度超过阈值时，生成预警指令，并将预警指令发送至教学终端及学习终端，以使教学终端及学习终端分别进行疲劳预警操作。

【技术实现步骤摘要】
一种基于人工智能的教学直播方法
本申请涉及教学直播领域，尤其涉及一种基于人工智能的教学直播方法。
技术介绍
目前在直播领域出现了很多不同类别的直播，例如教学直播、带货直播、娱乐直播等，而作为远程教育的一个应用场景，教学直播一直是教育领域关注的热点。目前的教学直播系统中，采用了教学终端-云服务器-学生终端的C-S-C架构，可实现视频的实时采集与多级传输，网络时延较低，但是，目前的教学直播只是教师单纯地进行课程讲解，没有互动，也不能知晓学生的听课状态，导致直播效果差、使用体验低。
技术实现思路
本申请实施例提供一种基于人工智能的教学直播方法，用于解决无法获取学生听课状态导致直播效果差的问题。本专利技术实施例提供一种基于人工智能的教学直播方法，包括：教学终端通过云服务器与多个学习终端建立通信，其中，所述教学终端用于采集教师的教学视频，所述学习终端用于接收所述教学视频，并为学生用户提供播放；在接收到直播指令后，所述教学终端开启直播，并将直播视频通过云服务器分发至所述多个学习终端；所述云服务器实时对视频中的语音信息进行语义识别，并通过字幕形式同步显示在所述多个学习终端上；所述学习终端通过内置摄像头实时采集学生人脸图像，并将所述人脸图像上传至所述云服务器；所述云服务器基于所述人脸图像进行学生用户的疲劳程度识别，并当所述疲劳程度超过阈值时，生成预警指令，并将所述预警指令发送至所述教学终端及所述学习终端，以使所述教学终端及所述学习终端分别进行疲劳预警操作。<br>可选地，所述方法还包括：所述云服务器基于所述人脸图像进行学生用户的情绪识别；当识别所述学生用户的情绪为负面情绪时，生成负面情绪指令，并将所述负面情绪指令发送至所述教学终端，以使所述教师进行负面情绪应对处理。可选地，所述云服务器基于所述人脸图像进行学生用户的情绪识别，包括：定位所述学生用户的人脸区域；对所述面部器官进行特征点定位，识别出多个特征点，所述特征点定位采用活跃形状模型ASM方法；对所述特征点进行归一化预处理；基于预处理结果，采用MPEG-4标准中的面部绘制参数FAP提取出所述面部特征；基于所述面部特征进行情绪识别，所述情绪包括高兴、惊讶、生气、悲伤、恶心、恐惧或中立，所述负面情绪为生气、悲伤、恶心或恐惧。可选地，在所述通过字幕形式同步显示在所述多个学习终端上之后，所述方法还包括：对所述语音信息的语调进行识别；当所述语音语调高于预设阈值时，对所述字幕的部分或全部汉字进行加粗或高亮显示。可选地，所述对所述语音信息的语调进行识别，包括：对所述语音信息中的音量大小进行判断，或对所述语音信息中的语速快慢进行判断。可选地，所述云服务器基于所述人脸图像进行学生用户的疲劳程度识别，包括：实时获取所述学生用户的人脸图像；用人脸模型在图像中匹配人脸区域；通过模型中眼睛的相对位置，确定所述人脸图像中眼睛的位置；对眼睛区域二值化处理，并利用直方图均衡化进行图像对比度增强；建立睁眼和闭眼状态时的眼部灰度一维直方图标准H(open)、H(close)，H＝[h{x1,f(x1)},……,h{xn,f(xn)}]，其中，h为直方图中的矩阵，x1～xn为n个级别灰度，f(xi)为该灰度级别所出现的频率；计算出当前图像中的眼部一维直方图分别与睁眼状态标准直方图的差值和S1；算出当前图像的一维直方图与闭眼状态标准直方图的差值和S2，其中S＝∑[fnow(xi)-fstandard(xi)]；比较S1和S2,S1<S2即为睁眼，S2<S1即为闭眼；计算PERCLOS值和平均闭眼时长t，其中所述PERCLOS为一定时间内眼睛的闭合程度；用人脸模型匹配所述用户学生的嘴部区域；对所述嘴部区域进行二值化处理，并利用直方图均衡化进行图像对比度增强；识别出所述嘴型张开角度，并基于所述嘴型张开角度的变化曲线，确定是否处于打哈欠状态；若处理打哈欠状态，则通过获得的PERCLOS值和平均闭眼时长判定疲劳程度。上述提供的基于人工智能的教学直播的方法，通过对教学过程中的语音进行语义识别，同步输出文字，并对学生进行疲劳程度识别，在学生感觉到疲劳时进行预警，解决了教学直播中无法获取学生状态而导致直播效果差的问题，保证了教学质量，提升了教学直播效果。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。图1为一个实施例中基于人工智能的教学直播流程示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。本专利技术实施例提供了一种基于人工智能的教学直播方法，如图1所示，该方法包括：S101、教学终端通过云服务器与多个学习终端建立通信，其中，所述教学终端用于采集教师的教学视频，所述学习终端用于接收所述教学视频，并为学生用户提供播放；在本专利技术实施例中，教学终端和学习终端可以是各类智能终端，例如手机、平板电脑、笔记本电脑、PC、专用教学终端等。本专利技术对此并无限制。其中，教师用的是教学终端，学生用的是学习终端。教学终端和云服务器、多个学习终端进行组网，形成典型的客户端-服务器-客户端架构(client-server-client,CSC)，实现信令和数据互传。S102、接收到直播指令后，所述教学终端开启直播，并将直播视频通过云服务器分发至所述多个学习终端；在远程教育领域，教学终端实时采集教本文档来自技高网...

【技术保护点】
1.一种基于人工智能的教学直播方法，其特征在于，包括：/n教学终端通过云服务器与多个学习终端建立通信，其中，所述教学终端用于采集教师的教学视频，所述学习终端用于接收所述教学视频，并为学生用户提供播放；/n在接收到直播指令后，所述教学终端开启直播，并将直播视频通过云服务器分发至所述多个学习终端；/n所述云服务器实时对视频中的语音信息进行语义识别，并通过字幕形式同步显示在所述多个学习终端上；/n所述学习终端通过内置摄像头实时采集学生人脸图像，并将所述人脸图像上传至所述云服务器；/n所述云服务器基于所述人脸图像进行学生用户的疲劳程度识别，并当所述疲劳程度超过阈值时，生成预警指令，并将所述预警指令发送至所述教学终端及所述学习终端，以使所述教学终端及所述学习终端分别进行疲劳预警操作。/n

【技术特征摘要】
1.一种基于人工智能的教学直播方法，其特征在于，包括：
教学终端通过云服务器与多个学习终端建立通信，其中，所述教学终端用于采集教师的教学视频，所述学习终端用于接收所述教学视频，并为学生用户提供播放；
在接收到直播指令后，所述教学终端开启直播，并将直播视频通过云服务器分发至所述多个学习终端；
所述云服务器实时对视频中的语音信息进行语义识别，并通过字幕形式同步显示在所述多个学习终端上；
所述学习终端通过内置摄像头实时采集学生人脸图像，并将所述人脸图像上传至所述云服务器；
所述云服务器基于所述人脸图像进行学生用户的疲劳程度识别，并当所述疲劳程度超过阈值时，生成预警指令，并将所述预警指令发送至所述教学终端及所述学习终端，以使所述教学终端及所述学习终端分别进行疲劳预警操作。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述云服务器基于所述人脸图像进行学生用户的情绪识别；
当识别所述学生用户的情绪为负面情绪时，生成负面情绪指令，并将所述负面情绪指令发送至所述教学终端，以使所述教师进行负面情绪应对处理。


3.根据权利要求2所述的方法，其特征在于，所述云服务器基于所述人脸图像进行学生用户的情绪识别，包括：
定位所述学生用户的人脸区域；
对所述面部器官进行特征点定位，识别出多个特征点，所述特征点定位采用活跃形状模型ASM方法；
对所述特征点进行归一化预处理；
基于预处理结果，采用MPEG-4标准中的面部绘制参数FAP提取出所述面部特征；
基于所述面部特征进行情绪识别，所述情绪包括高兴、惊讶、生气、悲伤、恶心、恐惧或中立，所述负面情绪为生气、悲伤、恶心或恐惧。


4.根据权利要求1所述的方法，其特征在于，在所述通过字幕形式同步显示在所述多个...

【专利技术属性】
技术研发人员：麦雪楹，
申请(专利权)人：佛山市海协科技有限公司，
类型：发明
国别省市：广东;44