针对网络授课的学习专注度的检测方法及终端设备技术

本申请公开了一种针对网络授课的学习专注度的检测方法及终端设备，用以解决相关技术中对用户学习专注度的检测结果准确度较低的问题。通过检测网络授课的音频数据中的教学指令，并获取教学指令的有效期内的待匹配动作类别；所述待匹配动作类别是对视频数据中的目标对象进行动作检测得到的；将待匹配动作类别与教学指令进行匹配操作，得到目标对象的学习专注度。由此通过对比老师的教学指令与教学指令的有效期内目标对象的动作类别的符合程度，根据符合程度确定目标对象的学习专注度，可以提高目标对象的学习专注度的检测结果的准确性，使得老师能够更加准确的监控目标对象的学习专注度，提高授课质量。提高授课质量。提高授课质量。

【技术实现步骤摘要】
针对网络授课的学习专注度的检测方法及终端设备


[0001]本申请涉及智能图像处理
，特别涉及一种针对网络授课的学习专注度的检测方法及终端设备。

技术介绍

[0002]网络授课是在新形势下尤其重要的一种教学方式。网络教学时，学生通常通过平板电脑等终端设备开启应用软件，连接老师的电脑，通过视频接收教育。但是当前网络授课中暴露出很多问题，比如老师无法像线下课堂一样去监控学生学习的专注度，导致授课质量下降。因此消费者尤其是学生家长非常希望学生在使用终端设备进行网络课程学习时，能够通过有效的方法提高学生的专注度，确保学生能够专注的学习。
[0003]相关技术中，有些终端设备虽然具备专注度检测技术，但这些终端设备用于课堂的专注度检测的方法是检测人眼视线或者检测人头部的朝向，以此判定终端用户是否专注于学习。这些方法检测方式过于粗糙，对于学习专注度的检测结果准确度较低。

技术实现思路

[0004]本申请的目的是提供一种针对网络授课的学习专注度的检测方法及终端设备，用以解决相关技术中对学习专注度的检测结果准确度较低的问题。
[0005]第一方面，本申请提供一种针对网络授课的学习专注度的检测方法，所述方法包括：
[0006]检测网络授课的音频数据中的教学指令，并获取所述教学指令的有效期内的待匹配动作类别；所述待匹配动作类别是对视频数据中的目标对象进行动作检测得到的；
[0007]将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度。
[0008]在一种可能的实施方式中，所述对视频数据中的目标对象进行动作检测，包括：
[0009]将所述视频数据中每连续n帧图像作为一个图像序列，n为正整数；
[0010]针对每个图像序列分别执行：
[0011]获取所述图像序列的每帧图像中所述目标对象的关键点数据，得到由每帧图像的关键点数据组建的关键点序列；所述关键点数据包括人脸关键点和人体关键点；
[0012]将所述关键点序列输入动作识别深度学习模型，得到所述目标对象的动作类别。
[0013]在一种可能的实施方式中，所述将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度，包括：
[0014]在预先存储的对应关系表中查找所述待匹配动作类别和所述教学指令是否具有对应关系；
[0015]若具有对应关系则确定所述目标对象的学习专注度为第一值；
[0016]若不具有所述对应关系则确定所述目标对象的学习专注度为第二值。
[0017]在一种可能的实施方式中，所述获取所述教学指令的有效期内的待匹配动作类
别，包括：
[0018]在所述教学指令为最新教学指令的前提下，将检测到的所述目标对象的动作类别确定为所述待匹配动作类别；或者，
[0019]记录所述教学指令的第一检测时间和各动作类别的第二检测时间，若所述动作类别的第二检测时间在指定时间区间内，则确定所述动作类别为所述待匹配动作类别，所述指定时间区间的起始时间为所述教学指令的第一检测时间，所述指定时间区间的结束时间为下一教学指令的第一检测时间。
[0020]在一种可能的实施方式中，所述方法还包括：
[0021]确定与所述教学指令匹配的第一个动作类别的第二检测时间；
[0022]确定所述第一个动作类别的第二检测时间和所述教学指令的第一检测时间之间的时间差；
[0023]将预设的动作延迟时长除以所述时间差之后乘以所述第一值，得到更新后的所述第一值，其中所述预设的动作延迟时长用于表示发出所述教学指令到执行所述教学指令所需的时长。
[0024]在一种可能的实施方式中，所述方法还包括：
[0025]将所述教学指令的有效期的时长作为有效时长，并确定与所述教学指令匹配的待匹配动作类别的延续时长；
[0026]将所述延续时长除以所述有效时长之后乘以更新后的所述第一值，得到所述目标对象的第一值的最终值。
[0027]在一种可能的实施方式中，所述检测网络授课的音频数据中的教学指令，包括：
[0028]对所述音频数据进行音频识别，得到文本序列；
[0029]基于预设的教学指令关键词对所述文本序列进行检测得到教学指令。
[0030]在一种可能的实施方式中，所述获取所述图像序列的每帧图像中所述目标对象的关键点数据，包括：
[0031]基于人体关键点检测模型，得到所述图像序列中每帧图像的人体关键点；
[0032]基于人脸关键点检测模型，得到所述图像序列中每帧图像的人脸关键点。
[0033]在一种可能的实施方式中，所述方法还包括：
[0034]针对所述图像序列中相似度高于相似度阈值的多帧相似图像，采用所述人体关键点检测模型和所述人脸关键点检测模型处理所述多帧相似图像中的一帧图像，得到所述多帧相似图像分别对应的人体关键点和人脸关键点。
[0035]第二方面，本申请提供一种终端设备，包括：
[0036]显示器、处理器和存储器；
[0037]所述显示器用于显示屏幕显示区域；
[0038]所述存储器，用于存储所述处理器可执行指令；
[0039]所述处理器被配置为执行所述指令以实现如上述第一方面中任一项所述的针对网络授课的学习专注度的检测方法。
[0040]第三方面，本申请提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备执行时，使得所述终端设备能够执行如上述第一方面中任一项所述的针对网络授课的学习专注度的检测方法。
[0041]第四方面，本申请提供一种计算机程序产品，包括计算机程序：
[0042]所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的针对网络授课的学习专注度的检测方法。
[0043]本申请的实施例提供的技术方案至少带来以下有益效果：
[0044]本申请实施例通过检测网络授课的音频数据中的教学指令，并获取教学指令的有效期内的待匹配动作类别；所述待匹配动作类别是对视频数据中的目标对象进行动作检测得到的；将待匹配动作类别与教学指令进行匹配操作，得到目标对象的学习专注度。由此通过对比老师的教学指令与教学指令的有效期内目标对象的动作类别的符合程度，根据符合程度确定目标对象的学习专注度，可以提高目标对象的学习专注度的检测结果的准确性，使得老师能够更加准确的监控目标对象的学习专注度，提高授课质量。
[0045]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0046]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对网络授课的学习专注度的检测方法，其特征在于，所述方法包括：检测网络授课的音频数据中的教学指令，并获取所述教学指令的有效期内的待匹配动作类别；所述待匹配动作类别是对视频数据中的目标对象进行动作检测得到的；将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度。2.根据权利要求1所述的方法，其特征在于，所述对视频数据中的目标对象进行动作检测，包括：将所述视频数据中每连续n帧图像作为一个图像序列，n为正整数；针对每个图像序列分别执行：获取所述图像序列的每帧图像中所述目标对象的关键点数据，得到由每帧图像的关键点数据组建的关键点序列；所述关键点数据包括人脸关键点和人体关键点；将所述关键点序列输入动作识别深度学习模型，得到所述目标对象的动作类别。3.根据权利要求1所述的方法，其特征在于，所述将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度，包括：在预先存储的对应关系表中查找所述待匹配动作类别和所述教学指令是否具有对应关系；若具有对应关系则确定所述目标对象的学习专注度为第一值；若不具有所述对应关系则确定所述目标对象的学习专注度为第二值。4.根据权利要求1所述的方法，其特征在于，所述获取所述教学指令的有效期内的待匹配动作类别，包括：在所述教学指令为最新教学指令的前提下，将检测到的所述目标对象的动作类别确定为所述待匹配动作类别；或者，记录所述教学指令的第一检测时间和各动作类别的第二检测时间，若所述动作类别的第二检测时间在指定时间区间内，则确定所述动作类别为所述待匹配动作类别，所述指定时间区间的起始时间为所述教学指令的第一检测时间，所述指定时间区间的结束时间为下一教学指令的第一检测时间。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：确...

【专利技术属性】
技术研发人员：张培龙，
申请(专利权)人：青岛海信移动通信技术股份有限公司，
类型：发明
国别省市：