用户学习的监控方法、装置、计算机设备及存储介质制造方法及图纸

本申请属于人工智能技术领域，应用于智慧教育领域中，涉及一种用户学习的监控方法、装置、计算机设备及存储介质，包括接收人像数据流，从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标；基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离，并基于所述鼻子坐标计算所述人像鼻子至用户端的距离，获得标准距离；根据所述目标距离和所述标准距离计算眼球偏移度，获得目标偏移度；基于所述人像数据流和所述目标偏移度对用户学习的状况进行评分，获得目标分值。人像数据流可存储于区块链中。本申请实现对用户学习状况的有效性监控。请实现对用户学习状况的有效性监控。请实现对用户学习状况的有效性监控。

【技术实现步骤摘要】
用户学习的监控方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能领域，尤其涉及用户学习的监控方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的不断革新，企业在对员工进行学习培训时，经常选择通过线上课程对员工进行学习培训，极大的节约了人力物力。但是，这种方式也面临着诸多的问题，比如无法及时有效的获得员工学习的状况。
[0003]目前，对于针对用户学习状况具有多种监控方式，比如结合用户的面部表情以及肢体动作对用户的学习状况进行监控，但是，这些方式中对于用户的面部表情的监控需要依赖大量的表情训练样本和表现度极佳的模型，在评估过程中，由于存在模型学习效果不佳而造成的对用户的监控结果不够准确的情况，难以实现有效性监控。

技术实现思路

[0004]本申请实施例的目的在于提出一种用户学习的监控方法、装置、计算机设备及存储介质，实现对用户学习状况的有效性监控。
[0005]为了解决上述技术问题，本申请实施例提供一种用户学习的监控方法，采用了如下所述的技术方案：
[0006]一种用户学习的监控方法，包括下述步骤：
[0007]接收人像数据流，从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标；
[0008]基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离，并基于所述鼻子坐标计算所述人像鼻子至用户端的距离，获得标准距离；
[0009]根据所述目标距离和所述标准距离计算眼球偏移度，获得目标偏移度；/>[0010]基于所述人像数据流和所述目标偏移度对用户学习的状况进行评分，获得目标分值。
[0011]进一步的，所述用户端从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标的步骤包括：
[0012]将所述人像数据流输入至预训练的多任务级联卷积神经网络中,获得输出的眼球位置和鼻子位置；
[0013]基于预设的虚拟坐标系确定所述眼球位置和所述鼻子位置对应的所述眼球坐标和所述鼻子坐标。
[0014]进一步的，所述从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标的步骤包括：
[0015]对所述人像数据流的人像视频帧进行人像截取操作，获得人脸图像；
[0016]将所述人脸图像转换为二值化图像，基于霍夫变换识别所述二值化图像中的多个
圆形图像；
[0017]将灰度值处于预设灰度阈值区间内，且大小相同的两个所述圆形图像作为所述人像眼球，并将两个所述圆形图像的圆心作为对应的所述眼球坐标；
[0018]基于预设人脸比例和所述眼球坐标确定所述人脸图像的所述鼻子坐标。
[0019]进一步的，所述通过所述标准距离和所述目标距离计算眼球偏移度，获得所述目标偏移度的步骤包括：
[0020]根据如下公式计算所述目标偏移度：
[0021][0022]其中，Ang表示所述目标偏移度，L1表示所述标准距离，L2表示所述目标距离。
[0023]进一步的，所述基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离的步骤包括：
[0024]根据所述眼球坐标计算人像数据流中的瞳距，作为人像瞳距；
[0025]获取实际瞳距和所述前端摄像头焦距，基于所述实际瞳距、所述前端摄像头焦距和所述人像瞳距计算眼球至用户端的距离，获得所述目标距离。
[0026]进一步的，所述获取实际瞳距和所述前端摄像头焦距的步骤包括：
[0027]获取用户登录名称，根据所述用户登录名称调取预存的用户个人信息，从所述用户个人信息中查找用户手机型号和用户的实际瞳距；
[0028]根据所述所述用户手机型号查找对应的所述前端摄像头焦距。
[0029]进一步的，所述基于所述人像数据流和所述目标偏移度对用户学习的状况进行评分，获得目标分值的步骤包括：
[0030]根据预设百分比将所述人像数据流拆分为多个人像时段，其中，每个所述人像时段对应预设时段分值；
[0031]统计每种所述目标偏移角度在各所述人像时段的占比时长，并确定所述占比时长所属的预设时长区间，其中，每个所述时长区间对应预设角度基数，每种所述目标偏移角度对应预设偏移基数；
[0032]基于所述时段分值、所述角度基数和所述偏移基数计算对应所述人像时段的分值，并将所有所述人像时段的分值的总和作为所述目标分值。
[0033]为了解决上述技术问题，本申请实施例还提供一种用户学习的监控装置，采用了如下所述的技术方案：
[0034]一种用户学习的监控装置，包括：
[0035]接收模块,用于接收人像数据流，从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标；
[0036]距离计算模块,用于基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离，并基于所述鼻子坐标计算所述人像鼻子至用户端的距离，获得标准距离；
[0037]偏移度计算模块，用于根据所述目标距离和所述标准距离计算眼球偏移度，获得目标偏移度；
[0038]评分模块，用于基于所述人像数据流和所述目标偏移度对用户学习的状况进行评分，获得目标分值。
[0039]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0040]一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的用户学习的监控方法的步骤。
[0041]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0042]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的用户学习的监控方法的步骤。
[0043]与现有技术相比，本申请实施例主要有以下有益效果：
[0044]本申请无需训练用户肢体模型和用户表情模型这类需要大量训练样本且对模型的准确度要求较高的模型。只需要人像数据流中定位眼球和鼻子的位置，获得眼球坐标和鼻子坐标，进而根据眼球坐标和鼻子坐标计算目标偏移度，用于对用户学习的状况进行评分，实现对用户学习状况的监控，通过快捷的计算方式，实现对用户学习状况的有效性评估。
附图说明
[0045]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1是本申请可以应用于其中的示例性系统架构图；
[0047]图2是根据本申请的用户学习的监控方法的一个实施例的流程图；
[0048]图3是根据本申请的用户学习的监控装置的一个实施例的结构示意图；
[0049]图4是根据本申请的计算机设备的一个实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户学习的监控方法，其特征在于，包括下述步骤：接收人像数据流，从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标；基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离，并基于所述鼻子坐标计算所述人像鼻子至用户端的距离，获得标准距离；根据所述目标距离和所述标准距离计算眼球偏移度，获得目标偏移度；基于所述人像数据流和所述目标偏移度对用户学习的状况进行评分，获得目标分值。2.根据权利要求1所述的用户学习的监控方法，其特征在于，所述从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标的步骤包括：将所述人像数据流输入至预训练的多任务级联卷积神经网络中,获得输出的眼球位置和鼻子位置；基于预设的虚拟坐标系确定所述眼球位置和所述鼻子位置对应的所述眼球坐标和所述鼻子坐标。3.根据权利要求1所述的用户学习的监控方法，其特征在于，所述从所述人像数据流中实时定位人像眼球和人像鼻子的位置，获得眼球坐标和鼻子坐标的步骤包括：对所述人像数据流的人像视频帧进行人像截取操作，获得人脸图像；将所述人脸图像转换为二值化图像，基于霍夫变换识别所述二值化图像中的多个圆形图像；将灰度值处于预设灰度阈值区间内，且大小相同的两个所述圆形图像作为所述人像眼球，并将两个所述圆形图像的圆心作为对应的所述眼球坐标；基于预设人脸比例和所述眼球坐标确定所述人脸图像的所述鼻子坐标。4.根据权利要求1所述的用户学习的监控方法，其特征在于，所述通过所述标准距离和所述目标距离计算眼球偏移度，获得所述目标偏移度的步骤包括：根据如下公式计算所述目标偏移度：其中，Ang表示所述目标偏移度，L1表示所述标准距离，L2表示所述目标距离。5.根据权利要求1所述的用户学习的监控方法，其特征在于，所述基于所述眼球坐标计算所述人像眼球至用户端的距离，获得目标距离的步骤包括：根据所述眼球坐标计算人像数据流中的瞳距，作为人像瞳距；获取实际瞳距和所述前端摄像头焦距，基于所述实际瞳距、所述前端摄像头焦距和所...

【专利技术属性】
技术研发人员：刘芳友，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：