一种基于连续视频帧的专注度监测方法、系统和存储器技术方案

本发明专利技术涉及专注度监测领域，尤其涉及一种基于连续视频帧的专注度监测方法、系统和存储器。本发明专利技术通过专注度评分模型计算监控对象的专注度时，首先需要获取监控录像，对监控录像进行视频帧解析，获取各监控对象实现各异常行为的持续时间t

【技术实现步骤摘要】
一种基于连续视频帧的专注度监测方法、系统和存储器


[0001]本专利技术涉及专注度监测领域，尤其涉及一种基于连续视频帧的专注度监测方法、系统和存储器。

技术介绍

[0002]学习专注度是指学生是否能够安下心来将注意力投入到学习上。而课堂上的学习专注度(简称课堂专注度)往往影响了学生的学习效率甚至可能影响其学习能力。因此，课堂专注度是评估学生学习能力的重要指标。
[0003]传统心理学测评方法大都通过量表或完成特定任务来测量课堂专注度。这种方式是静态的，且需要定期更改或者调整量表内容。
[0004]随着人工智能技术的发展、设施设备的升级、大量课堂视频的累积，为基于视频的课堂专注度监测奠定了坚实的基础。目前，许多研究已经通过人脸识别技术、眼球追踪技术、脑波数据等分析学生是否专注，但是对于专注度缺失表现因素的关注不够全面，计算方法也不够科学，导致现有的专注度识别结果往往偏差较大，可信度低。

技术实现思路

[0005]为了解决上述现有技术中的基于视频进行专注度监测偏差大的缺陷，本专利技术提出了一种基于连续视频帧的专注度监测方法，可结合多种异常行为评估监控对象的专注度，评估结果可信度高。
[0006]本专利技术提出的一种基于连续视频帧的专注度监测方法，包括以下步骤：
[0007]S1、设置异常行为及专注度评分模型，专注度评分模型为：
[0008][0009]其中，C
n
为监控对象n的专注度得分，I为异常行为数量，i为序数，1≦i≦I；a
i/>表示第i个异常行为的权重，t
(i,n)
表示监控对象n表现第i个异常行为的持续时间，T
(i,n)
表示t
(i,n)
对应的总监控时长；
[0010]S2、获取监控录像，对监控录像进行视频帧解析，获取各监控对象实现各异常行为的持续时间t
(i,n)
和对应的总监时长T
(i,n)
，N为监控对象集合，n∈N；
[0011]S3、将监控对象n的视频帧解析数据t
(i,n)
和T
(i,n)
代入专注度评分模型，获取各监控对象的专注度得分。
[0012]优选的，令摄像头巡航轨迹包含K个巡航点，每个巡航点的摄像时间为t0，监测周期为T0＝Q
×
K
×
t0，设K
n
表示巡航点集合，当摄像头处于K
n
中任一个巡航点时，监控对象n处于摄像头监控范围内；
[0013]针对监控对象n，其在一个监控周期内的t
i
和T
i
的计算公式如下：
[0014][0015]r
(q,k,n,j,i)
表示摄像头第q次巡航中在第k个巡航点上第j次拍摄到监控对象n处于第i个异常行为的连续视频帧的数量；J
(q,k,n,i)
表示摄像头第q次巡航中在第k个巡航点上拍摄到监控对象n处于第i个异常行为的次数；m表示单位时间1秒内的连续视频帧数量，表示对r
(q,k,n,j,i)
/m向上取整；
[0016][0017]y
(q,k,n,i)
表示二值数，当摄像头第q次巡航中在第k个巡航点上监测到监控对象n表现第i个异常行为，则y
(q,k,n,i)
取1；反之，y
(q,k,n,i)
取0。
[0018]优选的，所述异常行为包括头部异常行为，头部异常行为的判断条件为：头部姿态偏航角大于或者等于设定的偏航阈值，或者头部姿态俯仰角大于或者等于设定的俯仰阈值；监控对象的头部姿态偏航角和头部姿态俯仰角的计算公式为：
[0019]δ
x
＝γ
x
‑
(θ
h
‑
180
°
)；δ
y
＝θ
v
+γ
y
[0020][0021]δ
x
表示头部姿态转角的水平误差，δ
y
表示头部姿态转角的垂直误差；
[0022]θ
h
表示摄像头拍摄方向中心点的水平角度，θ
v
表示摄像头拍摄方向中心点的垂直角度；γ
x
表示视频帧上目标点m与中心点o的水平方向实际角度差，γ
y
表示目标点m与中心点o的垂直方向实际角度差；目标点m为视频帧上目标人脸的中心点，目标人脸即为监控对象的人脸；
[0023]f
h
表示通过头部姿态算法解析视频帧中人脸获得的头部姿态偏航角初始值，f
v
表示通过头部姿态算法解析视频帧中人脸获得的头部姿态俯仰角初始值。
[0024]优选的：
[0025]当x<w/2，则：γ
x
＝a
x
‑
β
x
[0026]当x≧w/2，则：γ
x
＝a
x
+β
x
[0027]γ
y
＝a
y
+β
y
[0028][0029][0030]w和h分别表示视频帧外接矩形的长度和高度，(x,y)和(w/2,h/2)分别表示目标点m和中心点o在视频帧上的坐标，a
x
表示视频帧上目标点m到中心点o的水平角度误差，a
y
表示视频帧上目标点m到中心点o的垂直角度误差；
[0031]β
x
表示目标点m(x,y)在水平方向上的误差补偿，β
y
表示目标点m(x,y)在垂直方向上的误差补偿；
[0032]k
h
表示摄像头视场角和视频帧视场角在水平方向上的误差值；k
v
表示摄像头视场角和视频帧视场角在垂直方向上的误差值；k
dh
表示视频帧对角方向视场角在水平方向的误差分量；k
dv
表示视频帧对角方向视场角在垂直方向的误差分量。
[0033]优选的：
[0034][0035][0036]其中，fov
h
表示视频帧的水平视场角，fov
v
表示视频帧的垂直视场角。
[0037]优选的，所述异常行为还包括哈欠、表情异常和坐姿异常。
[0038]优选的，异常行为通过对应的识别模型进行解析；所述识别模型的输入为监控录像，识别模型用于将监控录像解析为连续视频帧输出，并标注每一幅视频帧是否包含对应的异常行为；识别模型为通过机器学习获得的神经网络模型。
[0039]优选的，专注度评分模型中的权重为人工标注值。
[0040]本专利技术还提出了一种基于连续视频帧的专注度监测系统和存储器，为基于连续视频帧的专注度监测方法提供了载体，便于该方法的推广应用。
[0041]一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于连续视频帧的专注度监测方法，其特征在于，包括以下步骤：S1、设置异常行为及专注度评分模型，专注度评分模型为：其中，C
n
为监控对象n的专注度得分，I为异常行为数量，i为序数，1≦i≦I；a
i
表示第i个异常行为的权重，t
(i,n)
表示监控对象n表现第i个异常行为的持续时间，T
(i,n)
表示t
(i,n)
对应的总监控时长；S2、获取监控录像，对监控录像进行视频帧解析，获取各监控对象实现各异常行为的持续时间t
(i,n)
和对应的总监时长T
(i,n)
，N为监控对象集合，n∈N；S3、将监控对象n的视频帧解析数据t
(i,n)
和T
(i,n)
代入专注度评分模型，获取各监控对象的专注度得分。2.如权利要求1所述的基于连续视频帧的专注度监测方法，其特征在于，令摄像头巡航轨迹包含K个巡航点，每个巡航点的摄像时间为t0，监测周期为T0＝Q
×
K
×
t0，设K
n
表示巡航点集合，当摄像头处于K
n
中任一个巡航点时，监控对象n处于摄像头监控范围内；针对监控对象n，其在一个监控周期内的t
i
和T
i
的计算公式如下：r
(q,k,n,j,i)
表示摄像头第q次巡航中在第k个巡航点上第j次拍摄到监控对象n处于第i个异常行为的连续视频帧的数量；J
(q,k,n,i)
表示摄像头第q次巡航中在第k个巡航点上拍摄到监控对象n处于第i个异常行为的次数；m表示单位时间1秒内的连续视频帧数量，表示对r
(q,k,n,j,i)
/m向上取整；y
(q,k,n,i)
表示二值数，当摄像头第q次巡航中在第k个巡航点上监测到监控对象n表现第i个异常行为，则y
(q,k,n,i)
取1；反之，y
(q,k,n,i)
取0。3.如权利要求1所述的基于连续视频帧的专注度监测方法，其特征在于，所述异常行为包括头部异常行为，头部异常行为的判断条件为：头部姿态偏航角大于或者等于设定的偏航阈值，或者头部姿态俯仰角大于或者等于设定的俯仰阈值；监控对象的头部姿态偏航角和头部姿态俯仰角的计算公式为：δ
x
＝γ
x
‑
(θ
h
‑
180
°
)；δ
y
＝θ
v
+γ
y
δ
x
表示头部姿态转角的水平误差，δ
y
表示头部姿态转角的垂直误差；θ
h
表示摄像头拍摄方向中心点的水平角度，θ
v
表示摄像头拍摄方向中心点的垂直角度；γ
x

【专利技术属性】
技术研发人员：范联伟，王佐成，彭丽，
申请(专利权)人：数据空间研究院，
类型：发明
国别省市：