一种基于多任务的在线学习状态识别方法及相关装置制造方法及图纸

本发明专利技术公开了一种基于多任务的在线学习状态识别方法及相关装置，属于学习状态预测领域。本发明专利技术提供采用神经网络与融合Landmarks和个性化校准的注视点估计模型相结合的多任务学习框架对表情和注视点两个学习状态指标进行预测；采用融合Landmarks和个性化校准的两阶段注视点估计算法，解决了通用模型准确度与泛化性能不足、难以系统化实现及大规模应用等问题；采用任务自适应的交替联合调度多任务训练，有效提高各任务的学习性能，并使主要任务达到更好的效果。本发明专利技术解决了通用注视点估计模型具有的准确度与泛化能力的不足，同时克服了系统化实现及大规模应用的困难。服了系统化实现及大规模应用的困难。服了系统化实现及大规模应用的困难。

【技术实现步骤摘要】
一种基于多任务的在线学习状态识别方法及相关装置


[0001]本专利技术涉及属于学习状态预测领域，具体涉及一种基于多任务的在线学习状态识别方法及相关装置。

技术介绍

[0002]在线教育为学习者提供了一种丰富而灵活的学习方式，学习者可以随时随地访问各种优秀课程。然而，由于师生分离在线教育的教学效果很难保证。学习状态是由描述学习者心理、生理所属状态的基本指标组成。相关研究已经定性说明了学习状态能够直接影响学习效果。为了提升教学效果，在线课堂学习者的状态检测成为了相关研究中的重点问题之一。
[0003]学习状态涉及到学习者的认知和情感等多种状态，进一步可以细分为眼动状态、行为动作、姿势姿态、面部表情、环境交互、生物特征等具体指标。其中，眼部特征是非常重要的一类特征，眼睛的注视行为指明了学习者实时的关注位置，是解释学习者学习意图的重要线索，通过对注视行为的整理、分析，可以挖掘学习者深层的内在认知状态。上述指标中有许多都具有关联关系，如眼动状态与面部表情、姿势姿态与环境交互等。多任务学习(Multi
‑
Task Learning，MTL)可以发掘子任务间的共性，极大地提高对各任务间关联关系和共有信息的利用，进而提高所有子任务的学习效果和性能。在基于硬参数共享的多任务学习中，有两种子任务训练方式：交替(Alternate)训练和联合(Joint)训练。交替训练对于数据集的要求较低，可以使用更大范围的数据集，但由于子任务调度顺序和比重的不同，容易造成模型推断结果偏向某个或多个任务，不能得到稳定的学习效果。联合训练由于对数据集的要求很高，实际研究中有大量数据集标签不能满足全部子任务的训练需要，因此会造成数据集极大浪费，从而使共享特征层包含的共享信息大幅减少。
[0004]归纳而言，注视点检测任务目前存在着模型准确度与泛化能力较低以及在线教育场景下模型训练与微调困难的问题。此外，采用单一调度方式的多任务学习不可避免的存在结果偏向性过强或数据样本大量浪费等问题。如何进行视线估计，如何充分利用数据集，在保证共享特征提取的基础上，平衡由于数据集或任务调度方式不同引起的偏差，是在线学习状态识别需要进一步探究的重要问题。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术的缺点，提供一种基于多任务的在线学习状态识别方法及相关装置。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种基于多任务的在线学习状态识别方法，包括以下步骤：
[0008](1)构建由注视点估计子任务模型和面部表情识别子任务模型构成的在线学习者注视点与面部表情的多任务识别模型；
[0009]所述注视点估计子任务模型用于合并左眼特征、右眼特征和Landmarks Grid特
征，输出注视落点；所述面部表情识别子任务模型用于合并Landmarks Grid和面部分支特征，输出面部表情；
[0010](2)采用自适应交替联合调度进行多任务训练
[0011]训练时首先根据训练数据集中的样本的特征标签对注视点估计子任务模型或面部表情识别子任务模型进行交替训练；完成交替训练后提高任务联合级别至2级，采用同时包含注视点和面部表情标签的样本数据对所述多任务识别模型进行组合训练。
[0012]进一步的，步骤(1)中，所述注视点估计子任务模型为融合Landmarks的通用注视点估计模型和注视点个性化校准模型相结合的两阶段注视点估计模型；
[0013]当运行所述注视点估计子任务模型时，首先利用融合Landmarks的通用注视点估计模型对在线学习场景下学习者的注视点进行估计，从而得到通用注视点坐标；之后，利用注视点个性化校准模型估计出通用注视点坐标的偏差，结合通用注视点坐标和通用注视点坐标的偏差，最终得到真实注视点坐标。
[0014]进一步的，步骤(1)中，运行所述注视点估计子任务模型，具体为：
[0015]将学习者图像输入所述融合Landmarks的通用注视点估计模型中，使用VGG提取左眼与右眼图像特征；利用FaceAlignment算法提取学习者的面部关键点，同时截取眼部图像，构造Landmarks Grid，利用Micro CNN提取Landmarks Grid特征；之后将左眼特征、右眼特征及Landmarks Grid特征在全连接层进行拼接，最后输出学习者的通用注视落点；
[0016]同时，以学习者的面部图像作为注视点个性化校准模型的输入，经过卷积神经网络提取特征，最终输出实际注视落点与通用模型估计落点的差值；
[0017]结合学习者的通用注视落点和实际注视落点与通用模型估计落点的差值估计出学习者最终的实际注视落点。
[0018]进一步的，步骤(2)中，采用自适应交替联合调度进行多任务训练，具体过程为：
[0019](201)进行子任务编码
[0020]多任务学习共包含n个子任务，对子任务进行Onehot编码；
[0021]为每个子任务构造损失函数Li，则多任务损失函数向量为每个子任务构造损失函数Li，则多任务损失函数向量考虑数据集D中的样本S，若样本S具有子任务T
a
，T
b
，
…
，T
k
所需的标签，则所述样本S针对子任务T
a
，T
b
，
…
，T
k
的联合损失函数L
ab...k
为：
[0022][0023]其中，S
ab...k
是使能任务T
a
，T
b
，
…
，T
k
的Onehot编码值，即使得第a，b，
…
，k位为1的二进制编码；
[0024]根据所述样本S所含任务的标签，将原数据集D划分为交替训练数据集{D1，D2，
…
，D
n
}和联合训练数据集{D
12
，D
123
，
…
D
ij...k
，
…
，D
12...n
}；
[0025]交替训练数据集D
i
仅包含任务T
i
所需的标签数据，联合训练数据集D
ij...k
包含任务T
i
，T
j
，
…
，
T
k所需的标签数据；
[0026](202)设计损失函数
[0027]在交替训练调度时，子任务T
i
权重系数为λ
i
，令所述权重系数λ
i
与自身数据集D
i
规模和总体数据集D
total
规模的比值呈反比：
[0028][0029]再对λ
i
进行归一化，则所述子任务T
i...

【技术保护点】

【技术特征摘要】
1.一种基于多任务的在线学习状态识别方法，其特征在于，包括以下步骤：(1)构建由注视点估计子任务模型和面部表情识别子任务模型构成的在线学习者注视点与面部表情的多任务识别模型；所述注视点估计子任务模型用于合并左眼特征、右眼特征和Landmarks Grid特征，输出注视落点；所述面部表情识别子任务模型用于合并Landmarks Grid和面部分支特征，输出面部表情；(2)采用自适应交替联合调度进行多任务训练训练时首先根据训练数据集中的样本的特征标签对注视点估计子任务模型或面部表情识别子任务模型进行交替训练；完成交替训练后提高任务联合级别至2级，采用同时包含注视点和面部表情标签的样本数据对所述多任务识别模型进行组合训练。2.根据权利要求1所述的基于多任务的在线学习状态识别方法，其特征在于，步骤(1)中，所述注视点估计子任务模型为融合Landmarks的通用注视点估计模型和注视点个性化校准模型相结合的两阶段注视点估计模型；当运行所述注视点估计子任务模型时，首先利用融合Landmarks的通用注视点估计模型对在线学习场景下学习者的注视点进行估计，从而得到通用注视点坐标；之后，利用注视点个性化校准模型估计出通用注视点坐标的偏差，结合通用注视点坐标和通用注视点坐标的偏差，最终得到真实注视点坐标。3.根据权利要求2所述的基于多任务的在线学习状态识别方法，其特征在于，步骤(1)中，运行所述注视点估计子任务模型，具体为：将学习者图像输入所述融合Landmarks的通用注视点估计模型中，使用VGG提取左眼与右眼图像特征；利用Face Alignment算法提取学习者的面部关键点，同时截取眼部图像，构造Landmarks Grid，利用Micro CNN提取Landmarks Grid特征；之后将左眼特征、右眼特征及Landmarks Grid特征在全连接层进行拼接，最后输出学习者的通用注视落点；同时，以学习者的面部图像作为注视点个性化校准模型的输入，经过卷积神经网络提取特征，最终输出实际注视落点与通用模型估计落点的差值；结合学习者的通用注视落点和实际注视落点与通用模型估计落点的差值估计出学习者最终的实际注视落点。4.根据权利要求2所述的基于多任务的在线学习状态识别方法，其特征在于，步骤(2)中，采用自适应交替联合调度进行多任务训练，具体过程为：(201)进行子任务编码多任务学习共包含n个子任务，对子任务进行Onehot编码；为每个子任务构造损失函数L
i
，则多任务损失函数向量，则多任务损失函数向量考虑数据集D中的样本S，若样本S具有子任务T
a
,T
b
,
…
,T
k
所需的标签，则所述样本S针对子任务T
a
,T
b
,
…
,T
k
的联合损失函数L
ab...
为：
其中，S
ab...
是使能任务T
a
,T
b
,
…
,T
k
的Onehot编码值，即使得第a,b,
…
,k位为1的二进制编码；根据所述样本S所含任务的标签，将原数据集D划分为交替训练数据集{D1,D2,
…
,D
n
}和联合训练数据集{D
12
,D
123
,
…
D
ij...k
,
…
,D
12...n
}；交替训练数据集D
i
仅包含任务T
i
所需的标签数据，联合训练数据集D
ij...k
包含任务T
i
,T
j
,
…
,T
k
所需的标签数据；(202)设计损失函数在交替训练调度时，子任务T
i
权重系数为λ
i
...

【专利技术属性】
技术研发人员：陈妍，刘庆，刘嘉欣，李政霖，田锋，朱海萍，郑庆华，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：