一种构建注意力识别模型的方法及装置制造方法及图纸

本发明专利技术提供了一种构建注意力识别模型的方法及装置，方法包括：对不同教室采集的头部图像集进行标注；对各头部图像集进行支撑集组织和查询集组织，得到支撑集‑查询集对；依据支撑集对注意力识别初始模型进行训练，得到注意力识别中间模型；依据查询集对注意力识别中间模型进行训练，获取总查询识别损失；将支撑集‑查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失；若依据总查询识别损失及总距离损失计算的总损失小于总损失阈值，将注意力识别中间模型作为注意力识别模型，否则，调整训练的注意力识别初始模型的模型参数，直至总损失小于总损失阈值。可以提高注意力识别的准确性。

【技术实现步骤摘要】
一种构建注意力识别模型的方法及装置
本专利技术涉及教育
，具体而言，涉及一种构建注意力识别模型的方法及装置。
技术介绍
课堂教学是培养人才、传授知识中最重要的环节，而学生在课堂上的听课注意力直接影响其对知识的接受效果，因而，实时了解学生的听课注意力，对于及时调整课堂教学、教学方案、改进教学方法具有非常重要的意义。其中，听课注意力可以从学生的头部状态直观反映出来，随着深度学习方法的发展，可以通过训练注意力识别模型，将学生上课时的头部图像输入训练的注意力识别模型，注意力识别模型的输出结果为集中注意力或未集中注意力，从而判断该学生是否集中注意力。但目前利用深度学习方法训练注意力识别模型，需要保证用于训练注意力识别模型的数据以及用于注意力识别推理的数据具有相同的分布特点，而在实际的应用环境中，由于不同教室、不同学校中摄像头安装角度和位置千差万别，目前训练得到的注意力识别模型，在进行注意力识别时，只能应用于与训练该注意力识别模型相同的教学环境。例如，利用教室A安装的摄像头拍摄的图像训练得到的注意力识别模型，只能应用于教室A的学生的注意力识别，若应用于教室B的学生的注意力识别，识别效果会变差，识别的准确性较差，而针对每一部署的教室训练一注意力识别模型，需要对不同教室的大量图像进行标注，训练各自教室对应的注意力识别模型，所需的时间和成本较高。
技术实现思路
有鉴于此，本专利技术的目的在于提供构建注意力识别模型的方法及装置，以提高注意力识别的准确性。第一方面，本专利技术实施例提供了构建注意力识别模型的方法，包括：对不同教室采集的头部图像集中的每一头部图像进行标注，所述标注包括：注意力集中或注意力未集中，每一教室对应一头部图像集；对各头部图像集进行支撑集组织和查询集组织，得到支撑集-查询集对，所述支撑集至少包含两个头部图像集，所述查询集包含一个头部图像集；依据支撑集对注意力识别初始模型进行训练，得到注意力识别中间模型；依据查询集对注意力识别中间模型进行训练，获取总查询识别损失；将支撑集-查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失；依据总查询识别损失以及总距离损失计算总损失，若总损失小于预先设置的总损失阈值，将所述注意力识别中间模型作为注意力识别模型，否则，调整训练的注意力识别初始模型的模型参数，直至总损失小于所述总损失阈值。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述对不同教室采集的头部图像集中的每一头部图像进行标注，包括：针对从不同教室采集的每一图片集，检测出包含头部的图片；对包含头部的图片进行尺寸一致处理，得到该图片集对应的头部图像集，为得到的头部图像集中的每一头部图像设置注意力集中标签或注意力未集中标签。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述对各头部图像集进行支撑集组织包括：将第一头部图像集和第二头部图像集中具有相同标签的头部图像组成头部图像对，各头部图像对组成头部图像对集，依据头部图像对集得到支撑集。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述依据支撑集对注意力识别初始模型进行训练，包括：对于每一支撑集，针对该支撑集中的每一头部图像对，将该头部图像对输入注意力识别初始模型进行训练，依据注意力识别初始模型的输出计算该支撑集对应的识别损失；基于各支撑集对应的识别损失，计算总支撑识别损失；若总支撑识别损失大于预先设置的支撑识别损失阈值，更新注意力识别初始模型的模型参数，直至总支撑识别损失不大于所述支撑识别损失阈值。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述针对该支撑集中的每一头部图像对，将该头部图像对输入注意力识别初始模型进行训练，包括：选取支撑集中预设第一数量的头部图像对，构建头部图像对训练集；在每次进行迭代后，从头部图像对训练集中删除预设第二数量的头部图像对，从支撑集中，提取预设第二数量的头部图像对，添加至头部图像对训练集中。结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述依据查询集对注意力识别中间模型进行训练，获取总查询识别损失，包括：针每一查询集，将该查询集中的头部图像输入所述注意力识别中间模型，得到该查询集对应的查询识别损失，基于各查询识别损失，计算总查询识别损失。结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述将支撑集-查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失，包括：将支撑集输入去掉分类层的注意力中间识别模型，得到对应的支撑特征，将查询集输入去掉分类层的注意力中间识别模型，得到对应的查询特征；针对每一查询特征，计算该查询特征的查询特征中心，以及，针对每一支撑特征，计算该支撑特征的支撑特征中心；针对每一支撑集-查询集对中包含的支撑集的支撑特征中心和查询集的查询特征中心，计算该支撑集-查询集对的距离损失；对各支撑集-查询集对的距离损失进行加权求和，得到总距离损失。第二方面，本专利技术实施例还提供了一种构建注意力识别模型的装置，包括：图像标注模块，用于对不同教室采集的头部图像集中的每一头部图像进行标注，所述标注包括：注意力集中或注意力未集中，每一教室对应一头部图像集；组织模块，用于对各头部图像集进行支撑集组织和查询集组织，得到支撑集-查询集对，所述支撑集至少包含两个头部图像集，所述查询集包含一个头部图像集；第一训练模块，用于依据支撑集对注意力识别初始模型进行训练，得到注意力识别中间模型；第二训练模块，用于依据查询集对注意力识别中间模型进行训练，获取总查询识别损失；第三训练模块，用于将支撑集-查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失；注意力识别模型获取模块，用于依据总查询识别损失以及总距离损失计算总损失，若总损失小于预先设置的总损失阈值，将所述注意力识别中间模型作为注意力识别模型，否则，调整训练的注意力识别初始模型的模型参数，直至总损失小于所述总损失阈值。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。本专利技术实施例提供的构建注意力识别模型的方法及装置，通过对不同教室采集的头部图像集中的每一头部图像进行标注，所述标注包括：注意力集中或注意力未集中，每一教室本文档来自技高网...

【技术保护点】
1.一种构建注意力识别模型的方法，其特征在于，包括：/n对不同教室采集的头部图像集中的每一头部图像进行标注，所述标注包括：注意力集中或注意力未集中，每一教室对应一头部图像集；/n对各头部图像集进行支撑集组织和查询集组织，得到支撑集-查询集对，所述支撑集至少包含两个头部图像集，所述查询集包含一个头部图像集；/n依据支撑集对注意力识别初始模型进行训练，得到注意力识别中间模型；/n依据查询集对注意力识别中间模型进行训练，获取总查询识别损失；/n将支撑集-查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失；/n依据总查询识别损失以及总距离损失计算总损失，若总损失小于预先设置的总损失阈值，将所述注意力识别中间模型作为注意力识别模型，否则，调整训练的注意力识别初始模型的模型参数，直至总损失小于所述总损失阈值。/n

【技术特征摘要】
1.一种构建注意力识别模型的方法，其特征在于，包括：
对不同教室采集的头部图像集中的每一头部图像进行标注，所述标注包括：注意力集中或注意力未集中，每一教室对应一头部图像集；
对各头部图像集进行支撑集组织和查询集组织，得到支撑集-查询集对，所述支撑集至少包含两个头部图像集，所述查询集包含一个头部图像集；
依据支撑集对注意力识别初始模型进行训练，得到注意力识别中间模型；
依据查询集对注意力识别中间模型进行训练，获取总查询识别损失；
将支撑集-查询集对输入去掉分类层的注意力识别中间模型进行训练，获取总距离损失；
依据总查询识别损失以及总距离损失计算总损失，若总损失小于预先设置的总损失阈值，将所述注意力识别中间模型作为注意力识别模型，否则，调整训练的注意力识别初始模型的模型参数，直至总损失小于所述总损失阈值。


2.根据权利要求1所述的方法，其特征在于，所述对不同教室采集的头部图像集中的每一头部图像进行标注，包括：
针对从不同教室采集的每一图片集，检测出包含头部的图片；
对包含头部的图片进行尺寸一致处理，得到该图片集对应的头部图像集，为得到的头部图像集中的每一头部图像设置注意力集中标签或注意力未集中标签。


3.根据权利要求1所述的方法，其特征在于，所述对各头部图像集进行支撑集组织包括：
将第一头部图像集和第二头部图像集中具有相同标签的头部图像组成头部图像对，各头部图像对组成头部图像对集，依据头部图像对集得到支撑集。


4.根据权利要求3所述的方法，其特征在于，所述依据支撑集对注意力识别初始模型进行训练，包括：
对于每一支撑集，针对该支撑集中的每一头部图像对，将该头部图像对输入注意力识别初始模型进行训练，依据注意力识别初始模型的输出计算该支撑集对应的识别损失；
基于各支撑集对应的识别损失，计算总支撑识别损失；
若总支撑识别损失大于预先设置的支撑识别损失阈值，更新注意力识别初始模型的模型参数，直至总支撑识别损失不大于所述支撑识别损失阈值。


5.根据权利要求4所述的方法，其特征在于，所述针对该支撑集中的每一头部图像对，将该头部图像对输入注意力识别初始模型进行训练，包括：
选取支撑集中预设第一数量的头部图像对，构建头部图像对训练集；
在每次进行迭代后，从头部图像对训练集中删除预设第二数量的头部图像对，从支撑集中，提取预设第二数量的头部图像对，添加至头部图像对训练集中。


6.根据权利要求1至5任...

【专利技术属性】
技术研发人员：刘向阳，赵晨旭，唐大闰，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：上海;31