一种头部姿态检测方法、装置及计算机设备制造方法及图纸

本申请公开了一种头部姿态检测方法、装置及计算机设备，该方法包括获取待检测对象活动过程中的事件时序信号和RGB视频数据；分别从事件时序信号和RGB视频数据中筛选出待检测对象的头部姿态变化时刻的事件数据流和关键RGB视频流并进行分帧处理，得到事件图像序列以及关键RGB图像序列；将事件图像序列以及关键RGB图像序列输出训练好的融合模型中，分别提取出事件模态特征和图像模态特征并进行融合，得到待检测对象的头部姿态特征图像；根据头部姿态特征图像预测待检测对象的头部姿态角度；本发明专利技术利用可见光

【技术实现步骤摘要】
一种头部姿态检测方法、装置及计算机设备


[0001]本申请涉及教育管理
，更具体地，涉及一种头部姿态检测方法、 装置及计算机设备。

技术介绍

[0002]对于教师教学质量或信誉度的评价，以往主要采用对学生进行问卷调查的 方法。该方式往往消耗大量时间及人力，效率较低，且不具备时效性，不便于 教师及时调整教学行为策略。此外在课堂教学场景下，通过课堂视频对教师教 学行为识别进行科学量化面临诸多问题，例如：光照变化、运动模糊、背景复 杂等。
[0003]头部姿态估计是计算机视觉与模式识别领域一个非常重要的应用，在人类 行为和注意力的研究中扮演着重要角色，已经被应用于多种不同领域。头部姿 态的改变包含着同意、反对、理解、迷惑、惊喜等丰富的信息。利用头部姿态 估计来对教师的教学行为进行识别，可以为教师及教学管理者提供反思与评价 信息，促进教师综合能力提升，对整个教学活动有着至关重要的作用。
[0004]目前主流的头部姿态估计方法，是利用深度学习模型从采集的人脸图像上 提取关键特征点来进行的，该方法易受人脸图像质量，以及光照、复杂背景等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头部姿态检测方法，其特征在于，包括：获取待检测对象活动过程中的事件时序信号和RGB视频数据；分别从所述事件时序信号和RGB视频数据中筛选出待检测对象的头部姿态变化时刻的事件数据流和关键RGB视频流并进行分帧处理，得到事件图像序列以及关键RGB图像序列；将所述事件图像序列以及关键RGB图像序列输出训练好的融合模型中，分别从事件图像序列和关键RGB图像序列中提取出事件模态特征和图像模态特征并进行融合，得到待检测对象的头部姿态特征图像；根据所述头部姿态特征图像预测待检测对象的头部姿态角度。2.如权利要求1所述的头部姿态检测方法，其特征在于，所述网络融合模型具有图像网络分支、事件网络分支和融合模块；所述图像网络分支用于从所述关键RGB图像序列中提取出图像模态特征，其包括依次连接的第一卷积网络、第一残差网络、第一池化层和第一线性映射层；所述事件网络分支用于从所述事件图像序列中提取出事件模态特征，其包括依次连接的第二卷积网络、第二残差网络、第二池化层和第二线性映射层；所述融合模块获取图像模态特征和事件模态特征并进行融合。3.如权利要求2所述的头部姿态检测方法，其特征在于，所述网络融合模型的训练过程为：对所述图像模态特征和事件模态特征进行蒸馏约束，所述蒸馏约束包括软约束、硬约束和自一致性约束；所述软约束被配置为获取第一残差网络输出的中期图像模态特征与第二残差网络输出的中期事件模态特征，并计算所述中期事件模态特征和中期图像模态特征的边缘概率分布与联合概率分布之间的相似度；所述硬约束被配置为获取第一线性映射层输出的后期图像模态特征与第二线性映射层输出的后期事件模态特征，并计算所述后期事件模态特征和后期图像模态特征之间的距离；所述自一致性约束被配置为分别获取第二网络分支产生的早期事件模态特征与后期事件模态特征并计算两者的边缘概率分布与联合概率分布之间的相似度。4.如权利要求3所述的头部姿态检测方法，其特征在于，所述软约束表达为：其中，P
X
、P
Y
分别表示中期图像模态特征、中期事件模态特征的边缘概率分布；P
(X,Y)
表示中期图像模态特征和中期事件模态特征的联合概率分布；D
KL
表示KL散度。5.如权利要求3所述的头部姿态检测方法，其特征在于，所述硬约束表示为：其中，E表示欧几里德范数；r＝1或2，r＝1时代表L1范数...

【专利技术属性】
技术研发人员：刘婷婷，杨兵，刘海，张昭理，张胜强，安庆，黄正华，鞠剑平，唐剑隐，李友福，陈胜勇，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：