一种面向多人的眨眼与视线一体化检测模型构建方法技术

技术编号:43333593 阅读:20 留言:0更新日期:2024-11-15 20:30
本发明专利技术属于计算机视觉领域,具体涉及一种面向多人的眨眼与视线一体化检测模型构建方法,眨眼与视线一体化检测网络包括:特征提取网络,用于提取RGB视频片段的高层语义特征F<subgt;v</subgt;;查询器初始化模块,用于初始化N组实例级面部查询器和实例级眼部查询器以及每组对应的面部提议框和眼部提议框;查询器更新模块,用于实现面部与眼部查询器之间的空间交互并更新对应的特征;采用当前的每组面部查询器和眼部查询器,根据对应的面部提议框P<supgt;i</supgt;和眼部提议框p<supgt;i</supgt;,从F<subgt;v</subgt;中提取P<supgt;i</supgt;、p<supgt;i</supgt;对应的局部特征,用以更新对应的查询器;多任务预测头用于实现对各个实例的人脸和人眼的定位与跟踪、眨眼区间检测、视线方向估计多个任务。本发明专利技术能提高多任务检测的精度与速度。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域,更具体地,涉及一种面向多人的眨眼与视线一体化检测模型构建方法


技术介绍

1、眨眼与视线运动是人体的重要生理行为,能够表现人脸的生理和心理状态。随着科学研究的发展,眨眼检测与视线估计已被广泛应用于医疗、刑侦、辅助驾驶、活体认证、人机交互、虚拟现实等领域,具有巨大应用价值。

2、现有眨眼检测方法普遍遵循多阶段的推理范式,即需要依次进行人脸检测、面部关键点检测、眼部定位、局部眼部区域内特征提取以及眨眼识别。在该范式下,各个子模块之间相对独立,各个阶段特征之间不能进行联合优化,因此容易获得次优解,且眨眼特征仅仅依靠局部眼部特征,缺乏全局感知,且在非受限条件下眼部区域难以定位准确,导致在非受限场景下的眨眼检测性能仍然不能到达满足实际应用的精度。此外,在多人场景下,这种多阶段的范式的推理耗时和人数成正相关,难以在多人场景下满足实时运行的需求。

3、与此同时,现有针对眨眼检测与视线估计的方法是相对独立的,缺少一种能够同时满足多实例场景下实时眨眼检测与视线估计需求的框架。


<b>技术实现思路...

【技术保护点】

1.一种面向多人的眨眼与视线一体化检测模型构建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述初始化的方式为:

3.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述查询器更新模块在执行局部特征提取之前,还用于执行如下特征交互:

4.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述查询器更新模块在提取局部特征时的具体实现方式为:

5.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述多任务预测头包括:

6.根...

【技术特征摘要】

1.一种面向多人的眨眼与视线一体化检测模型构建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述初始化的方式为:

3.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述查询器更新模块在执行局部特征提取之前,还用于执行如下特征交互:

4.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述查询器更新模块在提取局部特征时的具体实现方式为:

5.根据权利要求1所述的眨眼与视线一体化检测模型构建方法,其特征在于,所述多任务预测头包括:

6.根据权利要求5所述的眨眼与视线一体化检测模型构建方法,其特征在于,在每次...

【专利技术属性】
技术研发人员:肖阳曾文正甘锦芳张新涛闫亭冰曹治国王阳练元博
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1