结合眼动与视听觉算法的评估与反馈方法及系统技术方案

技术编号:46592958 阅读:1 留言:0更新日期:2025-10-10 21:26
本发明专利技术公开了一种结合眼动与视听觉算法的评估与反馈方法及系统,涉及眼动与视听觉技术领域。其中,该结合眼动与视听觉算法的评估与反馈方法,包括:通过佩戴头戴式眼动追踪设备采集人眼图像信息,并结合设备中场景相机获取的场景图像,映射得到场景相机坐标系下的实时人眼凝视位置;利用头戴式眼动追踪设备中的场景相机及设置于环境中的声学采集设备,分别通过视觉/听觉处理算法对采集到的场景图像和声音信号进行分析处理,以对场景内容的识别、检测、分割与定位。本发明专利技术,解决目前大多数研究仍局限于单一模态的分析,缺乏对多模态感知信号的联合建模与智能评估机制,难以满足对个体状态进行全景式、实时、智能反馈需求的问题。

【技术实现步骤摘要】

本专利技术涉及眼动与视听觉,尤其涉及一种结合眼动与视听觉算法的评估与反馈方法及系统


技术介绍

1、随着人工智能技术的迅速发展以及数字健康、智慧教育和个性化医疗需求的不断增长,如何实现对个体心理与行为状态的精准、便捷、非侵入性评估成为研究和应用热点。尤其是在远程医疗、心理辅导、在线教育、智能驾驶监测等场景中,对个体专注程度、疲劳状态、认知负荷和行为能力的感知与反馈,直接关系到服务的有效性、安全性与人机交互质量。

2、目前已有的个体状态评估手段主要包括:主观评估法(如问卷调查):存在主观偏差大、难以实时动态评估的问题;行为任务测验(如反应时测试、注意力任务等):虽然可量化,但往往脱离自然行为场景,生态效度不足;生理信号测量(如脑电eeg、心率hrv):虽然可客观反映心理状态,但设备昂贵、操作复杂,不适合日常使用或大规模部署。

3、近年来眼动追踪与视听觉感知技术的快速进步,为构建自然、无创的认知与行为状态分析系统提供了新的可能。研究发现,个体在自然任务(如阅读、观察、对话)过程中的注视行为、扫视模式、语音语调、听觉反应等,均可作为认知加本文档来自技高网...

【技术保护点】

1.结合眼动与视听觉算法的评估与反馈方法,其特征在于,包括:

2.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,通过佩戴头戴式眼动追踪设备采集人眼图像信息,并结合所述设备中场景相机获取的场景图像,映射得到场景相机坐标系下的实时人眼凝视位置,包括:

3.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,将所述人眼凝视序列与视觉场景分析结果序列、听觉场景分析结果序列进行场景凝视匹配,生成眼动场景映射匹配结果,包括:

4.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,基于所述眼动场景映射匹配...

【技术特征摘要】

1.结合眼动与视听觉算法的评估与反馈方法,其特征在于,包括:

2.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,通过佩戴头戴式眼动追踪设备采集人眼图像信息,并结合所述设备中场景相机获取的场景图像,映射得到场景相机坐标系下的实时人眼凝视位置,包括:

3.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,将所述人眼凝视序列与视觉场景分析结果序列、听觉场景分析结果序列进行场景凝视匹配,生成眼动场景映射匹配结果,包括:

4.根据权利要求1所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,基于所述眼动场景映射匹配结果进行多维指标分析检测,输出生理指标、心理指标及行为指标中的至少一种多维指标结果,包括:

5.根据权利要求4所述的结合眼动与视听觉算法的评估与反馈方法,其特征在于,所述多维指标分析包括:

6.根据权利要求5所述的结合眼动...

【专利技术属性】
技术研发人员:伍世虔杨明轩殷梓杭夏雨晨罗明灵沈秀清孙晨添冯诗卉
申请(专利权)人:河南省科学院新型显示技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1