【技术实现步骤摘要】
本专利技术涉及一种基于空间立体显示器的手势增强眼球追踪的人机交互方法。
技术介绍
1、(1)人机交互技术：指人与计算机信息交流与互动过程，具体包括设计与开发用户界面以便用户能够与计算机系统进行有效的交互与操作。人机交互目标是使用户能够轻松使用计算机系统并从中获得良好用户体验。人机交互在各个领域都有广泛的应用，包括软件应用程序、网站、移动应用程序、虚拟现实等。
2、(2)三维图形显示技术：是一种用于创建、渲染和显示具有三维效果的图形的技术。其在许多领域中得到了广泛应用，包括电子游戏、虚拟现实、计算机辅助设计和医学成像等。其中显示部分技术中的平面显示技术从最初的阴极射线管(crt)显示器到液晶显示器再到oled显示器，已经获得了长足的发展，也因此衍生出不同类型的立体显示技术，比如3d电影、虚拟现实、立体显示器等。
3、其中空间立体显示器被认为是显示技术发展的终极梦想，当前以是否佩戴立体眼镜为依据将空间立体显示技术分为两类。其中偏光式3d显示技术与快门式3d显示技术需要佩戴立体眼镜，偏光式3d显示技术配合使用被动式偏光眼镜，常用于电影院场景，快门式3d显示技术配合使用主动式偏光眼镜，产生视差错觉实现立体效果。裸眼式3d显示技术是当前影像行业最新、前沿的技术，裸眼式3d显示技术无需任何辅助设备即可观看三维立体影像效果，随着观看视角度的不同而显示物体不同的面，实现立体显示三维物体的效果，适合于各个场所的立体展示。
4、(3)手势增强与眼球追踪技术：手势增强使用光电摄像头或深度传感器，通过分析用户的手势与
5、wwdc 2023大会上，苹果公司发布一款vr/mr设备apple vision pro，该产品人机交互方法采用眼球追踪交互、语音交互和手势交互等交互方法。其中眼镜下方采用多个摄像头与传感器捕捉手势动作，配合语音与眼球追踪实现对显示内容的精确化操作，该产品的交互方法是以apple vision pro眼镜为基础的一种交互方法，使用时需佩戴设备，其侧重于穿戴设备的平面交互方法。
6、专利cn202010699868.0提出一种基于手势和眼球追踪的无人机控制方法，佩戴混合现实眼镜后通过数据手套发送手势信息，并通过混合现实眼镜获得注视点。混合现实眼镜根据接收到的运动手势信息控制无人机飞行，并对接收到的视频数据流进行目标分类与检测，从而实现手势和眼球追踪的无人机控制方法，专利中手势与眼球追踪控制是以混合现实眼镜为基础的一种交互方法，使用时同样需要佩戴设备，只能发送简单的指令，且未提供三维场景下的人机交互的方法。
7、专利cn202111310369.9，一种基于红外引导的自由立体显示器手眼交互方法，其基于红外引导传感器辅助识别眼球追踪与手势识别，通过高分辨率可见光图像传感器读取人脸、手势候选区域图像并拼接成一张临时图像进行精确手眼检测与位置追踪，然后通过双目视觉获得深度信息并读取，实现手眼检测与追踪。该专利以红外传感器设备为引导，通过独立的指令组合进行交互，缺少指令融合与具体场景的交互方法说明，且需要红外传感器作为额外辅助设备。
8、专利cn202111489117.7，一种基于眼动和手势的ui界面设计及人机交互方法，其提出一种眼动和手势的ui界面设计及人机交互方法，在ui界面功能设计与开发的基础上为ui界面上适合手势操控的功能区域指定手势指令指令集，并使用视线估计来确定操作区域从而实现ui界面设计与人机交互。该专利针对平面屏幕进行眼动与手势识别交互，缺少针对三维场景人机交互方法，且未考虑眼动和手势共同作用的情况。
9、传统的三维显示技术设备佩戴复杂、调试繁琐，无法高效展示三维场景信息。空间立体显示器的出现解决了上述问题，然而目前空间立体显示器的交互方法仍停留在平面阶段。且当前单一人机交互技术限制性较高，如触摸屏只能接收特定手势操作，语音识别仅可以识别特定语音命令，限制了用户交互过程中的自由度与灵活性。以传统交互方法应对三维场景交互则略显复杂，无疑增加了用户学习成本。
技术实现思路
1、由于现有技术存在的上述问题，本专利技术提出一种基于空间立体显示器的手势增强眼球追踪的人机交互方法，通过手势增强眼球追踪数据协同融合并预判手势动作，让用户无需借助交互设备即可完成人机交互，借助于空间立体显示器显示三维场景的特性，本专利技术提出的交互方法涵盖了同一三维场景不同观察角度的交互方法，用户可以所见即所得的对看见的三维物体进行交互、修改等操作，打破了传统交互的平面限制，为空间立体显示器的交互方式提供了新的思路。
2、本专利技术可通过以下技术方案予以实现：
3、本专利技术的一种基于空间立体显示器的手势增强眼球追踪的人机交互方法，该方法依存于空间立体显示器，用户无需多余交互设备即可实现人机交互，具体步骤包括：
4、1)利用空间立体显示器的摄像头在初次扫描时建立相机三维空间坐标系，获取用户头部与手势的三维空间初始位置信息；
5、2)识别眼球位置并拟合手势关键点，输出空间位置流；
6、3)接收空间位置流预判手势动作并进行数据融合输出动作指令；
7、4)接收动作指令，并按照特定规则进行人机交互。
8、进一步地，所述步骤1)中获取头部与手势的三维空间初始位置信息，具体步骤包括：
9、1)以相机位置为世界坐标系原点确定坐标系参数，定义相机拍摄方向为z轴正方向，垂直向上为y轴正方向，两者垂直方向为x轴正方向；
10、2)采用多元数据融合方法，融合haar联集分类器权重因子与opencv关键点检测方法的权重因子来检测头部与手势位置关键点，并对头部区域与手势位置区域进行裁剪；
11、3)依据相机数量采取不同的深度估计技术，单目相机采用单视点几何与光流法估计深度信息，双目相机采用视差计算对深度信息进行估计；
12、4)将检测出的关键点投影到相机坐标系中，采样相机内参矩阵进行坐标变换；
13、
14、其中：
15、
16、k1,k2为径向畸变系数，r2＝(u-u0)2+(v-v0)2，u0，v0为主点的像素坐标，当ki＞0时会产生枕形畸变，确定关键点在建立的空间坐标系的位置，形成原始空间位置流；
17、5)对空间数据归一化操作便于计算与建模。
18、进一步地，所述步骤2)中识别眼球位置并进行瞳孔定位，具体步骤包括：
19、1)基于裁剪部位采用自建眼球位置数据集训练的yolox模型识别眼球位置并提取眼球轮廓特征与瞳本文档来自技高网...
【技术保护点】
1.一种基于空间立体显示器的手势增强眼球追踪的人机交互方法，该方法依存于空间立体显示器，用户无需多余交互设备即可实现人机交互，其特征在于，具体步骤包括：
2.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤1)中获取头部与手势的三维空间初始位置信息，具体步骤包括：
3.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤2)中识别眼球位置并进行瞳孔定位，具体步骤包括：
4.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤2)中拟合手势关键点算法的步骤包括：
5.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤3)接收空间位置流预判手势动作并进行数据融合输出动作指令，具体步骤包括：
6.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤4)接收动作指令，并按照特定规则进行人机交互，具体包括：
【技术特征摘要】
1.一种基于空间立体显示器的手势增强眼球追踪的人机交互方法，该方法依存于空间立体显示器，用户无需多余交互设备即可实现人机交互，其特征在于，具体步骤包括：
2.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤1)中获取头部与手势的三维空间初始位置信息，具体步骤包括：
3.根据权利要求1所述的基于空间立体显示器的手势增强眼球追踪的人机交互方法，其特征在于，所述步骤2)中识别眼球位置并进行瞳孔定位，具体步骤包括：
...【专利技术属性】
技术研发人员：张丹，杨佳奇，毛方赛，史礼华，周熙，张翔宇，彭艳，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。