【技术实现步骤摘要】
本专利技术涉及人机交互与视线操控的相关，特别是涉及了一种基于头戴式眼动仪和深度相机的视点位置检测方法及装置。
技术介绍
1、智能人机交互是现代社会发展的核心技术之一，其在促进人们与计算机系统之间的交流和任务执行方面起到关键作用。人机交互技术通过各种输入设备(如键盘、鼠标、触摸屏等)与计算机进行互动，帮助人们获取所需信息或执行特定任务。随着人工智能技术的快速进步，人机协同逐渐成为人机交互领域的重要方向。人机协同强调人类与计算机之间的合作与协作，旨在实现更加智能、高效的工作流程和决策过程。通过人机协同，计算机系统可以利用人类的认知和创造力，更好地理解人类的意图，并提供个性化的服务和支持。
2、在完成复杂人机协同任务的过程中，视线交互发挥着重要的作用。随着传感器技术和计算机视觉算法的快速发展，用户对于直观、自然、高效的人机交互方式的需求不断增加。视线交互作为一种智能人机交互技术，具有非接触、隐式、主动的特点，能够通过用户的视线和注视位置实现输入控制，为用户提供直观、自然的交互体验。其中，在显示屏坐标系下的视点位置检测是实现视线交互的关键环节。
3、目前，在显示屏中的视线落点(即视点)检测方法可分为两类：遥测式检测和穿戴式检测。遥测式视点检测方法利用外部设备或传感器来跟踪用户的视线方向和视点位置，该方法能够直接追踪眼睛的运动，并将其转化为显示屏坐标系上的位置，或通过追踪用户头部上的特定标签来间接追踪视线方向和视点位置。穿戴式视点检测方法则依赖于穿戴式设备来跟踪用户的视线方向和视点位置，这种方法通常需要在显示屏周围
4、综上所述，现有的视点位置检测方法和系统应用场景不够灵活、检测结果不够准确，导致视线交互不能有效应用于人机交互任务中。如何设计基于头戴式眼动仪的视点位置检测方法，突破同空间中多个显示屏交互的限制，减少视线交互受视角和距离的影响成为亟待解决的问题。从而实现支持视线交互的非接触式、主动式/隐式操作，同时保证快速的目标选择速度，为用户提供自然、准确、实时的视线交互方法。
技术实现思路
1、为了克服上述现有技术的不足，本专利技术提供了一种基于头戴式眼动仪和深度相机的视点位置检测方法及装置，能够实时获得用户空间视线在目标显示屏坐标系下的视点位置，视点位置准确性和稳定性强，缩短用户对屏幕上注视目标的选择与认知时间，实现跨显示屏的自由视线交互，提升穿戴式视线交互界面的智能性和操控效率。
2、为了达到上述目的，本专利技术采用如下技术方案：
3、一种基于头戴式眼动仪和深度相机的视点位置检测方法，头戴式眼动仪包含位于其前部中间位置的一前景相机，在头戴式眼动仪的两侧各设有一深度相机，该方法包括以下步骤：
4、1)对头戴式眼动仪的前景相机和深度相机进行标定，获得前景相机的内参矩阵以及深度相机的内参矩阵和外参矩阵，并确定世界坐标系；
5、2)利用每个深度相机采集显示屏的rgb图像信息和深度信息，根据这些信息提取显示屏的关键点并生成相应的特征，通过特征匹配确定显示屏的四个角点坐标；再将这两个深度相机确定的四个角点坐标进行融合，从而对显示屏的四个角点进行精确定位；
6、3)根据深度相机的内参矩阵和外参矩阵，将步骤2)确定的位于深度相机坐标系中的显示屏的四个角点坐标转换到世界坐标系中；
7、4)根据前景相机的内参矩阵和步骤3)转换后的显示屏的三个角点坐标，将前景相机上的视点坐标转换为世界坐标系中的交点坐标；
8、5)将交点坐标转换到显示屏坐标系中，得到在显示屏中的视点位置；
9、6)根据步骤5)计算用户视线于一时间段内在显示屏中的连续的视点位置，对这些连续的视点位置进行滤波，得到在该时间段内稳定的视点位置。
10、进一步地，步骤1)中采用棋盘格标定法对头戴式眼动仪的前景相机和深度相机进行标定，获得前景相机和深度相机的内部参数以及深度相机的外部参数，该内部参数包括焦距和像主点，根据焦距和像主点计算得到内参矩阵；该外部参数包括旋转矩阵和平移矩阵这两个外参矩阵。
11、进一步地，步骤1)中世界坐标系的原点位于前景相机的光心，世界坐标系的z轴与前景相机的光轴对齐。
12、进一步地，步骤2)中采用尺度不变特征变换算法，从深度相机采集的显示屏的rgb信息和深度信息中提取显示屏的关键点。
13、进一步地，步骤2)中采用鲁棒性估计算法进行特征匹配，确定显示屏的四个角点坐标。
14、进一步地，步骤3)中坐标转换的步骤包括：
15、根据深度相机的内参矩阵，将深度相机采集的图像点转换为归一化平面上的点；
16、根据深度相机采集的深度值，将归一化平面上的点转换为相机坐标系中的点；
17、根据深度相机的外参矩阵，将相机坐标系中的点转换为世界坐标系中的点；
18、根据以上步骤，将位于深度相机坐标系中的显示屏的四个角点坐标转换到世界坐标系中。
19、进一步地，步骤4)中坐标转换的步骤包括：
20、根据前景相机的内参矩阵，将前景相机采集的视点转换为归一化平面上的点；
21、根据步骤3)转换的世界坐标系中的显示屏的三个角点坐标，确定其中一个角点到另外两个角点的两个向量v1和v2，根据这两个向量确定这三个角点组成的平面的法向量；
22、对于从前景相机的光心发出的射线，将该射线的参数方程代入上述平面的方程中，并根据平面的法向量与一角点的乘积，求解该射线的参数方程中的参数；
23、将求解的参数代入该参数的参数方程中，得到该射线与上述平面的交点坐标。
24、进一步地，步骤5)中将交点坐标转换到显示屏坐标系的步骤包括：
25、计算交点坐标在两个向量v1和v2上的两个投影比例；
26、根据这两个投影比例和显示屏屏幕分辨率的宽度和高度，计算在显示屏坐标系中的位置坐标。
27、进一步地，步骤6)中采用密度聚类算法对连续的视点位置进行滤波。
28、进一步地，步骤6)中采用密度聚类算法对连续的视点位置进行滤波的步骤包括：
29、预设一领域参数即半径值，根据该领域参数检查每个视点的邻近区域；确定该区域内是否有足够多的其他视点，将满足最小密度要求的视点作为核心视点；
30、以核心视线点为起点，在历史记录中查找所有与之密度可达的视点，将这些可达的视点与核心视点一起构成一个聚类簇；
31、采集时间最近的聚类簇，计算该聚类簇中所有视点的几何中心点，该几何中心点即为在一段时间内的稳定的视点位置。
32、一种基于头戴式眼动仪和深度相机的视点位置检测装置，包括：
33、头戴式眼动仪，包含位于其前部中间位置的一前景相机，至少用于获取前方的rgb图像信息；
34、深度相机，至少为两个，设置于头戴式眼动仪的两侧，用于获取前方的rgb图像信息和深度信息；
<本文档来自技高网...【技术保护点】
1.一种基于头戴式眼动仪和深度相机的视点位置检测方法，其特征在于，头戴式眼动仪包含位于其前部中间位置的一前景相机，在头戴式眼动仪的两侧各设有一深度相机，该方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中采用棋盘格标定法对头戴式眼动仪的前景相机和深度相机进行标定，获得前景相机和深度相机的内部参数以及深度相机的外部参数，该内部参数包括焦距和像主点，根据焦距和像主点计算得到内参矩阵；该外部参数包括旋转矩阵和平移矩阵这两个外参矩阵。
3.如权利要求1所述的方法，其特征在于，步骤1)中世界坐标系的原点位于前景相机的光心，世界坐标系的Z轴与前景相机的光轴对齐。
4.如权利要求1所述的方法，其特征在于，步骤2)中采用尺度不变特征变换算法，从深度相机采集的显示屏的RGB信息和深度信息中提取显示屏的关键点。
5.如权利要求1所述的方法，其特征在于，步骤2)中采用鲁棒性估计算法进行特征匹配，确定显示屏的四个角点坐标。
6.如权利要求1所述的方法，其特征在于，步骤3)中坐标转换的步骤包括：
7.如权利要求1所
8.如权利要求7所述的方法，其特征在于，步骤5)中将交点坐标转换到显示屏坐标系的步骤包括：
9.如权利要求1所述的方法，其特征在于，步骤6)中采用密度聚类算法对连续的视点位置进行滤波，步骤包括：
10.一种基于头戴式眼动仪和深度相机的视点位置检测装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于头戴式眼动仪和深度相机的视点位置检测方法，其特征在于，头戴式眼动仪包含位于其前部中间位置的一前景相机，在头戴式眼动仪的两侧各设有一深度相机，该方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中采用棋盘格标定法对头戴式眼动仪的前景相机和深度相机进行标定，获得前景相机和深度相机的内部参数以及深度相机的外部参数，该内部参数包括焦距和像主点，根据焦距和像主点计算得到内参矩阵；该外部参数包括旋转矩阵和平移矩阵这两个外参矩阵。
3.如权利要求1所述的方法，其特征在于，步骤1)中世界坐标系的原点位于前景相机的光心，世界坐标系的z轴与前景相机的光轴对齐。
4.如权利要求1所述的方法，其特征在于，步骤2)中采用尺度不变特...
【专利技术属性】
技术研发人员：姚乃明，卢俊彦，郭雯丽，陈辉，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。