一种基于人眼注视交互的遥操作目标三维位置估计方法技术

一种基于人眼注视交互的遥操作目标三维位置估计方法，包括：通过头戴式显示器内的IMU，实时计算操作员头部相对世界坐标系的姿态信息，确定头部坐标系的姿态旋转矩阵；通过头戴式显示器内的红外相机计算人眼视线相对于头部坐标系的姿态，确定人眼坐标系相对头部坐标系的姿态旋转矩阵；确定人眼坐标系相对于世界坐标系的姿态旋转矩阵，进一步确定人眼视线向量；基于人眼视线方向与从端目标和相机光心的连线方向一致，确定视线在图像上的落点即为目标在二维图像中的坐标点；根据目标在二维图像中的坐标点在从端双目相机中的坐标点、左右目内参矩阵、右目光心相对于左目光心的旋转矩阵和平移向量，求解目标的三维空间位姿信息。

【技术实现步骤摘要】

本专利技术涉及一种混合现实场景下的目标位置估计方法，具体涉及一种基于人眼注视交互的遥操作目标三维位置估计方法。

技术介绍

1、在远程医疗、极端环境探索、防恐防爆等主从遥操作应用领域中，主端操作员通过头戴式显示器，可以沉浸式地观察到从端双目相机获取的三维空间环境的视景。如何准确定位从端目标的三维空间位置，是主从遥操作领域的重点研究技术之一。目前，合作标志器、目标检测网络是定位从端目标的主要方式。其中，合作标志器适用于结构化场景，在目标表面固定合作标志器，通过经典图像处理算法来计算目标相对于相机的三维位置。专利技术专利《一种合作靶标及靶标识别方法》(申请号：202010891587.5，专利权人：中国计量大学)提供了一种合作靶标的设计和识别方法，此类方法应用场景十分受限，且标志器定制化要求较高。目标检测网络，如yolo等智能图像识别算法，通过训练数据集，能够在非结构化场景下快速推理出目标的三维位置；专利技术专利《基于双目视觉的三维目标检测方法、装置及系统》(公开号：cn112287824a，专利权人：杭州海康威视数字技术股份有限公司)提供了一种基于双目视觉的三本文档来自技高网...

【技术保护点】

1.一种基于人眼注视交互的遥操作目标三维位置估计方法，其特征在于，包括：

2.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，头部坐标系的姿态旋转矩阵为：

3.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，人眼坐标系相对头部坐标系的姿态旋转矩阵为：

4.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，根据以下公式：

5.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，从端成像通过畸变校正后传输到主端。

6.一种基于人眼注视交互的遥操作系统，其特征在于，包括主端和从端，主端操作员佩...

【技术特征摘要】

1.一种基于人眼注视交互的遥操作目标三维位置估计方法，其特征在于，包括：

2.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，头部坐标系的姿态旋转矩阵为：

3.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，人眼坐标系相对头部坐标系的姿态旋转矩阵为：

4.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，根据以下公式：

5.根据权利要求1所述的遥操作目标三维位置估计方法，其特征在于，从端成像通过畸变校正后传输到主端。

6.一种基于人眼注视交互的遥操作系统，其特征在于...

【专利技术属性】
技术研发人员：郭美杉，梁斌焱，王昊，张俊宁，贾龙飞，
申请(专利权)人：北京精密机电控制设备研究所，
类型：发明
国别省市：