人机交互方法、三维显示设备及存储介质技术

本申请实施例公开了一种人机交互方法、三维显示设备及存储介质，属于人机交互技术领域。在本申请实施例中，通过三维显示设备所包括的相机来采集手部图像，基于手部图像确定手部的三维旋转信息和三维平移信息，从而控制虚拟物体进行与手部的旋转和平移一致的运动。在这种三维显示一体的场景中，使用者无需操控笔之类的器件，即能够像拿着实物一样来移动和旋转虚拟物体进行仔细观摩。可见本方案的用户操作不受限，虚拟物体的运动也更灵活和真实。虚拟物体的运动也更灵活和真实。虚拟物体的运动也更灵活和真实。

【技术实现步骤摘要】
人机交互方法、三维显示设备及存储介质


[0001]本申请实施例涉及人机交互
，特别涉及一种人机交互方法、三维显示设备及存储介质。

技术介绍

[0002]三维显示技术的快速发展，为现实世界和虚拟世界的交互搭建了桥梁。基于三维显示技术的产品包括三维显示一体机。三维显示一体机包括三维显示屏，三维显示屏用于显示三维的虚拟物体，使用者通过佩戴眼镜或裸眼可以观看到所显示的虚拟物体。在使用者观看虚拟物体的过程中，如何进行人机交互以操控虚拟物体是当前研究的热点。

技术实现思路

[0003]本申请实施例提供了一种人机交互方法、装置、三维显示设备、存储介质及程序产品，可以精准操控所显示的虚拟物体进行运动。所述技术方案如下：
[0004]一方面，提供了一种人机交互方法，应用于三维显示设备，所述三维显示设备包括三维显示屏和相机，所述方法包括：
[0005]获取所述相机采集的第一手部图像；
[0006]基于所述第一手部图像，确定手部的多个关节点的坐标；
[0007]基于所述多个关节点的坐标，确定所述手部的三维旋转信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互方法，其特征在于，应用于三维显示设备，所述三维显示设备包括三维显示屏和相机，所述方法包括：获取所述相机采集的第一手部图像；基于所述第一手部图像，确定手部的多个关节点的坐标；基于所述多个关节点的坐标，确定所述手部的三维旋转信息和三维平移信息；基于所述手部的三维旋转信息和三维平移信息，控制目标虚拟物体进行与所述手部的旋转和平移一致的运动，所述目标虚拟物体为所述三维显示屏显示的多个虚拟物体中当前被选中的虚拟物体。2.根据权利要求1所述的方法，其特征在于，所述多个关节点包括手腕节点和指根节点；所述基于所述多个关节点的坐标，确定所述手部的三维旋转信息和三维平移信息，包括：基于所述多个关节点的坐标，建立所述手部的刚体模型；基于所述刚体模型，以及所述手腕节点的坐标和指根节点的坐标，确定所述手腕节点的三维旋转信息和三维平移信息；将所述手腕节点的三维旋转信息和三维平移信息，作为所述手部的三维旋转信息和三维平移信息。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一手部图像，确定手部的多个关节点的坐标，包括：将所述第一手部图像输入第一神经网络模型，以得到所述第一神经网络模型输出的所述多个关节点的坐标。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述获取第一手部图像之前，还包括：获取所述相机采集的第二手部图像；基于所述第二手部图像，确定所述手部与所述多个虚拟物体中各个虚拟物体之间的距离；如果所述多个虚拟物体中存在与所述手部之间的距离小于第一阈值的虚拟物体，则将所述多个虚拟物体中与所述手部之间的距离最小的虚拟物体确定为所述目标虚拟物体，并选中所述目标虚拟物体。5.根据权利要求4所述的方法，其特征在于，所述基于所述第二手部图像，确定所述手部与所述多个虚拟物体中各个虚拟物体之间的距离之后，还包括：如果所述多个虚拟物体中不存在与所述手部之间的距离小于所述第一阈值的虚拟物体，则基于一帧或多帧第三手部图像，识别所述手部的手势，所述一帧或多帧第三手部图像中的最后一帧图像为所述第二手部图像；如果识别到的手势为第一预定义手势，则基于所述第二手部图像，确定所述手部的位姿；基于所...

【专利技术属性】
技术研发人员：王晓彤，马强，经昊达，钟擎，王靖雄，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：