【技术实现步骤摘要】
本专利技术属于深度学习领域，涉及一种手势交互式场景中基于单目视觉的3d模型空间定位和重建方法。
技术介绍
1、增强现实(augmented reality，ar)具有虚实交融、表现力强和交互性好等优点。通过将虚拟信息嵌入在真实场景的图像上，增强现实技术为用户呈现出感官效果真实的环境。作为一种自然的人机交互方式，手势交互在增强现实和虚拟现实中的应用日渐广泛。
2、 空间定位是沉浸式交互的基本前提，很多手势重建即使都很关心平面投影的效果而忽略了空间的重要性，这导致交互感很差。虽然使用深度传感器，或利用双摄像头通过立体视觉的方法可 以获取视频场景的深度信息，重建场景遮挡关系，但当前应用并不广泛，移动手机作为一个重要大众工具，而且手势的可活动范围有限，这使得单目定位误差相对可以接受。
技术实现思路
1、本专利技术提出了一种手势交互式场景中基于单目视觉的3d模型空间定位和重建方法，在给定相机参数下，能直接从单张图片中进行空间定位并对手进行重建。
2、本专利技术的技术方案是：一种手势交互式场景中基于单目视觉的3d模型空间定位和重建方法，包括以下步骤：
3、步骤1：手势检测：对当前帧进行手势检测并获取检测框；
4、步骤2：手部2.5d关键点检测：
5、以手腕关节为原点进行2.5d关键点检测，回归出手的大体结构；
6、利用对已标注的空间3d点和相机位姿参数，得到相机坐标下的3d关键点和2.5d关键点，并以其为训练样本利用堆叠沙
7、步骤3：手腕深度估计：
8、首先用统计的方法从训练样本中得到手的平均长度，然后利用相机参数和相机几何原理，通过神经网络，对所有骨骼进行深度估计并且加权平均，得到最终手腕深度；
9、由于估计的准确性和骨骼在平面上显示的长度有关，所以我们把骨骼和平面的夹角余弦值和骨骼显示长度考虑在网络中，从而达到鲁棒效果；
10、步骤4：空间定位和重建：
11、利用估计的深度和相机反投影，把平面上的手腕坐标投影到相机坐标系下的空间中，得到相机坐标系下的3d空间点；利用3d关键点的位置和mano模型，得到mano参数中表示手姿态的pose参数；结合图片信息可以得到表示手大小长短的shape参数；最后利用mano参数进行3维重建。
12、本专利技术的有益效果是：本专利技术提出的一种手势交互式场景中基于单目视觉的3d模型空间定位和重建方法，不依赖于特定的设备（双目头显，深度相机，等）来实现手势的空间定位和模型重建，让ar手势交互借助手机等产品让大众得到体验，符合实际应用需要。
本文档来自技高网...【技术保护点】
1.一种基于单RGB图的手势空间定位和三维重建的单目视觉方法，包括以下步骤：
2.根据权利要求1所述的一种基于单RGB图的手势空间定位和三维重建的单目视觉方法，其特征在于，所述步骤(3)中的深度估计并不是回归出多个像素点的深度，而是利用手掌的先验结构和相机几何得到的手腕深度。
3.根据权利要求1所述的一种基于单RGB图的手势空间定位和三维重建的单目视觉方法，其特征在于，所述步骤(4)利用已得2.5D关键点加上手腕深度进行反投影得到相机坐标下的3D点；并且，由于手部各个手指的相对独立性，我们采用了图卷积神经网络来有效限制各个关键点特征的传播。
【技术特征摘要】
1.一种基于单rgb图的手势空间定位和三维重建的单目视觉方法，包括以下步骤：
2.根据权利要求1所述的一种基于单rgb图的手势空间定位和三维重建的单目视觉方法，其特征在于，所述步骤(3)中的深度估计并不是回归出多个像素点的深度，而是利用手掌的先验结构和相机几何得到的手腕深度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。