【技术实现步骤摘要】
基于AR场景的手势交互方法及装置、存储介质、通信终端
本公开涉及增强现实
，具体涉及一种基于AR场景的手势交互方法、一种基于AR场景的手势交互装置、一种计算机可读介质以及一种通信终端。
技术介绍
增强现实(AR)是通过信息技术，将虚拟信息应用到真实世界，并将真实环境和虚拟物体实时地叠加到了同一个画面或空间的方法。随着智能移动终端的快速发展，可以在终端设备上实现对AR手势的交互。现有的一种方案中，可以基于2D图像的手势识别结果，通过2DSLAM模型实现与AR场景中的虚拟物体进行简单的交互。在另一种方案中，还可以基于3D图像的手势识别结果，通过2DSLAM模型实现与AR场景中的虚拟物体进行交互。但现有技术中也存在一定的缺点和不足，例如，现有技术的方案大多基于手势识别结果来驱动虚拟物体的动作或行为。但对于AR场景中手部与虚拟物体之间的遮挡关系却无法实现，也无法实现与虚拟物体的“接触”，从而导致用户在AR场景中与虚拟物体之间的交互体验不够真实。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技...
【技术保护点】
1.一种基于AR的手势交互方法，应用于电子设备，其特征在于，所述方法包括：采集当前帧的RGB图像、深度图像，以及对应的IMU数据；对所述RGB图像、深度图像和IMU数据进行处理以获取当前帧的姿态信息和手部信息；根据当前帧的姿态信息和手部信息进行三维稠密建模以获取手部在参考坐标系下的三维点云信息；以及获取虚拟物体在参考坐标系下的位姿信息；基于参考坐标系下的所述手部的三维点云信息和所述虚拟物体的位姿信息和虚拟物体的预设点云信息对所述手部和虚拟物体进行渲染，以获取所述手部与所述虚拟物体之间的遮挡关系。
【技术特征摘要】
1.一种基于AR的手势交互方法，应用于电子设备，其特征在于，所述方法包括：采集当前帧的RGB图像、深度图像，以及对应的IMU数据；对所述RGB图像、深度图像和IMU数据进行处理以获取当前帧的姿态信息和手部信息；根据当前帧的姿态信息和手部信息进行三维稠密建模以获取手部在参考坐标系下的三维点云信息；以及获取虚拟物体在参考坐标系下的位姿信息；基于参考坐标系下的所述手部的三维点云信息和所述虚拟物体的位姿信息和虚拟物体的预设点云信息对所述手部和虚拟物体进行渲染，以获取所述手部与所述虚拟物体之间的遮挡关系。2.根据权利要求1所述方法，其特征在于，所述对所述RGB图像、深度图像和IMU数据进行处理以获取当前帧的姿态信息和手部信息包括：以所述RGB图像和IMU数据为入参输入预设的SLAM模型以获取当前帧的姿态信息；以及对所述RGB图像、深度图像进行识别以获取手部信息；其中，所述手部信息包括：手部轮廓信息、手部深度信息。3.根据权利要求2所述方法，其特征在于，所述以所述RGB图像和IMU数据为入参输入预设的SLAM模型以获取当前帧的姿态信息包括：对所述RGB图像进行特征点提取，并计算特征点对应的描述子；根据所述特征点及对应的描述子对当前帧图像进行特征点匹配和IMU预积分计算；对所述RGB图像和惯性传感数据进行视觉惯性里程计处理，并将处理结果结合当前帧的特征点匹配结果和IMU预积分计算姿态信息。4.根据权利要求3所述方法，其特征在于，所述方法还包括：根据所述特征点信息对所述姿态信息进行局部非线性优化。5.根据权利要求2所述方法，其特征在于，所述对所述RGB图像、深度图像进行识别以获取手部信息包括：将所述深度图像配准至RGB图像坐标系；根据所述RGB图像对所述深度图像进行后处理；在所述RGB图像坐标系下对经后处理的所述深度图像进行手部轮廓及手部深度信息提取。6.根据权利要求5所述方法，其特征在于，所述对经后处理的所述深度图像进行手部轮廓提取包括：获取所述深度图像对应的IR图像，并对IR图像进行二值化处理以提取手部边缘轮廓信息。7.根据权利要求5所述方法，其特征在于，在将所述深度图像配准至所述RGB图像坐标系之前，所述方法还包括：对所述深度图像进行预处理；其中，所述...
【专利技术属性】
技术研发人员：黄锋华，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。