基于稀疏表示在增强现实会话中的表面检测和追踪制造技术

描述了在AR会话中检测和追踪表面平面的技术。在示例中，计算机系统在AR会话中生成真实世界环境的稀疏3D表示，并基于该稀疏3D表示执行表面检测过程。在下一稀疏3D表示中追踪上述稀疏3D表示中的点。确定属于检测到的表面平面的这些点的数量。如果点的数量超过预定义阈值，则基于这些点追踪该表面平面。否则，不再追踪该表面平面，下一稀疏3D表示可以输入到表面检测过程，以在AR会话中进行新的表面检测。以在AR会话中进行新的表面检测。以在AR会话中进行新的表面检测。

【技术实现步骤摘要】
【国外来华专利技术】基于稀疏表示在增强现实会话中的表面检测和追踪

技术介绍

[0001]增强现实(augmented reality，AR)将虚拟内容叠加在真实世界的用户视图上。随着AR软件开发工具包(software development kit，SDK)的发展，移动行业将智能手机AR引入主流。AR SDK通常提供六自由度(six degrees
‑
of
‑
freedom，6DoF)追踪能力。用户可以使用智能手机的摄像头扫描环境，智能手机实时执行视觉惯性里程计(visual inertial odometry，VIO)。在连续追踪摄像头姿势后，即可将虚拟物体放置到AR场景中，以创造一种真实物体和虚拟物体融合在一起的错觉。
[0002]将虚拟物体呈现在AR场景中可以涉及检测要放置虚拟物体的表面平面。可以随时间追踪这种表面平面，以更新虚拟物体的相对位置。

技术实现思路

[0003]本专利技术一般涉及用于在AR会话中检测和追踪表面平面的方法和系统。
[0004]在示例中，在AR会话中通过计算机系统实现一种方法。该方法包括确定属于表面平面的多个点，上述表面平面基于真实世界环境的第一多维表示进行检测，上述第一多维表示基于上述真实世界环境的第一图像在上述AR会话中生成。该方法还包括确定上述真实世界环境的第二多维表示，上述第二多维表示基于上述真实世界环境的第二图像在上述AR会话中生成，上述第二图像在上述第一图像之后生成。该方法还包括确定还包括在上述第二多维表示中的上述点的数量。该方法还包括比较上述数量与阈值，以及在上述数量大于上述阈值时，基于上述第二多维表示，在AR会话中追踪上述表面平面。
[0005]在示例中，上述第一多维表示包括第一点云，上述第一点云对应于在上述真实世界环境中检测到的特征。每个点对应于一个特征且与一个点标识符相关联。在该示例中，确定上述多个点的数量包括：确定属于上述表面平面的第一点与第一点标识符相关联；基于上述第一点标识符，确定上述第一点包括在第二点云中，上述第二点云与上述第二多维表示对应；在确定上述第一点包括在上述第二点云中时，将上述多个点的上述数量加1。在该示例中，该方法还可以包括：在第一特征检测迭代中，基于上述第一图像和第一惯性测量单元(IMU)数据检测上述特征；基于检测到的上述特征生成上述第一点云；以及为上述第一点云中的每个点分配不同的点标识符。此外，该方法还可以包括：在第二特征检测迭代中，基于上述第二图像和第二IMU数据检测上述特征中的第一特征；在上述第二特征检测迭代中，基于上述第二图像和上述第二IMU数据，检测在上述第一特征检测迭代中未检测到的第二特征；生成第二点云，上述第二点云包括与上述第一特征对应的第一点和与上述第二特征对应的第二点，上述第一点还包括在上述第一点云中；保持分配给上述第一点的第一点标识符；以及将第二点标识符分配给上述第二点。
[0006]在示例中，该方法还包括：基于同时定位与建图(SLAM)过程的执行生成上述第一多维表示，其中，上述第一图像被输入到上述SLAM过程；以及将上述第一多维表示输入随机采样一致性(RANSAC)过程。上述表面平面基于使用上述第一多维表示的上述RANSAC过程的执行进行检测。在该示例中，该方法还可以包括：为上述第一多维表示中的每个点分配不同
的点标识符；确定上述第一多维表示中的第一点属于上述表面平面；以及将上述表面平面与上述第一点的第一点标识符相关联。此外，确定上述多个点的上述数量包括：基于上述第一点标识符，确定上述第一点包括在上述第二多维表示中；以及在确定上述第一点包括在上述第二多维表示中时，将上述多个点的上述数量加1。
[0007]在示例中，追踪上述表面平面包括：从属于上述表面平面的上述多个点中确定第一点集，其中，上述第一点集存在于上述第二多维表示中；以及基于上述第一点集更新上述表面平面的平面函数。在该示例中，追踪上述表面平面还包括：确定属于上述表面平面的第二点集，上述第二点集在上述第二多维表示中，但不在上述第一多维表示中；以及将上述第二点集与上述表面平面相关联。
[0008]在示例中，一种计算机系统包括一个或多个处理器以及一个或多个存储器，存储有计算机可读指令，当由上述一个或多个处理器执行时，上述指令配置上述计算机系统执行操作。该操作包括确定属于表面平面的多个点，上述表面平面基于真实世界环境的第一多维表示进行检测，上述第一多维表示基于上述真实世界环境的第一图像在增强现实(AR)会话中生成。该操作还包括确定上述真实世界环境的第二多维表示，上述第二多维表示基于上述真实世界环境的第二图像在上述AR会话中生成，上述第二图像在上述第一图像之后生成。该操作还包括确定还包括在上述第二多维表示中的上述多个点的数量。该操作还包括比较上述数量与阈值，以及在上述数量大于上述阈值时，基于上述第二多维表示，在AR会话中追踪上述表面平面。
[0009]在示例中，上述计算机可读指令还被执行以配置上述计算机系统：从上述第二多维表示中确定属于上述表面平面的多个第二点；确定上述真实世界环境的第三多维表示，上述第三多维表示基于上述真实世界环境的第三图像在上述AR会话中生成，上述第三图像在上述第一图像之后生成；确定还包括在上述第一多维表示中的上述多个第二点的第二数量；比较上述第二数量与上述阈值；基于上述第二数量小于上述阈值，确定不再在上述AR会话中追踪上述表面平面。在该示例中，上述计算机可读指令还被执行以配置上述计算机系统：确定基于与上述阈值的比较进行追踪的平面表面的总数小于第二阈值；以及基于上述总数小于上述第二阈值，通过至少将上述第三多维表示输入随机采样一致性(RANSAC)过程来检测第二表面平面。此外，上述第二表面平面基于上述RANSAC过程的一组约束进行检测，上述一组约束指定了上述第三多维表示中的点的最小数量。此外，上述一组约束还指定了属于上述第二平面表面的点和上述计算机系统的摄像头之间的最大距离，其中，上述摄像头用于生成上述第三图像。
[0010]在示例中，一个或多个非暂时性计算机存储介质存储有指令，当在计算机系统上执行时，上述指令使上述计算机系统执行操作。该操作包括确定属于表面平面的多个点，上述表面平面基于真实世界环境的第一多维表示进行检测，上述第一多维表示基于上述真实世界环境的第一图像在增强现实(AR)会话中生成。该操作还包括确定上述真实世界环境的第二多维表示，上述第二多维表示基于上述真实世界环境的第二图像在上述AR会话中生成，上述第二图像在上述第一图像之后生成。该操作还包括确定还包括在上述第二多维表示中的上述多个点的数量。该操作还包括比较上述数量与阈值，以及在上述数量大于上述阈值时，基于上述第二多维表示，在AR会话中追踪上述表面平面。
[0011]在示例中，该操作还包括基于同时定位与建图(SLAM)过程的执行生成上述第一多
维表示，其中，上述第一图像被输入到上述SLAM过程；以及将上述第一多维表示输入随机采样一致性(RANSAC)过程。上述表面平面基于使用上述第一多维表示的上述RANSAC过程的执行进行检测。在该示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由计算机系统在增强现实(AR)会话中实现的方法，所述方法包括：确定属于表面平面的多个点，基于真实世界环境的第一多维表示检测所述表面平面，所述第一多维表示基于所述真实世界环境的第一图像在所述AR会话中生成；确定所述真实世界环境的第二多维表示，所述第二多维表示基于所述真实世界环境的第二图像在所述AR会话中生成，所述第二图像在所述第一图像之后生成；确定还包括在所述第二多维表示中的所述多个点的数量；比较所述数量与阈值；以及在所述数量大于所述阈值时，基于所述第二多维表示，在AR会话中追踪所述表面平面。2.根据权利要求1所述的方法，其中，所述第一多维表示包括第一点云，所述第一点云对应于在所述真实世界环境中检测到的特征，并且每个点对应于一个特征且与一个点标识符相关联。3.根据权利要求2所述的方法，其中，确定所述多个点的数量包括：确定属于所述表面平面的第一点与第一点标识符相关联；基于所述第一点标识符，确定所述第一点包括在第二点云中，所述第二点云对应于所述第二多维表示；以及在确定所述第一点包括在所述第二点云中时，将所述多个点的所述数量加1。4.根据权利要求2所述的方法，还包括：在第一特征检测迭代中，基于所述第一图像和第一惯性测量单元(IMU)数据检测所述特征；基于检测到的所述特征生成所述第一点云；以及为所述第一点云中的每个点分配不同的点标识符。5.根据权利要求4所述的方法，还包括：在第二特征检测迭代中，基于所述第二图像和第二IMU数据检测所述特征中的第一特征；在所述第二特征检测迭代中，基于所述第二图像和所述第二IMU数据，检测在所述第一特征检测迭代中未检测到的第二特征；生成第二点云，所述第二点云包括与所述第一特征对应的第一点和与所述第二特征对应的第二点，所述第一点还包括在所述第一点云中；保持分配给所述第一点的第一点标识符；以及为所述第二点分配第二点标识符。6.根据权利要求1所述的方法，还包括：基于同时定位与建图(SLAM)过程的执行生成所述第一多维表示，其中，所述第一图像被输入到所述SLAM过程；以及将所述第一多维表示输入随机采样一致性(RANSAC)过程，其中，基于使用所述第一多维表示的所述RANSAC过程的执行检测所述表面平面。7.根据权利要求6所述的方法，还包括：为所述第一多维表示中的每个点分配不同的点标识符；确定所述第一多维表示中的第一点属于所述表面平面；以及将所述表面平面与所述第一点的第一点标识符相关联。
8.根据权利要求7所述的方法，其中，确定所述多个点的所述数量包括：基于所述第一点标识符，确定所述第一点包括在所述第二多维表示中；以及在确定所述第一点包括在所述第二多维表示中时，将所述多个点的所述数量加1。9.根据权利要求1所述的方法，其中，追踪所述表面平面包括：从属于所述表面平面的所述多个点中确定第一点集，其中，所述第一点集存在于所述第二多维表示中；以及基于所述第一点集更新所述表面平面的平面函数。10.根据权利要求9所述的方法，其中，追踪所述表面平面还包括：确定属于所述表面平面的第二点集，所述第二点集在所述第二多维表示中但不在所述第一多维表示中；以及将所述第二点集与所述表面平面相关联。11.一种计算机系统，包括：一个或多个处理器；以及一个或多个存储器，存储有计算机可读指令，当由所述一个或多个处理器执行时，所述指令配置所述计算机系统：确定属于表面平面的多个点，基于真实世界环境的第一多维表示检测所述表面平面，所述第一多维表...

【专利技术属性】
技术研发人员：田江山，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：