一种同步实现三维重建和AR虚实注册的方法、系统及装置制造方法及图纸

本发明专利技术提供了一种同步实现三维重建和AR虚实注册的方法、系统及装置，方法包括如下过程：对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵；根据连续采集的场景RGB‑D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型；根据所述坐标转换矩阵在AR空间对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；根据所述场景点云数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行实时监测和追踪，更新虚实注册结果，完成物体运动状态的虚实注册。本发明专利技术能够提高注册效率，提高跟踪定位精度，从而有助于提升用户体验。

【技术实现步骤摘要】
一种同步实现三维重建和AR虚实注册的方法、系统及装置
本专利技术属于三维注册
，具体涉及一种同步实现三维重建和AR虚实注册的方法、系统及装置。
技术介绍
虚实注册是增强现实中非常重要的一个环节，旨在确定虚拟空间与现实空间之间坐标标架的映射关系，在沉浸式增强现实环境中，用户处于现实世界中，需要感知用户的观察方位的变化，才能为观察者呈现相应视域的景象，因此往往需要标定观察者头部姿态。在增强现实环境中，观察者的头部姿态跟踪更为重要。为了获得完美的沉浸感，头盔显示器的跟踪定位高精度、低时延是虚实空间一致性的保障，能使用户感觉到虚拟物体如同嵌入在现实空间一样。现有技术中，虚实注册过程存在如下缺陷：1、基于人工标记物的虚实注册，物体一旦移动则注册失效。2、基于特征检测的虚实注册，注册准确度依赖于特征描述子的选择，模型构建与虚实注册分开进行，虚实关联度不强，且效率较低。3、一旦模型需要修改，就得重新导入、重新注册。综上所述，现有技术中的虚实注册方法缺少一种既具备人工标记物优点(即稳定、准确)，又具有特征检测的优点(即动态注册)，同时还能提升注册效率的方法，因此需要进一步的改进。
技术实现思路
本专利技术所要解决的技术问题是：提供一种同步实现三维重建和AR虚实注册的方法、系统及装置，既有人工标记物的稳定性和准确性，又可以像特征检测一样可以追踪且动态注册，然后可以同时支持多物体的注册，从而有助于提升用户体验。本专利技术是这样实现的：一种同步实现三维重建和AR虚实注册的方法，包括如下过程：对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵；根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型；根据所述坐标转换矩阵在AR空间对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；根据所述点云数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行实时监测和追踪，更新虚实注册结果，完成物体运动状态的虚实注册。进一步地，所述对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵的具体过程为：针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，AR相机的外参矩阵为：{MA1,MA2…MA12}，深度相机的外参矩阵为：{MD1,MD2…MD12}；对于由黑白棋盘格确定的世界坐标系中的任意一点PW(XW,YW,ZW)，转换到两组相机坐标系后的坐标如下：其中，MAi是第i组标定计算中AR相机对应的外参矩阵，MDi是第i组标定计算中深度相机对应的外参矩阵，(XAC,YAC,ZAC)是点PW转换到AR相机坐标系下的坐标，(XDC,YDC,ZDC)是点PW转换到深度相机坐标系下的坐标；根据点PW转换到两组相机坐标系后的坐标计算得到从深度相机坐标系转换到AR相机坐标系的转换矩阵Mi，其关系式如下：对于12组标定计算所得的转换矩阵{M1,M2…M12}，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机坐标系转换至AR相机坐标系的转换矩阵M。进一步地，所述根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型的具体过程为：针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板，方程表达式为：ax+by+cz+d＝0；针对后续帧新生成的点云，计算点到背景模板的距离，小于设定阈值ε的点归为物体点保留，其余点作为背景点剔除，在每个关键帧对属于物体部分的点云进行更新，输出以点云数据形式存储的物体虚拟模型。进一步地，所述针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板的具体过程为：设空间中三个不共线的点，分别记作P1(X1,Y1,Z1)、、P2(X2,Y2,Z2)P3(X3,Y3,Z3)，工作台平面方程的表达式为：Aθ＝0，其中，θ＝[abcd]T；根据P1、P2、P3和工作台平面方程计算拟合的平面参数θ；对点云数据集中的每一点Pi(Xi,Yi,Zi)，转换为齐次坐标形式Pi(Xi,Yi,Zi,1)，然后计算该点Pi(Xi,Yi,Zi)到拟合平面的距离，若距离小于设定的阈值ε则将Pi(Xi,Yi,Zi)归为内点，反之则归为外点；将内点个数记为N，如果N﹥Nmax，则令Nmax＝N，θmax＝θ，Nmax的初始值为0，θmax的初始化值为[0000]T；迭代进行上述两个步骤，直到达到设定的迭代次数I次，此时确认Nmax所对应的平面模型θmax，得到背景模板。进一步地，所述根据所述坐标转换矩阵在AR空间对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册的具体过程为：对于点云中任意一点P(X,Y,Z)，转换到AR相机坐标系后的新坐标为P(X',Y',Z')，转换关系为：其中，M为坐标转换矩阵；将所有经过坐标转换的点云进行渲染，完成物体在静止状态的虚实注册。进一步地，所述根据所述点云数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行实时监测和追踪，更新虚实注册结果，完成物体运动状态的虚实注册的具体过程为：使用欧氏聚类算法对点云进行聚类，根据实际情况设置在使用KD-Tree结构进行近邻点搜索时的搜索半径，并通过设置最小聚类点数排除一些不属于物体的干扰点；对于每组聚类，计算包围点云的OBB包围盒；实时采集真实物体进行平移或旋转时的点云信息；对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册。进一步地，所述对于每组聚类，计算包围点云的OBB包围盒的具体过程为：计算当前聚类对应点云集的质心作为OBB包围盒的中心；使用PCA主成分分析法计算得到点云集的3条主成分轴，作为OBB包围盒的三条方向轴；将点云集中所有点分别投影到这三条方向轴上，确定OBB包围盒的边界信息，即长、宽、高三条尺寸。进一步地，所述对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册的具体过程为：检索深度相机所采集的深度图像，将深度值变大的像素区域转换为三维点云，根据三维点云与各OBB包围盒的交集，确定目标包围盒；使用点到面的ICP算法进行相邻两帧模型的位姿追踪，得到当前帧相机相对于上一帧相机运动的旋转矩阵和平移矩阵；将所述当前帧相机运动的本文档来自技高网...

【技术保护点】
1.一种同步实现三维重建和AR虚实注册的方法，其特征在于，包括如下过程：/n对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵；/n根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型；/n根据所述坐标转换矩阵在AR空间对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；/n根据所述点云数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行实时监测和追踪，更新虚实注册结果，完成物体运动状态的虚实注册。/n

【技术特征摘要】
1.一种同步实现三维重建和AR虚实注册的方法，其特征在于，包括如下过程：
对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵；
根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型；
根据所述坐标转换矩阵在AR空间对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；
根据所述点云数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行实时监测和追踪，更新虚实注册结果，完成物体运动状态的虚实注册。


2.根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述对AR眼镜相机和深度相机进行联合标定，得到两组相机坐标系之间的坐标转换矩阵的具体过程为：
针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，AR相机的外参矩阵为：{MA1,MA2…MA12}，深度相机的外参矩阵为：{MD1,MD2…MD12}；
对于由黑白棋盘格确定的世界坐标系中的任意一点PW(XW,YW,ZW)，转换到两组相机坐标系后的坐标如下：



其中，MAi是第i组标定计算中AR相机对应的外参矩阵，MDi是第i组标定计算中深度相机对应的外参矩阵，(XAC,YAC,ZAC)是点PW转换到AR相机坐标系下的坐标，(XDC,YDC,ZDC)是点PW转换到深度相机坐标系下的坐标；
根据点PW转换到两组相机坐标系后的坐标计算得到从深度相机坐标系转换到AR相机坐标系的转换矩阵Mi，其关系式如下：



对于12组标定计算所得的转换矩阵{M1,M2…M12}，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机坐标系转换至AR相机坐标系的转换矩阵M。


3.根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云数据形式存储的物体虚拟模型的具体过程为：
针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板，方程表达式为：
ax+by+cz+d＝0；
针对后续帧新生成的点云，计算点到背景模板的距离，小于设定阈值ε的点归为物体点保留，其余点作为背景点剔除，在每个关键帧对属于物体部分的点云进行更新，输出以点云数据形式存储的物体虚拟模型。


4.根据权利要求3所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板的具体过程为：
设空间中三个不共线的点，分别记作P1(X1,Y1,Z1)、P2(X2,Y2,Z2)、P3(X3,Y3,Z3)，工作台平面方程的表达式为：Aθ＝0，其中，θ＝[abcd]T；
根据P1、P2、P3和工作台平面方程计算拟合的平面参数θ；
对点云数据集中的每一点Pi(Xi,Yi,Zi)，转换为齐次坐标形式Pi(Xi,Yi,Zi,1)，然后计算该点Pi(Xi,Yi,Zi)到拟合平面的距离，若距离小于设定的阈值ε则将Pi(Xi,Yi,Zi)归为内点，反之则归为外点；
将内点个数记为N，如果N﹥Nmax，则令Nmax＝N，θmax＝θ，Nmax的初始值为0，θmax的初始化值为[0000]T；

【专利技术属性】
技术研发人员：陈雨，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：江苏;32