一种增强现实设备与移动机器人的配准方法技术

本发明专利技术公开了一种增强现实设备与移动机器人的配准方法，获得当前场景的2D图像及点云数据；获取当前场景的2D图像，并获取此时设备的位姿；对上述获得的两张2D图像进行特征提取和特征匹配；计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵；以移动机器人基座为基准点得到三维坐标，转换到混合现实设备的世界坐标系中的转换矩阵P2；本发明专利技术使用图像特征点和点云数据，对混合现实设备与可移动机器人进行配准，在配准完成后，虚拟物体的位姿可以根据实际环境和设备状态进行实时调整，使机器反馈与人的感官相融合，给用户更加自然的使用体验。

A registration method of augmented reality equipment and mobile robot

【技术实现步骤摘要】
一种增强现实设备与移动机器人的配准方法
本专利技术属于图像数据处理领域，涉及一种增强现实设备与移动机器人的配准方法。
技术介绍
混合现实(MixedReality,MR)是一种将虚拟世界和真实世界进行融合，使真实和虚拟的物体能够同时存在并进行实时交互的技术。使用混合现实可以使用户的主观体验更为自然，混合现实与真实世界紧密联系的特点，使其在教育、医疗、游戏等领域有广泛的应用价值。混合现实技术提供了一种与环境进行直接、自然反馈的方式，因而考虑使用混合现实技术替代移动机器人上的传统屏幕显示，使用户不需要使用屏幕就能获知机器人状态，并且可以通过与环境的互动控制机器人，提高用户的舒适度。目前为止，混合现实技术与环境进行实时结合一般有两种方式。一种是通过手动或者设置视觉标记的方法将虚拟物体放置在需要的位置，虚拟物体的位置不能根据空间环境的变化进行调整；另一种是在场景中设置视觉标记，该标记必须同时出现在深度相机和混合现实设备视野中才能够实现相机与混合现实设备的配准。这两种方式使用繁琐、不够灵活，不适合变化频繁的场景，限制了混合现实技术的应用范围。
技术实现思路
本专利技术的目的在于解决现有技术中的问题，提供一种增强现实设备与移动机器人的配准方法，移动机器人带有一个能够获取RGBD数据的相机。为达到上述目的，本专利技术采用以下技术方案予以实现：一种增强现实设备与移动机器人的配准方法，包括以下步骤：步骤1，使用移动机器人上的深度相机，获得当前场景的2D图像及点云数据；步骤2，使用混合现实设备，获取当前场景的2D图像，并获取此时设备的位姿T1；步骤3，对上述获得的两张2D图像进行特征提取和特征匹配，找到两张图像相对应的特征点；步骤4，根据找到的特征点，计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；步骤5，根据得到的2D和3D特征点，求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2；步骤6，移动机器人基座到混合现实设备当前位置的转换矩阵H：H＝T2×T3其中，T3为移动机器人基座到深度相机的变换矩阵；步骤7，以移动机器人基座为基准点得到三维坐标P1，转换到混合现实设备的世界坐标系中的转换矩阵P2为：P2＝T1×H×P1。本专利技术进一步的改进在于：步骤3中，采用SIFT算法对图像提取SIFT特征，特征提取过程调用OpenCV中的API进行实现。步骤3中，采用暴力法尝试所有的匹配可能，得到一个最佳的匹配；特征匹配过程调用OpenCV中的API进行实现。步骤5的具体方法如下：对图像提取SIFT特征，特征点分散在各个物体上，不在同一个平面上，使用中PnP算法中的EPnP，调用OpenCV中的API，求解出深度相机到混合现实设备的变换矩阵T2；通过反投影误差对结果进行评估，使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点，计算反投影的点与图像上检测出的特征点之间的平均误差。与现有技术相比，本专利技术具有以下有益效果：本专利技术使用图像特征点和点云数据，对混合现实设备与可移动机器人进行配准，在配准完成后，虚拟物体的位姿可以根据实际环境和设备状态进行实时调整，使机器反馈与人的感官相融合，给用户更加自然的使用体验。其具有如下优点：第一：本专利技术提供一种不限制场景的混合现实配准方案，使用提取图像特征点，进行特征匹配之后，使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解，计算出移动机器人基座到混合现实设备世界坐标系的转换关系，以实现两个坐标系的配准；进一步的，使用提取图像特征点，进行特征匹配之后，使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解，这种方式在使用时没有限制，只需确保深度相机和混合现实设备捕获同一场景下的图像即可进行配准，使用方便。进一步的，计算出移动机器人基座到混合现实设备世界坐标系的转换关系，使用这一结果，就可以根据任意物体在移动机器人坐标系中的位置，计算得出该物体在混合现实世界坐标系中的位置。第二：物体在移动机器人坐标系中的位置通过深度相机来确定，对深度相机获得的图像进行分割、识别，并将识别到的物体的位置信息实时发送到混合现实设备，对放置在场景中的虚拟物体的位置进行调整，使虚拟物体与环境进行更好的融合；第三：本专利技术环境适应性强，仅需要在使用之前使用移动机器人新建地图，确定基准点，便可进行配准，配准完成后，可适应场景内容的变化。【附图说明】图1为配准流程图。图2为坐标转换示意图。【具体实施方式】为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，不是全部的实施例，而并非要限制本专利技术公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本专利技术公开的概念。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。在附图中示出了根据本专利技术公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。本专利技术公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面结合附图对本专利技术做进一步详细描述：参见图1，本专利技术使用头戴式混合现实设备，具体实施时使用HoloLens混合现实眼镜。混合现实眼镜通过追踪头部运动或眼球运动获取用户兴趣点，并且使用来自惯性测量单元、环境感知相机、环境光传感器等来自真实世界的传感器信息，确保充分了解周围环境，将现实世界与虚拟世界进行更好的融合，同时能够在空间中准确定位出当前用户的位置和姿态。...

【技术保护点】
1.一种增强现实设备与移动机器人的配准方法，其特征在于，包括以下步骤：/n步骤1，使用移动机器人上的深度相机，获得当前场景的2D图像及点云数据；/n步骤2，使用混合现实设备，获取当前场景的2D图像，并获取此时设备的位姿T1；/n步骤3，对上述获得的两张2D图像进行特征提取和特征匹配，找到两张图像相对应的特征点；/n步骤4，根据找到的特征点，计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；/n步骤5，根据得到的2D和3D特征点，求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2；/n步骤6，移动机器人基座到混合现实设备当前位置的转换矩阵H：/nH＝T2×T3/n其中，T3为移动机器人基座到深度相机的变换矩阵；/n步骤7，以移动机器人基座为基准点得到三维坐标P1，转换到混合现实设备的世界坐标系中的转换矩阵P2为：/nP2＝T1×H×P1。/n

【技术特征摘要】
1.一种增强现实设备与移动机器人的配准方法，其特征在于，包括以下步骤：
步骤1，使用移动机器人上的深度相机，获得当前场景的2D图像及点云数据；
步骤2，使用混合现实设备，获取当前场景的2D图像，并获取此时设备的位姿T1；
步骤3，对上述获得的两张2D图像进行特征提取和特征匹配，找到两张图像相对应的特征点；
步骤4，根据找到的特征点，计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；
步骤5，根据得到的2D和3D特征点，求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2；
步骤6，移动机器人基座到混合现实设备当前位置的转换矩阵H：
H＝T2×T3
其中，T3为移动机器人基座到深度相机的变换矩阵；
步骤7，以移动机器人基座为基准点得到三维坐标P1，转换到混合现实设备的世界坐标系中的转换矩阵P2为：
P2＝T1×H×P1。

【专利技术属性】
技术研发人员：陈霸东，张倩，杨启航，李炳辉，张璇，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61