一种基于VR的高临场视觉感知方法及相关装置制造方法及图纸

本申请公开了一种基于VR的高临场视觉感知方法及相关装置，方法包括：获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，深度目标信息包括点云模型和RGB图像，空间位姿信息包括空间位置和姿态信息；基于深度相机、VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量；根据角度变化量以及深度相机与点云模型之间的虚拟距离对RGB图像进行比例缩放，实现目标观测物体的远近感知。本申请能够解决现有基于机械臂的VR高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。感的技术问题。感的技术问题。

【技术实现步骤摘要】
一种基于VR的高临场视觉感知方法及相关装置


[0001]本申请涉及VR视觉感知
，尤其涉及一种基于VR的高临场视觉感知方法及相关装置。

技术介绍

[0002]目前VR与电力机器人的结合主要有两个应用：一是将VR头戴设备仅作为视频观测屏幕，观测远程平台(如，无人机、无人车)上搭载相机返回的视频数据；另一种是将VR头戴设备与作业机器人视觉感知系统相结合，把VR头戴设备的位姿与末端搭载了相机的小型6自由度机械臂相结合，一方面让用户用VR头戴设备控制机械臂末端运动，一方面让用户通过机械臂末端搭载的摄像头观测机械臂末端指向方位的可见光图像。
[0003]现有基于机械臂的VR头戴设备不仅受限于机械有效的工作空间较小，还受到机械臂动力学性能的限制，难以实现机械臂对头部运动的高速跟踪，导致明显的延时，从而产生眩晕感，而多自由度的机械臂价格高昂，整体的实用价值低。

技术实现思路

[0004]本申请提供了一种基于VR的高临场视觉感知方法及相关装置，用于解决现有基于机械臂的VR高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。
[0005]有鉴于此，本申请第一方面提供了一种基于VR的高临场视觉感知方法，包括：
[0006]获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RGB图像，所述空间位姿信息包括空间位置和姿态信息；
[0007]基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；
[0008]通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；
[0009]根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知。
[0010]优选地，所述基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型，具体包括：
[0011]基于所述深度相机的虚拟观测点位置、所述VR头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
[0012]优选地，所述比例缩放的比例为：
[0013][0014]其中，l为所述深度相机与所述目标观测物体的距离，d为所述VR头戴设备的移动距离，s为所述VR头戴设备的映射比例。
[0015]优选地，所述根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知，之后还包括：
[0016]将比例缩放后得到的所述RGB图像显示在所述VR头戴设备的内置屏幕上供用户观看。
[0017]本申请第二方面提供了一种基于VR的高临场视觉感知装置，包括：
[0018]图像获取模块，用于获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RGB图像，所述空间位姿信息包括空间位置和姿态信息；
[0019]模型构建模块，用于基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；
[0020]角度调整模块，用于通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；
[0021]缩放感知模块，用于根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知。
[0022]优选地，所述模型构建模块，具体用于：
[0023]基于所述深度相机的虚拟观测点位置、所述VR头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
[0024]优选地，所述比例缩放的比例为：
[0025][0026]其中，l为所述深度相机与所述目标观测物体的距离，d为所述VR头戴设备的移动距离，s为所述VR头戴设备的映射比例。
[0027]优选地，还包括：
[0028]显示模块，用于将比例缩放后得到的所述RGB图像显示在所述VR头戴设备的内置屏幕上供用户观看。
[0029]本申请第三方面提供了一种基于VR的高临场视觉感知设备，所述设备包括处理器以及存储器；
[0030]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0031]所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于VR的高临场视觉感知方法。
[0032]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于VR的高临场视觉感知方法。
[0033]从以上技术方案可以看出，本申请实施例具有以下优点：
[0034]本申请中，提供了一种基于VR的高临场视觉感知方法，包括：获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，深度目标信息包括点云模型和RGB图像，空间位姿信息包括空间位置和姿态信息；基于深度相机、VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量；根据角度变化量以及深度相机与点云模型之间的虚拟距离对RGB图像进行比例缩放，实现目标观测物体的远近感知。
[0035]本申请提供的基于VR的高临场视觉感知方法，采用三自由度云台代替机械臂，能够以原点为基准实现放射型观测，避免了机械臂运动受限带来的不便；且根据角度变化量和虚拟距离对虚拟的RGB图像进行比例缩放，而不是对实际图像或者设备进行跟踪调整，能够减少时间延迟，提供较为可靠的视觉跟踪，避免眩晕感的产生，提供较佳的视觉感知体验。因此，本申请能够解决现有基于机械臂的VR高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。
附图说明
[0036]图1为本申请实施例提供的一种基于VR的高临场视觉感知方法的流程示意图；
[0037]图2为本申请实施例提供的一种基于VR的高临场视觉感知装置的结构示意图；
[0038]图3为本申请实施例提供的基于VR的高临场视觉感知系统设备示意图；
[0039]图4为本申请实施例提供的构建逆运动学变换模型的设备坐标系示意图；
[0040]图5为本申请实施例提供的比例缩放结构示意图；
[0041]图6为本申请实施例提供的比例缩放几何关系示意图。
具体实施方式
[0042]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VR的高临场视觉感知方法，其特征在于，包括：获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RGB图像，所述空间位姿信息包括空间位置和姿态信息；基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知。2.根据权利要求1所述的基于VR的高临场视觉感知方法，其特征在于，所述基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型，具体包括：基于所述深度相机的虚拟观测点位置、所述VR头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。3.根据权利要求1所述的基于VR的高临场视觉感知方法，其特征在于，所述比例缩放的比例为：其中，l为所述深度相机与所述目标观测物体的距离，d为所述VR头戴设备的移动距离，s为所述VR头戴设备的映射比例。4.根据权利要求1所述的基于VR的高临场视觉感知方法，其特征在于，所述根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知，之后还包括：将比例缩放后得到的所述RGB图像显示在所述VR头戴设备的内置屏幕上供用户观看。5.一种基于VR的高临场视觉感知装置，其特征在于，包括：图像获取模块，用于获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RG...

【专利技术属性】
技术研发人员：王杨，吴晖，施泽宇，
申请(专利权)人：南方电网电力科技股份有限公司，
类型：发明
国别省市：