一种控制MR头显设备显示虚拟景象的方法及系统技术方案

本发明专利技术实施例公开了一种控制MR头显设备显示虚拟景象的方法及系统，该方法包括：服务设备根据预测的MR头显设备的移动轨迹，向MR头显设备返回与背景景象相匹配的当前虚拟景象以及与移动轨迹相匹配的虚拟景象集合供MR头显设备显示。可见，实施本发明专利技术实施例能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，以使MR头显设备快速的显示相应的虚拟景象，降低了虚拟景象的显示时延，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间在实体环境中的映射，有利于用户准确的识别出处于相同场景中的实体，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

A method and system for controlling the display of virtual scene in the MR header display device

The embodiment of the invention discloses a MR display device control head method and system for displaying virtual scene, the method includes: explicit service equipment equipment according to MR head trajectory prediction, virtual scene virtual scene and scene background the return match to the MR display device and mobile head track matching set for MR the first significant display equipment. Therefore, the implementation of the embodiment of the invention can display equipment according to the trajectory of cases of MR head predicted with a plurality of virtual scene for the MR display device, display the virtual scene corresponding to the MR display equipment head quickly, reduce the delay of virtual scene display, and display devices to capture real-time MR head scene through double the camera and the scene in real-time mapping background into virtual digital space in the physical environment, help users accurately identify source in the same scene entities, improve user safety in display device using MR head, giving users a more realistic three-dimensional interactive diversification and safer experience.

【技术实现步骤摘要】
一种控制MR头显设备显示虚拟景象的方法及系统
本专利技术涉及介导现实(MediatedReality，MR)
，尤其涉及一种控制MR头显设备显示虚拟景象的方法及系统。
技术介绍
当前，随着电子技术的快速发展，增强现实(AugmentedReality，AR)技术的应用也越来越广泛，AR技术是一种实时地计算摄像头影像的位置及角度并叠加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，即通过将虚拟景象与现实世界进行结合的方式为用户提供多样化的交互体验。在实际操作中，使用AR技术的相关设备需要从服务设备获取到相应的虚拟景象并显示，为了保证用户使用MR头显设备时的视觉体验，如何实现MR头显设备快速的显示虚拟景象，以降低显示虚拟景象时的时延显得尤为重要。
技术实现思路
本专利技术实施例公开了一种控制MR头显设备显示虚拟景象的方法及系统，能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，进而使MR头显设备快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延。本专利技术实施例第一方面公开了一种控制MR头显设备显示虚拟景象的方法，所述方法包括：MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度，以及将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的背景景象上报至服务设备；所述服务设备确定与所述背景景象相匹配的当前虚拟景象，并根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，确定与所述移动轨迹相匹配的虚拟景象集合，并将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；所述MR头显设备接收所述当前虚拟景象以及所述虚拟景象集合，并显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：所述服务设备向所述MR头显设备发送所述移动轨迹；所述MR头显设备接收所述移动轨迹；所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象之前，所述方法还包括：所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；所述MR头显设备判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象，包括：所述MR头显设备判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度之前，所述方法还包括：所述MR头显设备定位所述MR头显设备在当前环境的三维空间坐标，并根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作，并确定所述体感动作对应的体感参数；所述MR头显设备控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，以及所述MR头显设备确定所述体感动作对应的体感参数之前，所述方法还包括：所述MR头显设备向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求，以触发所述服务设备根据所述物体标识查找所述某一虚拟物体的操作属性并向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；所述MR头显设备接收所述操作获取响应，并根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发执行所述的确定所述体感动作对应的体感参数的操作。本专利技术实施例第二方面公开了一种控制MR头显设备显示虚拟景象的系统，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、检测单元、第一通信单元以及显示单元，所述服务设备包括第二通信单元、预测单元以及第一确定单元，其中：所述采集单元，用于通过双摄像头采集实时景象，并从所述实时景象中分离出背景景象；所述检测单元，用于通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度；所述第一通信单元，用于将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的所述背景景象上报至所述服务设备；所述第二通信单元，用于接收所述第一通信单元发送的所述第一移动方向、所述第一移动速度以及所述背景景象；所述预测单元，用于根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹；所述第一确定单元，用于确定与所述背景景象相匹配的当前虚拟景象，以及确定与所述移动轨迹相匹配的虚拟景象集合；所述第二通信单元，还用于将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；所述第一通信单元，还用于接收所述第二通信单元下发的所述当前虚拟景象以及所述虚拟景象集合；所述显示单元，用于显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述第二通信单元，还用于向所述MR头显设备发送所述移动轨迹；所述第一通信单元，还用于接收所述第二通信单元发送的所述移动轨迹；所述检测单元，还用于在所述显示单元显示所述当前虚拟景象之后，通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；所述MR头显设备还包括第一判断单元，其中：所述第一判断单元，用于判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发所述显示单元执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；所述显示单元在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象方式具体为：判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。作为一种可选的实施方式，在本专利技术本文档来自技高网...

【技术保护点】
一种控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法包括：MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度，以及将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的背景景象上报至服务设备；所述服务设备确定与所述背景景象相匹配的当前虚拟景象，并根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，确定与所述移动轨迹相匹配的虚拟景象集合，并将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；所述MR头显设备接收所述当前虚拟景象以及所述虚拟景象集合，并显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。

【技术特征摘要】
1.一种控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法包括：MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度，以及将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的背景景象上报至服务设备；所述服务设备确定与所述背景景象相匹配的当前虚拟景象，并根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，确定与所述移动轨迹相匹配的虚拟景象集合，并将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；所述MR头显设备接收所述当前虚拟景象以及所述虚拟景象集合，并显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。2.根据权利要求1所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法还包括：所述服务设备向所述MR头显设备发送所述移动轨迹；所述MR头显设备接收所述移动轨迹；所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象之前，所述方法还包括：所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；所述MR头显设备判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象，包括：所述MR头显设备判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。3.根据权利要求2所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度之前，所述方法还包括：所述MR头显设备定位所述MR头显设备在当前环境的三维空间坐标，并根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。4.根据权利要求1-3任一项所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法还包括：所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作，并确定所述体感动作对应的体感参数；所述MR头显设备控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。5.根据权利要求4所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，以及所述MR头显设备确定所述体感动作对应的体感参数之前，所述方法还包括：所述MR头显设备向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求，以触发所述服务设备根据所述物体标识查找所述某一虚拟物体的操作属性并向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；所述MR头显设备接收所述操作获取响应，并根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发执行所述的确定所述体感动作对应的体感参数的操作。6.一种控制MR头显设备显示虚拟景象的系统，其特征在于，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、检测单元、第一通信单元以及显示单元，所述服务设备包括第二通信单元、预测单元以及第一确定单元，其中：所述采集单元，用于通过双摄像头采集实时景象，并从所述实时景象中分离出背...

【专利技术属性】
技术研发人员：沈时进，盛中华，刘永耀，潘镭，
申请(专利权)人：广州励丰文化科技股份有限公司，
类型：发明
国别省市：广东,44