沉浸式交互远程呈现制造技术

在沉浸式交互远程呈现的实施例中，系统包括运载工具，其捕获对运载工具所行驶的环境的体验，并且该体验包括环境的音频和视频。用户交互设备接收环境的音频和视频，并且用户交互设备中的每个用户交互设备为远离环境的一个或多个用户重现该体验。轨迹规划器被实现为：当运载工具在环境中行驶时基于障碍规避和用户行驶意图来路线指引运载工具。轨迹规划器可以在没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入的情况下，路线指引运载工具以到达环境中的位置目标。

Immersive interaction remote rendering

In an embodiment of immersive interactive remote rendering, the system includes a vehicle that captures an experience of the environment in which the vehicle is running, and the experience includes audio and video of the environment. The user interaction device receives audio and video from the environment, and each user interaction device in the user interaction device reproduces the experience for one or more users away from the environment. The trajectory planner is implemented as follows: when the vehicle travels in the environment, it guides the vehicle based on obstacle avoidance and user's driving intention. The trajectory planner can direct the vehicle to reach the location target in the environment without explicit directional input from the vehicle operator or the user from the user interaction device.

【技术实现步骤摘要】
【国外来华专利技术】沉浸式交互远程呈现
技术介绍
遥控运载工具已经变得越来越流行，特别是行动式(mobilized)机器人、陆地漫游车和无人驾驶飞行器(UAV)，通常也称为“无人机”。通常，这些类型的运载工具包括一个或多个相机，其允许运载工具在其中操作的环境的视频被捕获，并且被传送回运载工具的操作者，以用于在操作者的位置处的显示屏上显示。这提供了如果操作者在运载工具的位置或在运载工具上行驶，他或她将看到什么的第一人称视图。这些类型的遥控运载工具通常在操作者和用于远程操作的运载工具之间具有一对一的对应关系或配对，其中用户输入被传达到运载工具，然后运载工具相应地运行。其他类型的系统仅向用户提供远程呈现(telepresence)，其中用户可以简单地观看远程环境的视频和/或听到远程环境的音频，但是不能够控制发送回远程环境的视频和音频的运载工具、设备或系统。
技术实现思路
本
技术实现思路
介绍了沉浸式交互远程呈现的特征和概念，其在下面的具体实施方式中被进一步描述和/或在附图中被示出。本
技术实现思路
不应被视为描述了所要求保护的主题的必要特征，也不被用于确定或限制所要求保护的主题的范围。描述了沉浸式交互远程呈现。在实施例中，一种系统包括：运载工具，其捕获对运载工具所行驶的环境的体验，并且该体验包括环境的音频和视频。运载工具可以是以下各项中的任一类型：无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具。用户交互设备接收环境的音频和视频，用户交互设备中的每个用户交互设备为远离环境的一个或多个用户重现体验。轨迹规划器被实现为当运载工具在环境中行驶时，基于障碍规避和用户行驶意图来路线指引(route)运载工具。轨迹规划器可以在没有逐步行驶指令的情况下路线指引运载工具，以到达环境中的位置目标，例如在没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入的情况下。轨迹规划器还可以基于与用户交互设备的用户相关联的先前的运载工具路线指引，或者基于在车辆开始在环境中行驶之前所提供的用户偏好，确定用于路线指引运载工具的用户行驶意图。然后，轨迹规划器可以基于所确定的用户行驶意图改变运载工具在环境中的路线。在其它方面，运载工具可以由远离环境的用户委托(commission),以捕获对环境中的感兴趣区的体验，其中感兴趣区由用户选择，或者感兴趣区由轨迹规划器基于用户行驶意图来选择。运载工具可以基于轨迹规划器来控制，该轨迹规划器经由用户交互设备从用户接收行驶指令，以用于运载工具的用户指导的行驶；和/或基于在运载工具的环境中的运载工具操作者，其指导运载工具的路线。在其它方面，运载工具可以包括相机系统，以将视频捕获为环境的广角视图；并且视频被路由到用户交互设备，其中用户中的每个用户可以基于用户在环境的广角视图内观看的位置来查看环境的不同部分。轨迹规划器还可以以稳定运动来路线指引运载工具，稳定运动对最小化用户交互设备的一个或多个用户的晕动症有效。在其它方面，运载工具可以是环境中的虚拟旅行向导，捕获对环境的体验作为用于用户交互设备的用户的虚拟旅行。轨迹规划器被实现为路线指引运载工具，路线指引对促进虚拟旅行有效。在实现中，运载工具是空中无人机，其在环境的区域上方飞行，以为用户交互设备的用户捕获对该区域的体验。附加的空中无人机可以在环境的不同区域上方飞行，空中无人机将用户切换到附加的空中无人机中为用户交互设备的用户捕获对环境的不同区域的体验的一个空中无人机。轨迹规划器可以基于用户选择的环境的不同区域来发起将用户切换到附加的空中无人机，或者轨迹规划器可以基于用户行驶意图来选择环境的不同区域。附图说明参考以下附图描述沉浸式交互远程呈现的实施例。可以始终使用相同的数字来引用附图中所示的相似特征和组件：图1图示了在其中沉浸式交互远程呈现的实施例可以被实现的示例系统。图2进一步图示了沉浸式交互远程呈现的示例实施例。图3图示了在其中沉浸式交互远程呈现的实施例可以被实现的另一示例系统。图4图示了根据一个或多个实施例的沉浸式交互远程呈现的(多个)示例方法。图5图示了根据一个或多个实施例的沉浸式交互远程呈现的(多个)示例方法。图6图示了具有示例设备的示例系统，该示例设备可以实现沉浸式交互远程呈现的实施例。具体实施方式描述了沉浸式交互远程呈现的实施例，并且可以实现该实施例以提供以下运载工具，该运载工具捕获对运载工具所行驶的环境的体验，其中该体验包括环境的音频和视频(例如，环境体验数据)，其可以在用户交互设备上向一组用户重现虚拟旅行。在环境中行驶以捕获环境体验数据的运载工具可以是以下各项中的任一类型：无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具。用户交互设备接收环境的音频和视频，并且用户交互设备中的每个用户交互设备为远离环境的一个或多个用户重现体验。基于障碍规避和用户行驶意图，运载工具可以在环境中行驶，其中轨迹规划器可以在没有逐步行驶指令的情况下路线指引运载工具，以到达环境中的位置目标，诸如没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入。轨迹规划器可以基于与用户交互设备的用户相关联的先前的运载工具路线或者基于在运载工具开始在环境中行驶之前提供的用户偏好，确定用于路线指引运载工具的用户行驶意图。然后，轨迹规划器可以基于所确定的用户行驶意图来改变运载工具在环境中的路线。虽然沉浸式交互远程呈现的特征和概念可以以任何数目的不同设备、系统、网络、环境和/或配置来实现，沉浸式交互远程呈现的实施例在以下示例设备、系统和方法的背景下被描述。图1图示了可以实现沉浸式交互远程呈现的实施例的示例系统100。示例系统100包括运载工具102，在该示例中示出为无人驾驶飞行器(UAV)，通常也称为无人机。在实现中，运载工具102可以是无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具中的任一个或组合。运载工具被设计为捕获对运载工具所行驶的环境104的体验，其中该体验包括环境的音频和视频。运载工具102包括音频系统106(例如，麦克风和/或其他音频检测设备)以捕获环境的音频。该运载工具还包括相机系统108，其被实现为在环境的二维或三维空间中捕获视频，运载工具在该环境中行驶，诸如作为无人机飞行、作为陆地漫游车在陆地上或在建筑物结构中行驶、作为潜水器在水中行驶(例如，在水下或浮在水面上)，或者作为被实现为相机运输工具的任何其他运载工具。相机系统108可以包括一个或多个相机设备，并且相机设备可以一起操作，以从共同视点捕获环境的视频，或者独立操作，以从不同的视点捕获环境的视频。示例系统100包括用户交互设备110，其接收由运载工具102的音频系统106和相机系统108捕获的环境的音频和视频。用户交互设备110可以包括用于设备的多个用户116的观看设备112和/或控制器设备114。用户交互设备110从运载工具102接收环境的音频和视频，并且为远离该环境的一个或多个用户116重现对该环境的体验。在实现中，用户中的任一个可以使用不同类型的观看设备112，例如任何类型的虚拟现实耳机、虚拟现实眼镜、增强现实耳机、增强现实眼镜、具有集成显示器的移动设备，和/或耦合到计算设备的显示设备。示例系统100包括基于云本文档来自技高网...

【技术保护点】
1.一种被实现用于沉浸式交互远程呈现的系统，所述系统包括：运载工具，被配置为捕获对所述运载工具所行驶的环境的体验，所述体验至少包括所述环境的音频和视频；用户交互设备，被配置为接收所述环境的所述音频和所述视频，所述用户交互设备中的每个用户交互设备被配置为：为远离所述环境的一个或多个用户重现所述体验；以及轨迹规划器，被配置为当所述运载工具在所述环境中行驶时，基于障碍规避和用户行驶意图来路线指引所述运载工具。

【技术特征摘要】
【国外来华专利技术】2016.02.29 US 15/056,9831.一种被实现用于沉浸式交互远程呈现的系统，所述系统包括：运载工具，被配置为捕获对所述运载工具所行驶的环境的体验，所述体验至少包括所述环境的音频和视频；用户交互设备，被配置为接收所述环境的所述音频和所述视频，所述用户交互设备中的每个用户交互设备被配置为：为远离所述环境的一个或多个用户重现所述体验；以及轨迹规划器，被配置为当所述运载工具在所述环境中行驶时，基于障碍规避和用户行驶意图来路线指引所述运载工具。2.根据权利要求1所述的系统，其中所述轨迹规划器被配置为：在没有从所述用户交互设备的所述一个或多个用户接收到逐步行驶指令的情况下，在所述环境中路线指引所述运载工具。3.根据权利要求1所述的系统，其中所述轨迹规划器被配置为：在没有来自运载工具操作者或来自所述用户交互设备的所述一个或多个用户的明确的方向输入的情况下，路线指引所述运载工具，以到达在所述环境中的位置目标。4.根据权利要求1所述的系统，其中所述轨迹规划器被配置为：基于与所述用户交互设备的所述一个或多个用户相关联的先前的运载工具路线指引，确定用于路线指引所述运载工具的所述用户行驶意图；以及基于所确定的所述用户行驶意图，改变所述运载工具在所述环境中的路线。5.根据权利要求1所述的系统，其中所述轨迹规划器被配置为：基于所述运载工具在所述环境中开始行驶之前所提供的用户偏好，确定用于路线指引所述运载工具的所述用户行驶意图；以及基于所确定的所述用户行驶意图，改变所述运载工具在所述环境中的路线。6.根据权利要求1所述的系统，其中所述运载工具由远离所述环境的所述一个或多个用户委托，以捕获对所述环境中的感兴趣区的所述体验，所述感兴趣区由所述一个或多个用户选择，或者所述感兴趣区由所述轨迹规划器基于所述用户行驶意图来选择。7.根据权利要求6所述的系统，其中所述运载工具基于以下各项中的至少一项而被控制：所述轨迹规划器经由所述用户交互设备接收来自所述一个或多个用户的行驶指令，以用于所述运载工具的用户指导的行驶；或者在所述运载工具的所述环境中的运载工具操作者，所述运载工具操作者指导所述运载工具的所述路线。8.根据权利要求1所述的系统，其中：所述运载工具是所述环境中的虚拟旅行向导，所述虚拟旅行向导被配置为捕获所述体验作为用于所述用户交互设备的所述一个或多个用户的虚拟旅行；以及所述轨迹规划器被配置为进行对所述运载工具的所述路线指引，所述路线指引对促进所...

【专利技术属性】
技术研发人员：N·斯莫尔扬斯基，张正友，V·R·登迪，M·霍尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US