用于显示动态现实世界环境并与之交互的系统和方法技术方案

方法用至少一个交互式ARBit生成动态现实世界环境。从移动计算设备接收从现实世界环境中捕获的环境信息。处理环境信息以确定与现实世界环境对应的识别出的特征，并且基于识别出的特征来生成动态现实世界环境。在ARBit数据库中搜索与识别出的特征匹配的ARBit，然后将匹配的ARBit添加到ARBit集合。动态现实世界环境和ARBit集合被发送到移动设备。移动设备的用户与动态现实世界环境以及ARBit集合中的至少一个显示的ARBit进行交互。

【技术实现步骤摘要】
【国外来华专利技术】用于显示动态现实世界环境并与之交互的系统和方法相关申请的交叉引用本申请要求于2018年1月8日提交的标题为“SystemsandMethodsforDisplayingandInteractingwithaDynamicReal-WorldEnvironment”、申请号为15/864,935的美国专利申请和于2017年6月9日提交的标题为“SystemsandMethodsforDisplayingandInteractingwithaDynamicReal-WorldEnvironment”、申请号为62/517,593的美国专利申请的优先权，这两个申请都通过引用并入本文。
技术实现思路
本实施例的一个方面包括认识到视频的重放不是动态的，且因此变成重复的。本实施例通过识别捕获的视频内的特征并生成与识别出的特征对应的动态环境以及基于查看动态环境的移动设备的位置向该环境添加一个或多个ARBit来解决这个问题。移动设备的用户可以在查看动态环境的同时与一个或多个ARBit进行交互。因而，基于查看动态环境的移动设备的位置，动态环境可以具有不同的内容。在一个实施例中，一种方法显示动态现实世界环境并与之交互。使用移动计算设备的相机、麦克风和定位器中的一个或多个来捕获环境的信息。该信息被发送到服务器，并且从服务器接收动态现实世界环境和至少一个ARBit。包含ARBit的动态现实世界环境的至少部分的视图被显示给用户，并基于用户输入操纵该视图。响应于用户在视图内对ARBit的选择，基于ARBit的类型与用户进行交互。在另一个实施例中，一种方法生成具有至少一个交互式ARBit的动态现实世界环境。从移动计算设备接收从现实世界环境中捕获的环境信息。处理环境信息以确定与现实世界环境对应的识别出的特征，并且基于识别出的特征来生成动态现实世界环境。在ARBit数据库中搜索与已识别出的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合。动态现实世界环境和ARBit集合被发送到移动设备。在另一个实施例中，一种方法基于移动设备的当前位置来增强先前生成的动态现实世界环境。从移动设备接收当前位置和增强动态现实世界环境的请求。在ARBit数据库中搜索与先前识别出的对应于动态现实世界环境的特征匹配的ARBit，并将匹配的ARBit添加到ARBit集合，以及将ARBit集合发送到移动设备以在动态现实世界环境中重放。附图说明图1示出实施例中的用于显示动态现实世界环境并与之交互的一个示例系统。图2是示出实施例中的用于捕获、显示图1的动态现实世界环境并与之交互的一个示例方法的流程图。图3是示出实施例中的用于生成图1的动态现实世界环境的一个示例方法的流程图。图4示出图1的移动设备在环境中移动以捕获该环境内的多个对象的环境信息。图5示出动态现实世界环境的图形表示，以及示出动态现实世界环境的部分的图1的显示器的图形表示。图6示出在移动设备的显示器上对图1的动态现实世界环境的视图的示例操纵。图7是示出实施例中的用于重放先前捕获的环境的一个示例方法的流程图。图8是示出实施例中的与另一个用户共享动态现实世界环境的功能示意图。图9是示出实施例中的用于重放共享的现实世界环境的一个示例方法的流程图。具体实施方式图1示出用于显示动态现实世界环境并与动态现实世界环境交互的一个示例系统100。移动设备102例如是选自包括智能电话、平板电脑、膝上型计算机等的组的设备。移动设备102包括处理器104、存储器106、相机108、麦克风110、定位器112、显示器114和通信接口116。在一个实施例中，定位器112是无线地确定其位置的GPS接收器。显示器114为移动设备102的用户提供交互式界面，并且例如是触敏LCD显示屏。接口116例如是能够实现蓝牙、Wi-Fi和蜂窝通信中的一个或多个的无线收发器。存储器106存储应用120，其包括由处理器104执行以提供如本文所述的移动设备102的功能的机器可读指令(例如，软件)。特别地，应用120包括捕获模块122和显示模块124。捕获模块122控制相机108、麦克风110和定位器112以捕获移动设备102所在的环境103的环境信息130。例如，移动设备102的用户可以在环境103内到处移动移动设备102，同时相机108捕获环境103内的特征的多个图像(和/或视频流)，同时麦克风110捕获环境103内的声音的音频数据，以及同时定位器112确定移动设备102的当前位置，以形成环境信息130。因此，环境信息130可以包括图像、音频数据和位置信息的序列。即，环境信息130包含环境103的现实世界信息。用户使用移动设备102捕获的环境103越多(移动设备102的移动越慢越远和/或捕获时间段越长)，环境信息130中包含的来自环境103的细节越多。例如，用户可以将移动设备102的相机108指向地平线，并缓慢地平移通过环境103以捕获环境信息130。捕获模块122可以在环境信息130内包括其它信息，而不背离本专利技术的范围。例如，在移动设备102包括用于确定移动设备102的移动的(一个或多个)传感器(例如，加速度计、陀螺仪)的情况下，捕获模块122可以将此传感器数据包括在环境信息130内。移动设备102使用接口116来向服务器152发送(例如，经由互联网140)环境信息130。服务器152是一个或多个计算机，其包括处理器154、存储器156和接口158，该接口158促进例如经由互联网140与移动设备102的通信。存储器156存储软件160的机器可读指令，该机器可读指令由处理器154执行以提供如本文所述的服务器152的功能。软件160的特征识别器162针对特征数据库163处理环境信息130，以生成在其中发现的一个或多个识别出的特征164。例如，特征数据库163可以将可识别特征定义为形状、声音、颜色、徽标、文字、位置等中的一个或多个。在一个实施例中，特征识别器162包括一个或多个图像和音频处理算法，该算法处理环境信息130中的一个或多个图像，以基于特征数据库163内定义的特征来识别特征164。因此，识别出的特征164表示在环境103内发现的可识别形状、声音和对象，诸如灌木、树和建筑物，并且可以包括用以指示彼此之间的一个或多个空间关系的相对位置。例如，当处理捕获的图像和视频序列以增强对特征在环境103内的相对位置的确定时，特征识别器162可以利用移动数据(当被包括在环境信息130中时)。在特征识别器162未识别出环境信息130内的足够特征164的情况下，特征识别器162可以向移动设备102发送消息，邀请用户使用捕获模块122来捕获环境103的更多信息并将其发送给服务器152，其中，所捕获的更多信息可以与现有环境信息130组合在一起，并由特征识别器162进一步处理，以识别更多特征164。软件160的环境生成器166利用识别出的特征164来生成类似于环境103的动态现实世界环境168。例如，基于特征164，环境生成器166将动态现实世界环境168本文档来自技高网...

【技术保护点】
1.一种用于显示动态现实世界环境并与动态现实世界环境交互的方法，包括：/n使用移动计算设备的相机、麦克风和定位器中的一个或多个捕获环境的信息；/n将所述信息发送到服务器；/n从所述服务器接收动态现实世界环境和至少一个ARBit；/n向用户显示包含ARBit的动态现实世界环境的至少部分的视图；/n基于用户输入操纵所述视图；以及/n响应于用户在所述视图内对所述ARBit的选择，基于所述ARBit的类型与用户进行交互。/n

【技术特征摘要】
【国外来华专利技术】20170609 US 62/517,593;20180108 US 15/864,9351.一种用于显示动态现实世界环境并与动态现实世界环境交互的方法，包括：
使用移动计算设备的相机、麦克风和定位器中的一个或多个捕获环境的信息；
将所述信息发送到服务器；
从所述服务器接收动态现实世界环境和至少一个ARBit；
向用户显示包含ARBit的动态现实世界环境的至少部分的视图；
基于用户输入操纵所述视图；以及
响应于用户在所述视图内对所述ARBit的选择，基于所述ARBit的类型与用户进行交互。


2.如权利要求1所述的方法，所述ARBit具有选自包括游戏、图像、视频、优惠券、声音以及到网站的链接的组的ARBit类型。


3.如权利要求2所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是游戏时，执行交互式游戏并与用户交互以玩游戏。


4.如权利要求3所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是图像时，向用户显示图像。


5.如权利要求4所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是视频时，向用户显示视频。


6.如权利要求5所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是优惠券时，向用户显示优惠券。


7.如权利要求6所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是声音时，向用户播放声音。


8.如权利要求7所述的方法，交互的步骤包括：当所述ARBit的ARBit类型是到网站的链接时，向用户显示到网站的可选择的链接。


9.一种用于生成具有至少一个交互式ARBit的动态现实世界环境的方法，包括：
从移动计算设备接收...

【专利技术属性】
技术研发人员：罗纳德·戴尔·克莱门特，伊莱恩·泰瑞斯·克莱门特，
申请(专利权)人：尼尔米AR有限责任公司，
类型：发明
国别省市：美国;US