用于增强现实的玩具系统技术方案

一种玩具系统，该玩具系统包括数据处理系统和一个或多个玩具，多个玩具包括至少一个参考玩具，所述至少一个参考玩具具有可由数据处理系统在包括所述至少一个参考玩具的真实世界场景的捕获图像中识别的视觉外观，该数据处理系统包括图像捕获设备、处理单元和显示器，其中数据处理系统已经在其上存储了与至少一个参考玩具相关的信息，所述信息包括相对于至少一个参考玩具定义的至少一个预定参考位置；并且其中数据处理配置成：捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；选择性地处理第一图像内的子图像，该子图像描绘所述识别的参考位置，以选择性地检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。检测的用户操纵相关的计算机生成的感知信息。检测的用户操纵相关的计算机生成的感知信息。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实的玩具系统


[0001]本专利技术涉及用于增强现实的玩具系统。玩具系统可以是玩具构造系统，其包括具有用于可拆卸地互连构造元件的联接构件的构造元件。

技术介绍

[0002]玩具系统特别是玩具构造系统已经为人所知几十年了。特别地，包括具有用于可拆卸地将构造元件彼此互连的联接构件的玩具构造元件的玩具构造系统已经获得了很高的普及。简单构建块已经补充了具有机械或电气功能以提高游戏价值的专用构造元件。这些功能包括例如电机、开关和灯。
[0003]最近，利用增强现实(AR)的玩具系统引起了越来越多的兴趣。增强现实(AR)是通过计算机生成的内容(比如图形、声音等)来增强物理真实世界环境的一个或多个项目的捕获实时视图的技术，即向用户呈现包括环境的实时视图和计算机生成的内容的合成表示，例如以计算机图形在实时视图上的覆盖的形式。覆盖可以是自然环境的补充，或者其可以掩盖或替代自然环境的实时视图。例如，计算机生成的图形可以呈现在实时视图上边，或者作为替换，其中实时视图的部分被计算机生成的图形替换。出于本描述的目的，实现AR的计算机实施的系统通常被称为AR系统。AR系统通常包括图像捕获设备、适当编程的处理单元和显示器。
[0004]在AR系统中，图像特征通常在真实世界场景的捕获视图内被检测和识别，并且AR系统然后可以根据指定的图像特征来生成计算机生成的图像(或其他计算机生成的内容，比如声音、触觉反馈等)，并且将生成的图像叠加在捕获的视图上(或者以其他方式呈现计算机生成的内容)。
[0005]通常期望提供允许用户通过操纵物理场景来与增强现实环境交互的机制。为此，期望AR系统检测真实世界场景中的物体操纵。
[0006]WO2012/160055描述了一种包括增强现实系统的玩具构造系统。
[0007]对物理场景的操纵的检测需要相当大的处理能力，特别是当系统捕获图像的真实世界场景频繁变化时。这可能是例如用户频繁操纵真实世界场景或者操纵真实世界场景的多个方面或者以对于AR系统来说很大程度上不可预测的方式操纵真实世界场景时的情况。通常，这种操纵可以包括四处移动物体、向真实世界场景添加物体或者从真实世界场景移除物体。在许多情况下，图像捕获设备可以是手持或可移动设备，例如移动电话、平板电脑等。因此，图像捕获设备捕获真实世界场景的图像的视点可以改变。在上述场景中，数据处理系统可能必须处理不断变化的图像，以便检测和识别对真实世界场景的操纵(如果有的话)。
[0008]通常希望降低该任务所需的处理能力。这可能是所希望的，以便即使使用具有有限处理能力的设备或同时执行需要处理能力的其他过程的设备，比如用于创建增强现实图形的图形引擎、游戏引擎或与增强现实过程同时运行的完全不相关的任务，也能提供更顺畅的实时体验。为了降低数据处理系统的功耗，还希望降低所需的处理能力。当数据处理系
统由电池驱动时，例如当数据处理系统是诸如移动电话或平板电脑的手持处理设备时，这可能是特别理想的。
[0009]因此，通常希望减少处理资源，比如检测和识别用于增强现实的玩具系统中的物理真实世界场景的操纵所需的处理时间或处理能力。
[0010]用于增强现实的玩具系统中出现的另一个问题涉及这种系统的正常使用场景。这些系统通常由儿童使用，其中捕获图像的真实世界场景可以包括许多物体，其中一些与增强现实游戏相关，而其他的可能是占据真实世界场景的其他玩具或不同物体。这可能是例如当真实世界场景是可被许多物体占据的儿童桌子、厨房桌子、儿童房间地板等上的真实世界场景时的情况，其中一些甚至可以被增强现实系统检测或甚至识别。现实场景中这种物体的存在使得图像处理任务更加苛刻，并且可能导致无意中检测或识别用户不打算捕获的物体。这种不希望的检测可能会给用户带来不期望和令人沮丧的体验。
[0011]因此，期望提供一种用于增强现实的玩具系统，其降低不期望的物体检测和识别的风险。
[0012]通常，仍期望提供玩具系统的物理玩具和在计算机上生成的虚拟现实的紧密集成。
[0013]还通常期望提供一种玩具系统，其允许幼儿例如学龄前儿童将物理玩具例如一个或多个物理玩具构造模型与虚拟的计算机生成的游戏体验相结合。
[0014]通常还希望提供一种玩具系统，其适于对编程技术、控制系统等没有详细理解的儿童。
[0015]通常还希望提高玩具系统的教育和游戏价值。
[0016]本文公开的玩具系统和其他方面的至少一些实施例试图解决当将增强现实应用于玩具系统时出现的一个或多个上述问题和/或其他问题。

技术实现思路

[0017]本文公开了包括数据处理系统和一个或多个玩具的玩具系统的实施例。一个或多个玩具包括至少一个参考玩具，至少一个参考玩具具有可由数据处理系统在包括所述至少一个参考玩具的真实世界场景的捕获图像中识别的视觉外观。数据处理系统包括图像捕获设备、处理单元和显示器，其中数据处理系统已经在其上存储了与至少一个参考玩具相关的信息，所述信息包括相对于至少一个参考玩具定义的至少一个预定参考位置。
[0018]根据第一方面，数据处理系统配置成：
[0019]‑
捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；
[0020]‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
[0021]‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；
[0022]‑
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
[0023]‑
选择性地处理第一图像内的子图像，该子图像描绘所述识别的参考位置，以选择性地检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
[0024]‑
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。
[0025]因此，该系统选择性地仅处理第一图像内的子图像，该子图像描绘了预定参考位置。这大大减少了检测和可选地识别用户操纵所需的处理资源。此外，当系统仅在子图像内选择性地寻找用户操纵时，错误检测用户操纵和/或错误识别不同用户操纵的风险降低。因此，提供了对物理真实世界场景的用户操纵的更可靠和更有效的检测。参考位置的识别是基于所识别的参考玩具来提供的，因此可以在真实世界场景的实时视图中被可靠地跟踪。
[0026]在一些实施例中，AR系统可以提示用户在参考点处执行用户操纵，例如通过在图像中的参考位置处或其附近提供图形效果，通过播放声音，或者以另一种合适的方式。
[0027]因此，根据另一方面，数据处理适于：
[0028]‑
捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；
[0029]‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
[0030]‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种玩具系统，该玩具系统包括数据处理系统和一个或多个玩具，所述一个或多个玩具包括至少一个参考玩具，所述至少一个参考玩具具有可由数据处理系统在包括所述至少一个参考玩具的真实世界场景的捕获图像中识别的视觉外观，该数据处理系统包括图像捕获设备、处理单元和显示器，其中，所述数据处理系统已经在其上存储了与至少一个参考玩具相关的信息，所述信息包括相对于至少一个参考玩具定义的至少一个预定参考位置；并且其中数据处理配置成：
·
捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；
·
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
·
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；
·
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
·
选择性地处理第一图像内的子图像，该子图像描绘所述识别的参考位置，以选择性地检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
·
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。2.根据权利要求1所述的玩具系统，其中，所述数据处理系统配置成：
·
生成并呈现提示用户在识别的至少一个参考位置处操纵真实世界场景的计算机生成的感知信息；
·
处理捕获图像，以检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
·
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。3.一种玩具系统，该玩具系统包括数据处理系统和一个或多个玩具，多个玩具包括至少一个参考玩具，所述至少一个参考玩具具有可由数据处理系统在包括所述至少一个参考玩具的真实世界场景的捕获图像中识别的视觉外观，该数据处理系统包括图像捕获设备、处理单元和显示器，其中，所述数据处理系统已经在其上存储了与至少一个参考玩具相关的信息，所...

【专利技术属性】
技术研发人员：AA斯库，A扎瓦达，J索德伯格，
申请(专利权)人：乐高公司，
类型：发明
国别省市：