用于玩具识别的系统和方法技术方案

一种用于识别组装以形成真实世界玩具建造模型的玩具建造系统的多个真实世界玩具建造元件的计算机实现的方法，每个真实世界玩具建造元件包括联接构件，用于将所述真实世界玩具建造元件与所述玩具建造系统的一个或多个其他真实世界玩具建造元件可拆卸地连接，从而形成所述真实世界玩具建造模型；其中所述方法包括：接收所述真实世界玩具建造模型的至少一个捕获图像；处理所述至少一个捕获图像，以便从所述玩具建造系统的多个已知的真实世界玩具建造元件的存储的数字表示将所述至少一个捕获图像中的至少第一真实世界玩具建造元件至少初步地识别为第一已知的真实世界玩具建造元件，每个数字表示包括连接性信息，所述连接性信息指示对应的真实世界玩具建造元件如何可拆卸地连接到所述玩具建造系统的其他真实世界玩具建造元件；检测所识别的第一真实世界玩具建造元件附近的图像中的至少第二真实世界玩具建造元件的图像数据；从所述玩具建造系统的所述多个已知的真实世界玩具建造元件的所述存储的数字表示将所述第二真实世界玩具建造元件识别为第二已知的真实世界玩具建造元件；其中识别所述第二真实世界玩具建造元件至少部分地基于与所述第一和第二已知的玩具建造元件相关联的连接性信息。

【技术实现步骤摘要】
【国外来华专利技术】用于玩具识别的系统和方法
本专利技术涉及计算机视觉技术对实体玩具(toys-to-life)的应用，更特别地，涉及使用模块化、可相互互连的玩具建造元件的玩具建造模型的识别的系统和方法。
技术介绍
已经进行了将物理对象的虚拟表示集成到虚拟游戏中的不同尝试。然而，仍然缺失的是，激发用户的互动参与，特别是通过儿童游戏来激发不同技能的发展的物理世界和虚拟游戏之间的紧密联系。因此，需要一种新的交互式游戏方法。大多数玩具增强型计算机游戏或所谓的实体玩具系统目前涉及这样的系统，其中玩具必须具有物理部件，该物理部件配置为经由某种形式的无线通信(如RFID，NFC等)与特殊读取器通信。这样的系统的示例例如在US2012/0295703、EP2749327和US2014/256430中公开。通常希望提供这样的游戏系统，其不要求玩具包括能够与读取器设备通信的元件，以便能够识别玩具元件，并创建其虚拟数字表示并将其与附加的数字数据相关联。WO2011/017393描述了一种使用计算机视觉来检测特定背景上的玩具建造模型的系统。为此，组装好的模型放在特殊的背景板上，其上印有特定的图案。在一些系统中，图像获取装置甚至可能需要相对于玩具元件组件对准到特定角度以进行识别。此外，该现有技术方法限于平面的、平行于背景平面的模型的构造。因此，通常希望增加这种方法的鲁棒性，特别是增加识别构成玩具建造模型的单独的玩具建造元件的识别性能，甚至对于任意3D模型的识别性能。例如，对于要创建尽可能对应于真实世界3D玩具建造模型的虚拟玩具建造模型的应用，期望足够准确地识别各个元件。在检测3D玩具建造模型中的各个玩具建造元件时的一个特别的困难与以下事实有关：各个元件可能并不总是完全可见，或者不能从所有侧面可见，因为它们连接到模型的其他元件，其他元件可能至少部分地隐藏玩具建造元件。
技术实现思路
根据本文公开的一个方面，一种计算机实现的方法，其用于识别组装以形成真实世界建造模型的建造系统的多个真实世界建造元件，特别是组装以形成真实世界玩具建造模型的玩具建造系统的真实玩具建造元件，每个真实世界建造元件包括联接构件，用于将所述真实世界建造元件与所述建造系统的一个或多个其他真实世界建造元件可拆卸地连接，从而形成所述真实世界建造模型；其中所述方法包括：-接收所述真实世界建造模型的至少一个捕获图像；-处理所述至少一个捕获图像，以便从所述建造系统的多个已知的真实世界建造元件的存储的数字表示将所述至少一个捕获图像中的至少第一真实世界建造元件识别为第一已知的真实世界建造元件，每个数字表示包括连接性信息，所述连接性信息指示对应的真实世界建造元件如何可拆卸地连接到所述建造系统的其他真实世界建造元件；-检测所识别的第一真实世界建造元件附近的图像中的至少第二真实世界建造元件的图像数据；-从所述建造系统的所述多个已知的真实世界建造元件的所述存储的数字表示将所述第二真实世界建造元件识别为第二已知的真实世界建造元件；其中识别所述第二真实世界建造元件至少部分地基于与所述第一和第二已知的建造元件相关联的连接性信息。真实世界建造模型是可拆卸地互连的真实世界建造元件的组件，例如由多个部件(例如躯干部分、腿部分、附件部分和/或类似物)构成的小雕像。这种模块化建造系统允许构造各种各样的组装的建造模型。组装的建造模型可以包括可以彼此相同或不同的几个或多个单独的建造元件。例如，迄今为止，包括玩具建造元件的玩具建造模型难以以高效但可靠且鲁棒的方式被检测。特别地，建造模型可以包括一个或多个真实世界建造元件，当从一个视点、从多于一个视点或甚至从所有视点观察时，所述真实世界建造元件被模型的其他建造元件部分地或甚至完全地隐藏。连接性信息的使用允许该过程标识这样的建造元件，即使它们被部分或甚至完全隐藏。即使只能从图像中辨别建造元件的视图可见特征，例如，元件的颜色和元件从一个方向的局部侧视图，在过程还可以确定部分隐藏的建造元件与哪些相邻的建造元件相连时，这些信息可能就足够了。通过使用与待识别的建造元件相关联的连接性信息以及与建造模型的一个或多个其他建造元件相关联的对应的连接性信息，可以因此显著增加识别性能。连接性信息可以存储为建造系统的多个已知的真实世界建造元件的存储数字表示的一部分或以其他方式与其相关联。出于本公开的目的，建造系统的多个已知的真实世界建造元件的存储的数字表示也将被称为建造系统的已知的真实世界建造元件的库(或简称为库)。在一些实施例中，该方法包括处理捕获图像以便产生捕获图像的一个或多个处理版本，并且基于捕获图像的至少一个或多个经处理的版本进行识别。处理步骤可包括任何合适的图像处理机制，例如，用于改变图像对比度、改变颜色分布、裁剪、模糊、侵蚀、扩张、添加随机掩模或创建不同的图像子帧等，或其组合。在一些实施例中，处理至少一个捕获图像包括标识至少一个捕获图像的对象部分和背景部分，所述对象部分表示建造模型。在一些实施例中，该方包括：确定第一似然值，所述第一似然值指示所述识别的第一真实世界建造元件是第一已知的真实世界建造元件的似然性。特别地，在一些实施例中，该方法包括：-创建第一组候选建造元件，从多个已知的真实世界建造元件中选择每个候选建造元件；以及-对于每个候选建造元件，确定指示所识别的第一真实世界建造元件是所述候选建造元件的似然性的相关的第一似然值。因此，所识别的第一建造元件不需要绝对确定地被识别，而可以仅以一定的概率被识别，并且可能存在一组识别替代物，即一组候选建造元件，其每一个都具有成为所识别的第一建造元件的各自的似然性。可以进一步理解的是，其同样适用于第二建造元件的识别，即第二建造元件也可以用相关的第二似然值来识别，并且可以存在第二组候选建造元件，其每一个具有相关的第二似然值，其指示所识别的第二建造元件确实是相关的候选建造元件的似然性。特别地，在一些实施例中，识别真实世界建造元件，例如，第一或第二真实世界建造元件，包括：-从建造系统的所述多个已知的真实世界建造元件的所述存储的数字表示确定一个或多个候选建造元件，每个候选建造元件具有相关联的似然值，其指示相应的候选建造元件是至少一个捕获图像中描绘的所检测到的真实世界建造元件的似然性。因此，所识别的第一真实世界建造元件可以是第一组候选世界建造元件中的一个，例如，具有所述第一组候选建造元件的最高第一似然值的候选建造元件。在一些实施例中，识别过程可以是包括多次迭代的迭代过程，其中每次迭代可以利用一个或多个先前迭代的结果。第一真实世界建造系统的识别可以是最终的，即它可以在识别过程的剩余部分期间保持不变。替代地，第一真实世界建造元件可以是初步识别的第一真实世界建造元件，其中识别决定在后续迭代中仍然可发生变化，例如，因为相关的似然值可以在后续迭代中重新计算。特别地，在一些实施例中，该方法还包括基于对第二真实世界建造元件的识别来更新第一似然值。例如，识别具有高第二似然值的第二真实世界建造元件可以使得该过程增加来自具有与第二真实世界建造元件的联接构件兼容的联接构件的第一组候选建造元件的候选的第一似然值。类似地，识别具有高第二似然值的第二真实世界建造元件可以使得该过程减少来自具有与第二真实世界建造元件的联接构件不兼容的联接构件的第一组中的候选的第一似然值。特别地，在一本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其用于识别组装以形成真实世界建造模型的建造系统的多个真实世界建造元件，特别是组装以形成真实世界玩具建造模型的玩具建造系统的玩具建造元件，每个真实世界建造元件包括联接构件，用于将所述真实世界建造元件与所述建造系统的一个或多个其他真实世界建造元件可拆卸地连接，从而形成所述真实世界建造模型；其中所述方法包括：‑接收所述真实世界建造模型的至少一个捕获图像；‑处理所述至少一个捕获图像，以便从所述建造系统的多个已知的真实世界建造元件的存储的数字表示至少初步地将所述至少一个捕获图像中的至少第一真实世界建造元件识别为第一已知的真实世界建造元件，每个数字表示包括连接性信息，所述连接性信息指示对应的真实世界建造元件如何可拆卸地连接到所述建造系统的其他真实世界建造元件；‑检测所识别的第一真实世界建造元件附近的图像中的至少第二真实世界建造元件的图像数据；‑从所述建造系统的所述多个已知的真实世界建造元件的所述存储的数字表示将所述第二真实世界建造元件识别为第二已知的真实世界建造元件；其中识别所述第二真实世界建造元件至少部分地基于与所述第一和第二已知的建造元件相关联的连接性信息。

【技术特征摘要】
【国外来华专利技术】2016.05.09 DK PA2016703041.一种计算机实现的方法，其用于识别组装以形成真实世界建造模型的建造系统的多个真实世界建造元件，特别是组装以形成真实世界玩具建造模型的玩具建造系统的玩具建造元件，每个真实世界建造元件包括联接构件，用于将所述真实世界建造元件与所述建造系统的一个或多个其他真实世界建造元件可拆卸地连接，从而形成所述真实世界建造模型；其中所述方法包括：-接收所述真实世界建造模型的至少一个捕获图像；-处理所述至少一个捕获图像，以便从所述建造系统的多个已知的真实世界建造元件的存储的数字表示至少初步地将所述至少一个捕获图像中的至少第一真实世界建造元件识别为第一已知的真实世界建造元件，每个数字表示包括连接性信息，所述连接性信息指示对应的真实世界建造元件如何可拆卸地连接到所述建造系统的其他真实世界建造元件；-检测所识别的第一真实世界建造元件附近的图像中的至少第二真实世界建造元件的图像数据；-从所述建造系统的所述多个已知的真实世界建造元件的所述存储的数字表示将所述第二真实世界建造元件识别为第二已知的真实世界建造元件；其中识别所述第二真实世界建造元件至少部分地基于与所述第一和第二已知的建造元件相关联的连接性信息。2.如权利要求1所述的方法，其中处理所述至少一个捕获图像包括标识所述至少一个捕获图像的对象部分和背景部分，所述对象部分表示所述建造模型。3.如前述权利要求中任一项所述的方法，包括：确定第一似然值，所述第一似然值指示所述识别的第一真实世界建造元件是所述第一已知的真实世界建造元件的似然性。4.如权利要求3所述的方法，还包括基于对所述第二真实世界建造元件的识别来更新所述第一似然值。5.如前述权利要求中任一项所述的方法，其中识别所述第二真实世界建造元件包括：-从所述建造系统的所述多个已知的真实世界建造元件的所述存储的数字表示确定一个或多个候选建造元件，每个候选建造元件具有相关联的第二似然值，其指示所述相应的候选建造元件是所述至少一个捕获图像中描绘的所检测到的第二真实世界建造元件的似然性。6.如权利要求5所述的方法，其中识别所述第二真实世界建造元件包括：-对于候选建造元件中的每一个且基于所述捕获图像，估计对应的虚拟建造元件在对应于所述真实世界建造模型的虚拟建造模型中的放置；-基于所估计的放置与至少所述捕获图像的相关性，计算每个候选建造元件的各自的对应值；-至少基于所计算的对应值选择候选建造元件和对应的放置。7.如权利要求6所述的方法，其中估计虚拟建造模型中的所述放置至少基于接收到的深度信息和/或接收到的颜色信息。8.如权利要求5至7中任一项所述的方法，其中识别所述第二真实世界建造元件包括：-确定所识别的第一真实世界建造元件的联接构件连接到所述真实世界建造模型的另一真实世界建造元件的第一连接似然性。9.如权利要求5至8中任一项所述的方法，其中识别所述第二真实世界建造元件包括：-对于每个候选建造元件，确定所述候选建造元件的联接构件在所述真实世界建造模型内处于所检测到的第二真实世界建造元件的位置时可与所识别的第一真实世界建造元件的联接构件连接的第二连接似然性；-至少基于所确定的第二连接似然性来确定所述第二似然值。10.如权利要求9从属于权利要求8时所述的方法，其中至少基于所确定的第一连接似然性和所述第二连接似然性来确定所述第二似然值...

【专利技术属性】
技术研发人员：TGKR奥尔森，T雅各布森，J索德伯格，F洛瓦特，
申请(专利权)人：乐高公司，
类型：发明
国别省市：丹麦,DK