实时运动捕捉的方法和设备技术

一种通过实时运动捕捉来控制与计算装置通信的显示屏上所呈现对象的方法，包括：　　　　标识与正追踪对象相关的深度图像；　　　　标识与显示屏上所呈现对象和正追踪对象二者相关的模型；　　　　将所述模型拟合到所述深度图像以捕捉与正追踪对象相关的运动；以及　　　　根据所述模型到所述深度图像的拟合来实时控制显示屏上所呈现的对象。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及视频处理，更具体地说，涉及追踪图像深度和/或与图像相关的标记以提供视频游戏应用的实时运动捕捉。
技术介绍
电影、视频游戏和其它有关的视频产品捕捉距离与维度信息。关于电影，可以分开捕捉演员或运动人物的动作。例如，当执行活动时，可由多台摄像机拍摄运动人物。附在运动人物上的对象(即，球状物)能够追踪动作。追踪的动作然后存储在数据库中，以便随后在电影或视频游戏中使用。这些动作可通过运行数据库中存储的动作的帧来回放。图1是身体上布满多个球状物以存储其动作的一个人的示意图。人100具有分布于其身上的多个球状物102。然后人100将执行由多个摄像机104捕捉的某些活动。然后捕捉的视频数据可根据需要编辑，以定义视频数据106。然后视频数据106被存储在数据库108中，以随后检索用于插入电影中。相对图1描述的方案在不需要实时运动捕捉的受控环境下工作良好，例如电影编辑。此外，由于捕捉并存储了人的动作，因此该人只须佩戴一次球状物。然而，关于图1所描述的运动捕捉仅用于被动方式中，即，编辑者在编辑电影时将存储的动作插入电影中。因此，所捕捉的动作不控制电影的任何方面，并随后被插入电影中。对于视频游戏同样成立，即，所捕捉的运动不用于控制视频游戏的任何方面。部分地，复杂的计算能力以及逐点扫描的需要造成无法将所捕捉的运动用于实时控制。因此，有解决现有技术问题的需要，要提供一种用于提供能够控制视频游戏各个方面(诸如对象和角色动作)的实时运动捕捉的方法和设备。
技术实现思路
概况地说，本专利技术通过提供一种通过玩视频游戏人的实时运动捕捉能够控制视频游戏角色和对象的方法与设备来满足上述需要。应理解的是，可以多种方式实现本专利技术，包括作为方法、系统、计算机可读媒体或装置。下面描述本专利技术的几个专利技术的实施例。在一个实施例中，提供用于实时运动捕捉以便控制视频游戏角色的方法。该方法始于定义控制对象的模型。然后，标识模型上的标记位置。接着，捕捉与控制对象相关的动作。然后，解释与控制对象相关的动作，以改变模型的姿势。接着，根据模型姿势的改变控制显示屏上呈现的角色动作。在另一实施例中，提供一种通过实时运动捕捉来控制与计算装置通信的显示屏上呈现的对象的方法。该方法始于标识与正追踪对象相关的深度图像。然后，标识与显示屏上所呈现对象及正追踪对象二者相关的模型。接着，将模型拟合到(fit to)深度图像以捕捉与正追踪对象相关的运动。然后，根据模型到深度图像的拟合来实时控制显示屏上呈现的对象。在又一实施例中，提供一种通过实时运动捕捉来控制显示屏上所呈现图像的动作的方法。该方法始于定义人的模型。然后，标识此人模型上的标记位置。接着，提供对应于此人模型某部分的深度图像。该模型部分包括标记。然后，将标记的位置与深度图像上的点相关联。接着，基于深度图像的配置定位模型部分。然后，根据该模型部分的定位来控制显示屏上所显示的视频角色。在再一实施例中，提供具有程序指令的计算机可读媒体，该指令用于通过实时运动捕捉来控制与计算装置通信的显示屏上呈现的对象。所述计算机可读媒体包括用于标识正追踪对象深度图像的程序指令；以及用于标识与显示屏上所呈现对象及正追踪对象二者相关的模型的程序指令。还包括将模型拟合到深度图像以捕捉与正追踪对象相关的运动的程序指令。还提供了用于根据模型到深度图像的拟合来实时控制显示屏上所呈现对象的程序指令。在另一实施例中，提供一种能够通过与控制图像相关的实时运动捕捉来控制对象的系统。该系统包括计算装置。提供了与该计算装置通信的显示屏。该显示屏配置为显示对象的图像，其中通过计算装置将对应于对象图像的数据提供给显示屏。包括与该计算装置通信的视频捕捉装置。该视频捕捉装置能够追踪控制对象。视频捕捉装置配置为当控制对象移动时，转换与该控制对象相关的运动以控制显示屏上所显示对象的运动。在又一实施例中，提供一种能够通过与控制图像相关的实时运动捕捉来控制视频角色的系统。该系统包括计算装置。提供用于显示来自该计算装置所接收数据的视频角色图像的部件，以及用于捕捉与控制对象相关深度图像的部件。包括用于将模型拟合到深度图像以定义控制对象动作的部件。还包括用于当控制对象移动时转换该控制对象的动作以控制显示屏上与视频角色相关运动的部件。通过参照附图及举例说明本专利技术原理，根据下面的详细描述，本专利技术的其它方面与优点变得更为明显。附图说明通过下面参照附图的详细描述易于理解本专利技术，并且相同的标号指示相同的构件。图1是身上布有多个球状物以存储其动作的人的示意图。图2是根据本专利技术一个实施例的简化示意图，说明用于控制视频游戏角色的实时运动捕捉。图3是根据本专利技术的一个实施例的人模型的示意图，其中该模型包括描绘关节角的标记。图4A至4C说明根据本专利技术一个实施例可由控制对象作为标记佩戴的示范性图案。图5是根据本专利技术一个实施例用于控制与显示屏上所呈现的角色相关的动作的控制对象实时运动捕捉的示意图。图6A是根据本专利技术一个实施例具有包含在其上的标记的连体服的示意图。图6B是图6A连体服的备选实施例。图7是根据本专利技术一个实施例说明监视标记图像帧的最佳技术的示意图。图8是根据本专利技术一个实施例的模型的示意图，描绘由深度图像填充的区域。图9是可用于实现本专利技术实施例的与图形显示器上的对象交互的示范性用户输入系统的框图。图10说明根据本专利技术实施例用于用户与图形显示器上的对象交互的输入系统。图11是配置为实现在此描述的本专利技术实施例的计算机处理系统的简化框图。图12是根据本专利技术实施例用于控制显示屏上所呈现角色的实时运动捕捉的操作方法流程图。具体实施例方式本专利技术描述一种允许可用于控制视频游戏角色或对象的实时运动捕捉的系统、设备与方法。然而，对本领域技术人员显然的是，可在没有某些或全部这些具体细节的情况下实现本专利技术。在其他实例中，没有详细描述公知的过程操作，以避免不必要地混淆本专利技术。在“
技术介绍
”部分描述了图1。本专利技术的实施例提供了一种允许实时运动捕捉以控制视频游戏角色或对象的系统与方法。玩视频游戏人的动作用于控制与该视频游戏相关的显示屏上的角色。因此，玩视频游戏人的实时运动捕捉用来控制显示屏上的角色。在此，与离线编辑并随后在后面的时间点插入到电影中的动作捕捉相反，捕捉玩视频游戏人的原始动作数据，并将其用于实时控制目的。在一个实施例中，显示屏上所呈现人物角色的动作受控于作为控制对象的用户或人的动作。用户的动作可通过视频捕捉装置(也称为图像捕捉装置，诸如网络摄像机或某些其他合适类型的摄像机)捕捉。在一个实施例中，视频捕捉装置配置为捕捉控制对象的深度图像。控制对象的深度图像提供与距离或深度相关的数据，该距离或深度与相对于视频捕捉装置的各像素相关。因此，与控制对象相关并定义关节角位置的骨架可映射到人物角色乃至非人物角色。在另一实施例中，由控制对象佩戴的标记可用来指示关节角的位置。使用标记定义的位置将深度图像与骨架结合起来，以创建控制对象。控制对象的运动然后又用于控制显示屏上的角色图像。例如，该角色图像可能是来自视频游戏的图像。因此，玩视频游戏者能够控制显示于显示屏上的角色图像。以下将更详细描述，在此描述的本专利技术的实施例，包括用于通过标记控制视频角色的实时运动捕捉。在另一实施例中，配置为提供深度信息的视频捕捉装置可与用于控制视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：R·L·马克斯，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：