与图形图象相互作用的用户输入设备和方法技术

这里公开了一种响应于用户输入、实施一个对象在一个图形显示器上的运动的设备和方法。一个输入设备包含：一个用于捕获视频图象的部件；一个输入图象处理器，响应于来自于视频图象的运动生成一个输出信号；和一个输出图象处理器，被编程用以响应于从输入图像处理器接收的信号，实施对象在图形显示器上的运动。在输入图象处理器内使用了各种算法以确定控制对象在图形显示器上的运动的初始和导出数据。在一个最佳实施例中，视频图象被捕获和处理以从背景中分离出一个人体形状，从该人体形状中计算手臂的位置和运动数据，并且响应于这个数据生成一个信号，用于控制一个对象、诸如一只鸟在一个图形显示器上的运动。在图形显示器上控制的运动能够采取一个活动对象的形式、或是这样一个物体可能经历的场景（例如，鸟的视场）的改变的形式。（*该技术在2021年保护过期，可自由使用*）

User input device and method for interacting with graphic image

Disclosed herein is an apparatus and method for responding to user input, implementing a movement of an object on a graphical display. An input device comprises a component for capturing video images; an input image processor that generates an output signal in response to the motion from the video images; and an output image processor is programmed in response to a signal received from the input image processor, the implementation of object motion on the graphical display of the. Various algorithms are used in the input image processor to determine the initial and derived data of the motion of the control object on the graphic display. In a preferred embodiment, the video image is captured and processed to isolate a human shape from the background, calculation of the position and motion data from the arm of the human body shape, and generate a response signal to the data, for the control of an object, such as a bird in a graphical display the movement. The movement controlled on a graphics display can take the form of a moving object, or a change in the form of an object (e.g., a field of view) that an object may experience.

【技术实现步骤摘要】

本专利技术通常涉及用于实施一个物体在一个图形显示器上的运动的用户输入设备和方法，更具体地是涉及这样一种输入设备和方法，其中用户的视频图象被捕获和处理以提供一个用以实施一个物体在一个图形显示器上的平移和/或旋转运动的信号。尤其是，这个专利技术适用于诸如视频游戏的图形娱乐系统。 专利技术
技术介绍
使用视频图象的系统、方法、输入和输入设备被用来实施一个物体在一个图形显示器诸如视频监视器上的运动。经常地，这种视频输入设备响应于一个用户在一个视频捕获设备的视场内的运动或位置。近年来，视频图象处理已经被用来将已经被捕获作为一序列视频图象的用户运动转换成为用于游戏控制的信号。现有技术中的输入系统包含一个视频捕获设备，它扫描一个系统用户所处于的视场。所捕获的视频图象应用于一个提供数字输出到一个处理器的视频数字化仪，然后由该处理器分析和处理从数字化仪接收的数字信息，并且基于参与者在视场内的运动或位置，产生信号由该图形生成系统使用，以便在显示屏上运动物体。尽管设备或图形显示器的操作或输出能够由此受到参与者的位置或运动的影响，但是需要的计算机处理时间常常是非常长和复杂的，其趋于需要充足的计算机和/或时间资源。此外，使用用户视频图象数据、来实施一个对象在一个图形显示器上的运动的已知设备和方法的通常特征在于在摄像机视场内的参与者上的重要阻碍。这种系统可以包含要求参与者穿戴的附加设备，诸如整体的手臂覆盖物或手套、更容易检测的部分或颜色、和/或诸如发光二极管之类的可见光源。然而，这种系统不能够提供一个能够满足对消费品的市场需求、诸如视频游戏控制器可能需要的用户输入设备所需要的易用、迅速响应、和简单性。此外，已知的系统包含视频图象的附加分析以便了解或识别正在发生的运动，诸如与预先存在的标记的比较，这增加了系统复杂性和响应时间，使它们不能被广泛使用。此外，尽管已知系统可能需要输入视频图象处理器识别和确定相当多的片段、边界、和/或方框，以便产生用于图形显示器控制目的的输出信号，但是这些系统不允许基于有限片段/瞬间的最小初始判定的一系列控制信号计算，这些系统也不提供以一种简单、平稳的方式，生成适用于输入视频分辨率较低的时间和系统的输出信号。因此，使用用户视频图象输入用于与在一个图形显示器上的对象相互作用的本系统，假若经由输出图形显示器保持控制的一个有效水平时，通常不会提供需要的简单性、反应性、和市场化质量的性能。本专利技术的概述和目的根据使用视频图象用于与一个图形显示器相互作用的用户输入技术的现有状况，考虑到上述缺点，本专利技术的一个目的是提供一种用户输入系统和方法，它不仅提供了设计和方法和简单性，还提供了坚实、有效的相互作用。本专利技术实施例的进一步目的是提供一个允许从仅仅几个片段/瞬间的初始判定中计算一系列控制信号的用户输入系统。本专利技术实施例还有一个进一步目的是提供一个需要和消费者娱乐系统相一致的计算机处理性能的用户输入系统。本专利技术实施例另外还有一个目的是提供一个在摄像机视场内没有任何用户阻碍的用户输入系统。这里公开了一种用于响应于用户输入，实施一个对象在一个图形显示器上的运动的设备和方法。一个输入设备包含一个用于捕获视频图象的部件；一个输入图象处理器，用于处理所捕获的视频图象，并且响应于来自于该视频图象的运动生成一个输出信号；和一个输出图象处理器，被编程用以响应于从输入图像视频处理器接收的信号，实施一个对象在图形显示器上的运动。在输入图象处理器内使用了各种算法以确定实施物体在图形显示器上的运动的初始和导出数据。在一个最佳实施例中，捕获和处理视频图象以从背景中分离一个人体形状，从该人体形状中计算出手臂位置和运动数据，而且由输入图象处理器产生一个信号，其中该输入图象处理器对这个数据做出响应以控制一个对象、诸如一只鸟在一个图形显示器上的运动。在图形显示器上控制的运动能够采取一种运动对象的形式、或是这样一个对象可能经历的场景(例如，鸟的视场)的改变的形式。通过附图和随后的详细说明，本专利技术的其它特征和优点将会是显而易见的。附图简要说明本专利技术在附形中通过举例、而不是限制，进行了说明，在附图中相似的附图标记表示相似的元件，其中附图说明图1是一个可用于实现本专利技术的实施例、用于与在一个图形显示器上的一个对象进行相互作用的示例用户输入系统的方框图；图2说明了一个依据本专利技术的一个实施例、用于与在一个图形显示器上的一个物体进行相互作用的用户输入系统；图3是依据本专利技术一个实施例、显示了被划分成左右手臂子图像以用于判定手臂角度的一幅人体图象的示例图；图4是一个说明了依据本专利技术一个实施例、响应于一个用户手臂的运动，实施一个对象在一个图形显示器上的运动的步骤的流程图；图5说明了依据本专利技术一个实施例、用于用户位置的第一种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；图6说明了依据本专利技术一个实施例、用于用户位置的第二种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；图7说明了依据本专利技术一个实施例、用于用户位置的第三种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；图8说明了依据本专利技术一个实施例、用于用户位置的第四种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；图9说明了依据本专利技术一个实施例、用于用户位置的第五种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；图10是实现了依据本专利技术实施例的用户输入设备和方法的一个示例处理系统的方框图。最佳实施例说明这里公开了一种响应于用户输入、实施一个对象在一个图形显示器上的运动的设备和方法。在下面的描述中，为了说明起见，阐述了大量细节以便提供对本专利技术的一个彻底了解。然而，显然对本领域的一个普通技术人员来说没有这些细节，也可以实现本专利技术。在其它情况下，众所周知的结构和设备以方框图形式显示以便于说明。最佳实施例的描述不打算限制这里附加的权利要求的范围。硬件综述本专利技术的方面可以由能够执行基本视频图象处理和能够图形化显示的设备实现。图1是一个可用于实现本专利技术实施例、用于与在一个图形显示器上的一个对象进行相互作用的示例用户输入系统的方框图。如图1所示，用户输入系统100包含一个视频捕获设备102、一个输入图象处理器104、一个输出图象处理器106、和一个视频显示设备108。视频捕获设备102可以是能够捕获视频图象序列的任何一种设备，在当前最佳实施例中，它是一位数字视频摄像机(诸如一个“网络摄像机)、或是类似的图象捕获设备。输入图象处理器104将所捕获的人体手臂运动的视频图象转换成为被传送到一个输出图象处理器的信号。在一个实施例中，输入图象处理器104被编程用于在所捕获的视频图象中将人体形状从背景中分离出来，从躯干中分离出人体手臂部分，确定人体手臂的位置和运动，并且响应于人体手臂的位置和/或运动生成一个输出信号。输出图象处理器106被编程用来响应于从输入图象处理器104接收的信号，实施一个对象在视频显示设备108上的平移和/或旋转运动。本专利技术的这些和另外的方面可以由执行软件指令的一个或多个处理器实现。依据本专利技术的一个实施例，单个处理器执行输入图象处理和输出图象处理。然而，如图所示，并且为了便于说明，将处理操作显示为分成一个输入图象处理器104本文档来自技高网...

【技术保护点】
一种提供一个信号以实施一个对象在一个图形显示器上的平移和／或旋转运动的输入设备，包含： 一个用于捕获视频图象的设备； 一个输入图象处理器，将捕获的人体手臂运动的视频图象转换成为被传送到一个输出图象处理器的信号，该输入图象处理器被编程用于：（ａ）在捕获的视频图象中将人体形状从背景中分离出来；（ｂ）确定人体手臂的位置和运动；以及（ｃ）响应于该人体手臂的位置和／或运动，生成一个输出信号；以及 一个输出图象处理器，被编程用来响应于从输入图象处理器１０４接收的信号、实施一个对象在一个图形显示器上的平移和／或旋转运动。

【技术特征摘要】
US 2000-9-1 09/654,1411.一种提供一个信号以实施一个对象在一个图形显示器上的平移和/或旋转运动的输入设备，包含一个用于捕获视频图象的设备；一个输入图象处理器，将捕获的人体手臂运动的视频图象转换成为被传送到一个输出图象处理器的信号，该输入图象处理器被编程用于(a)在捕获的视频图象中将人体形状从背景中分离出来；(b)确定人体手臂的位置和运动；以及(c)响应于该人体手臂的位置和/或运动，生成一个输出信号；以及一个输出图象处理器，被编程用来响应于从输入图象处理器104接收的信号、实施一个对象在一个图形显示器上的平移和/或旋转运动。2.如权利要求1所述的输入设备，其特征在于输出图象处理器依据一个飞行对象将看到的场景图改变图形显示。3.如权利要求1所述的输入设备，其特征在于输出图象处理器生成一个飞行对象的一个图形显示，其中该飞行对象的位置和运动响应于由输入图象处理器输出的信号。4.一种使用人体手臂的位置和运动数据、生成信号以实施一个对象在一个图形显示器上的平移和/或旋转运动的方法，包含提供一个图象处理器和一个用于捕获视频图象的设备；捕获视频图象和处理那些图象以从背景中分离出人体形状；分离人体形状的手臂部分；计算手臂的位置和运动数据；以及响应于手臂的位置和运动数据，生成一个用于实施一个对象在一个图形显示器上的平移和/或旋转运动的信号。5.一种使用人体手臂的位置和/或运动数据生成信号的方法，包含提供一个图象处理器和一个用于捕获视频图象的设备；用该设备捕获视频图象，并且使用图象处理器处理那些图象以从背景中分离出人体形状；使用图象处理器从一幅捕获的视频图象中分离出该人体形状的手臂部分；使用图象处理器计算手臂的位置和运动数据；以及响应于手臂的位置和运动数据，使用该图象处理器生成一个信号。6.一种使用人体手臂的位置和/或运动数据，生成信号以实施一个对象在一个图形显示器上的平移和/或旋转运动的方法，包含提供一个图象处理器和一个用于捕获一个视频序列的设备；从该视频序列中捕获一个没有包含一个人的帧；通过在该视频序列和没有包含人的帧上执行一种算法，分离包含了一个前景主体图象视图的视图；确定分离出来的视图是否包含一个人的图象；确定主体躯干的水平范围，以便在每个捕获的视频帧中分离出人体形状的手臂部分；通过计算在视频图象的手臂部分中的非零像素的理论力矩角度来计算手臂角度；以及响应于手臂角度，生成一个手臂位置数据信号用于实施一个对象在一个图形显示器上的平移和/或旋转运动。7.如权利要求6所述的方法，其特征在于确定视图中是否包含一个人的步骤包含以下步骤统计在前景图象中非零像素的总数；确保非零像素的总数在由像素的最小和最大阈值数目定义的一个范围之内。8.如权利要求6所述的方法，其特征在于在分离步骤中的算法涉及从在视频序列中的单帧中减去没有包含一个人的帧。9.如权利要求6所述的方法，其特征在于在该分离步骤中使用了下列算法(a)获得静止背景Y0 U0 V0帧；(b)使用一个5×5的高斯卷积平滑图像Y0 U0 V0；(c)获得当前YUV视频帧；(d)使用一个5×5的高斯卷积平滑图像YUV；(e)对以Y表示的每一个像素，计算Ydif＝abs(Y-Y0)；(f)对以U表示的每一个像素，计算Udif＝abs(U-U0)；(g)对以V表示的每一个像素，计...

【专利技术属性】
技术研发人员：R马克斯，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：JP[日本]