用于修改由视频合成单元用来生成合成视频信号的布局的方法、设备及装置制造方法及图纸

在一个实施例中，一种方法包括：在显示器上提供被配置来由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔相关联，检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中的、与所述位置在多个间隔中所位于的间隔相关联的布局合成合成视频信号。

【技术实现步骤摘要】
【国外来华专利技术】用于修改由视频合成单元用来生成合成视频信号的布局的方法、设备及装置对相关申请的交叉引用本申请要求于2011年7月29日提交的美国临时专利申请No.61/513,190的权益，其全部内容通过引用并入本文。
本公开总体涉及修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置。
技术介绍
视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据(通常被称为双重视频(DuoVideo))流的端点，该各种网络例如是：广域网(WAN)、局域网(LAN)、和电路交换网络。今天，技术安装的用户都习惯于并且要求系统要易于使用并且能提供图形化环境的定制和设备间的协作的方式的灵活性。传统的视频会议系统不是很灵活。例如，无论用户在发起连续的呈现和/或双重视频呼叫时选择何种布局，不同视频和/或数据流的位置和大小都会超出用户的控制。此外，传统的视频会议系统是使用由红外(IR)远程控制设备上的键板控制的屏幕上的菜单系统操作的，允许的灵活性有限并且用户体验笨拙。附图说明通过阅读下面的说明和查看附图，本公开将被更好地理解。这些附图仅被提供用作实施例的非限制性示例。在附图中：图1是示出了用于生成合成视频信号的本公开的方法的流程图；图2示出了用于显示合成视频信号的显示区域或显示器的区域；图3是示出了本公开的一个实施例的示意框图；图4是示出了本公开的一个实施例的示意框图；图5是示出了本公开的一个实施例的示意框图；图6根据本公开的一个实施例示出了（一个或多个）显示区域；图7根据本公开的一个实施例示出了（一个或多个）显示区域；图8根据本公开的一个实施例示出了（一个或多个）显示区域；图9根据本公开的一个实施例示出了显示器；图10根据本公开的一个实施例示出了显示器；图11示出了可以在其上实现本公开的实施例的计算机系统。具体实施方式概览在一个实施例中，一种方法包括：在显示器上提供被配置为由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔的相关联。该方法还包括：检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中与所述位置在多个间隔中所位于的间隔相关联布局来合成合成视频信号。示例实施例视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据（通常被称为双重视频（DuoVideo））流的端点。存在于不同站点的多个视频会议系统通常可以通过（一个或多个）多点控制单元（MCU）参与同一会议，该（一个或多个）多点控制单元例如执行交换和混合功能以允许视听终端正常地相互通信。MCU可以是作为中央网络资源操作的独立设备，或者能够被集成在视频会议系统的编码解码器（codec）中。MCU通过从（视频会议系统所位于的）各站点接收会议信号的帧、处理所接收的信号、并且将经处理的信号重新发送回适当的站点将各站点链接在一起。在连续呈现会议中，来自两个或多个站点的视频信号和/或数据信号在空间上进行混合以形成由会议参与者观看的合成视频信号。该合成视频信号是组合的视频信号，可以包括来自会议中的参与者的实况视频流、静态图像、菜单或其它可视图像。不同的视频和/或数据信号如何在空间上进行混合存在无限多的可能性，例如不同视频和数据帧在合成图像中的大小和位置。编码解码器和/或MCU具有一组存储在MCU或视频会议编码解码器上的预配置的合成视频信号模板，为由MCU或编码解码器接收的一个或多个视频和/或数据流在合成视频信号内分配一个或多个区域（帧）。这些模板也可以被称为布局。本公开与支持重要场景的一组布局（或图像合成类型）相关联，并且通过操纵统一体（continuum）内的对象使用户能够在布局（或图像合成类型）之间无缝地移动。这有助于控制当前处于焦点的媒体对象（例如，活动发言者或演示）和剩余的媒体对象之间的相对大小。术语“站点”用于统指具有视听端点和会议参与者或用户的位置，或者简单地指端点。术语“合成视频信号”用于统指是一个或多个视频会议流的空间混合的视频信号。术语“视频合成单元”用于统指在处理设备上运行的设备或软件，该处理设备被配置来接收P个视频会议流并且将流（stream）一起混合到一个或多个合成视频流中，以及将一个或多个合成视频流输出到一个或多个端点。合成视频信号中的视频会议流的位置和大小取决于视频合成单元所使用的布局。视频合成单元的非限制性示例是多点控制单元（MCU）。术语“端点”用于统指视频会议端点或终端（比如，个人端点、会议室端点、礼堂端点等）、或在协助与其它端点的视听通信的个人计算机上运行的软件应用。术语“视频会议流”用于统指源于端点的多媒体流，例如，视频流、音频流、图像、来自连接到该端点的第二设备（比如，计算机或数字化通用磁盘（DVD）播放器）的多媒体。术语“布局”用于统指用于定义合成视频信号的合成的模板、或者确定或用作模型（pattern）的任何东西。根据本公开的一个实施例，布局是定义所有视频会议流在合成视频信号中的位置和大小的配置文件，例如，XML文档。根据本公开的一个实施例的示例性布局或配置文件可以被表示如下：来自两个或多个站点的视频会议流在空间上进行混合以形成合成视频信号。由视频会议流占据的区域被称为框。当视频合成单元混合视频会议信号时，视频合成单元需要知道每个框的确切位置和大小。因此，布局或配置文件至少定义每个框的位置、大小以及识别视频会议流来源的ID。参考上面的布局或配置文件，不同框在合成视频信号中的<Position>以左上角的坐标来给出。<Width>和<Height>以像素值定义框的大小。<VideoSourceId>与应该显示在框中的视频会议流来源相关。本公开涉及用于修改由视频合成单元用来生成合成视频信号（例如，双重视频或连续呈现视频会议）的布局的方法和端点。根据本公开，方法和端点在显示器上向用户提供对象，其中该对象被配置为由用户沿轴或连续线（continuousline）来进行移动。方法和端点与支持重要场景到沿连续线的间隔的布局（或合成）相关联，并且使得用户能够通过跨连续线地操纵对象在布局（或合成）间无缝地移动。连续线仅是示例。轴既不必是线也不必是连续的。轴可以是弧线、圆，和/或不连续的。连续线的一端与所选择的布局（例如，全屏只示出声音最大的发言者）相关联。连续线的另一端与另一布局（例如，所有视频会议流以近似相等的大小跨一个或多个屏幕分布）相关联。可以存在与中间的间隔相关联的其它布局。可移动的对象可以与合成视频信号一起显示在端点的主显示器上，或者该对象可以与当前视频合成（布局）的副本一起显示在单独的控制设备上（比如，触摸屏远程控制）。由于示例性实施例涉及操纵控制的单个轴，示例性实施例可能适合于各种用户输入机制，比如，传统的远程控制（将需要用户可选择的模式来控制布局合成）、鼠标、和触摸屏。此外，其它实施例可以包含控制的多个轴。图1示出了用于生成合成视频信号以显示在端点显示器上的示例性方法的示意流程图。该方法开始于起始步骤100。在提供步骤110中，可由用户沿轴或连续线进行移动的对象被提供到显示器上。图2是用于示出本公开的特征的示意图，并且示出了用于显示合成视频信号210的显示区域或显示器的本文档来自技高网...

【技术保护点】
一种方法，包括：在显示器上提供被配置来由用户沿轴移动的对象；将多个预定义的布局与沿所述轴的各间隔相关联；检测针对所述对象的、指示所述轴上的位置的用户动作；以及响应于对所述用户动作的检测，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。

【技术特征摘要】
【国外来华专利技术】2011.07.29 US 61/513,1901.一种用于视频会议的方法，包括：在显示器上提供被配置来由用户沿轴移动的对象，其中所述轴具有由所述轴上的一组阈值位置隔开的多个间隔；将多个预定义的布局分别与沿所述轴的所述多个间隔中的相应的间隔相关联；检测针对所述对象的、指示所述轴上的位置的用户动作；以及响应于对所述用户动作的检测，使用所述多个预定义的布局中的与所述位置在所述多个间隔中所位于的间隔相关联的布局来合成合成视频信号。2.如权利要求1所述的方法，其中所述合成步骤还包括：识别所述位置在所述多个间隔中所位于的间隔；以及选择与所述间隔相关联的所述布局。3.如权利要求2所述的方法，还包括：将所选择的布局提供至视频合成单元，所述视频合成单元合成合成图像，并且被配置来接收多个视频会议流以及基于布局输出包括所接收的视频会议流中的一个或多个流的合成视频信号。4.如权利要求1所述的方法，其中所述合成视频信号包括一个或多个视频会议流的空间混合，以及所述布局定义用于包含所述视频会议流的一个或多个框，所述方法还包括：为所述多个间隔中的至少一个间隔提供所述至少一个间隔内的位置与关联于所述至少一个间隔的相应布局的一个或多个框的大小和位置之间的关系，以及响应于对所述用户动作的检测，计算布局，其中所述布局的每个框的大小和位置是基于所述关系和所述位置的。5.如权利要求1所述的方法，还包括：在所述显示器上显示所述合成视频信号，所述显示器是视频会议终端的显示器。6.如权利要求5所述的方法，还包括：在控制设备的显示器上显示所述对象连同当前显示在所述视频会议终端的显示器上的所述合成视频信号的副本，所述控制设备连接到所述视频会议终端。7.如权利要求1所述的方法，还包括：在所述显示器上显示所述对象，所述显示器是视频会议终端的显示器。8.如权利要求6所述的方法，还包括：随着所述对象被所述用户移动，实时更新所述合成视频信号和所述副本中的一个。9.如权利要求1所述的方法，还包括：将所述多个预定义的布局中的一个布局的M种变化与所述多个间隔中的一个或多个间隔内的M个子间隔相关联；响应于对所述用户动作的检测，识别所述位置在多个子间隔中所位于的子间隔；选择...

【专利技术属性】
技术研发人员：哈根·思科拉姆斯塔德，
申请(专利权)人：思科技术公司，
类型：
国别省市：