对用于无线通信系统中的视频流式传输的叠加内容的同步和控制技术方案

提供了具有直接视频和音频流式传输能力的无线通信设备。该流式传输能力可以支持叠加。一些实现方式包括将这些特征并入到具有镜像显示模式的设备中。

Synchronization and control of superimposed content for video streaming transmission in a wireless communication system

A wireless communication device having direct video and audio streaming capabilities is provided. The streaming capability allows support for stacking. Some implementations include incorporating these features into devices with mirrored display modes.

【技术实现步骤摘要】
【国外来华专利技术】对用于无线通信系统中的视频流式传输的叠加内容的同步和控制
技术介绍
已经进行的最近的发展允许将视频和音频直接地从一个具备无线通信能力的设备直接流式传输到另一个具备无线通信能力的设备。一个这样的系统被称为“Miracast”。Miracast是由Wi-Fi联盟发布的无线(例如，IEEE802.11无线协议族或“Wi-Fi”)显示协议的商标。如本文使用的，术语Miracast指代当前形式的Wi-Fi联盟的显示共享协议，其还被称为Wi-Fi显示(WFD)。Miracast规范被设计用于将任何类型的视频比特流从源设备(或者“信源”)流式传输到宿设备(或者“信宿”)。举一个例子，信源可以是智能电话，而信宿可以是电视机。虽然客户端设备通常通过IEEE802.11无线网络中的接入点(AP)设备进行通信，但某些协议(例如，Wi-Fi直接型)可以支持直接设备通信。Miracast系统使用这样的协议来从一个设备向另一个设备发送显示数据，例如，从智能电话向电视或计算机发送，或者反之亦然。Miracast系统涉及通过Wi-Fi连接，将信源的帧缓冲区的内容和扬声器音频共享给远程显示器/扬声器设备(信宿)。Miracast协议涉及从帧缓冲区捕获RGB数据和从音频子系统捕获任何PCM(脉冲编码调制)音频数据的信源。帧缓冲区的内容可以是根据运行在源上的应用程序或者媒体播放器导出的。随后，信源可以对视频和音频内容进行压缩，并向信宿发送该数据。在接收到比特流时，信宿可以进行解码，并在其本地显示器和扬声器上渲染该内容。当用户在信源(例如，具备Miracast能力的信源)上本地播放音频/视频片段时，可以对比特流进行解码，并且在信源的显示器上本地渲染，并且然后可以同时地对该音频/视频内容进行捕获、重新编码、并流式传输给信宿(例如，具备Miracast能力的信宿)。然后，信宿可以进行解码，并在其显示器和扬声器上渲染相同的内容。这样的操作经常被称为“镜像”模式。
技术实现思路
在所附权利要求书的范围之内的系统、方法和设备的各种实现方式均具有若干方面，这些方面中的任何单一方面都不单独地负责本文描述的期望的属性。在不限制所附权利要求书的范围的情况下，本文描述了一些突出的特征。在附图和下面的描述中，阐述了在本说明书中描述的主题的一个或多个实现方式的细节。根据这些描述、附图和权利要求书，其它特征、方面和优点将变得显而易见。注意到的是，下面附图的相对尺寸可能未按比例绘制。本公开内容的一个方面提供了一种在被配置为从源设备无线地接收包括一个或多个叠加(overlay)的显示数据的显示数据宿设备中，处理所述一个或多个叠加的方法，其中所述一个或多个叠加包括要与在显示数据宿设备处显示的一个或多个图像帧一起显示的图形内容。该方法包括：无线地接收所述一个或多个叠加。该方法还包括：无线地接收与所述一个或多个叠加相关联的第一元数据集合，其中第一元数据集合规定关于显示所述一个或多个叠加的信息，并且其中，第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符。该方法还包括：基于第一元数据集合的值，选择性地存储与所述一个或多个叠加相应的标识符相关联的所述一个或多个叠加。在一些实施例中，该方法还包括：在所述选择性地存储之后，接收包含第一叠加的第一标识符的第二元数据集合，第一叠加是所述一个或多个叠加中的一个叠加。在一些实施例中，该方法还包括：响应于所述接收，取回所述第一叠加。在一些实施例中，该方法还包括：显示第一叠加。在一些实施例中，在不具有第一叠加的情况下，发送第二元数据集合。在一些实施例中，该方法还包括：第二元数据集合包括呈现时间戳和显示位置，并且根据该呈现时间戳和该显示位置来执行所述显示。在一些实施例中，第二元数据集合还包括呈现模式信息，并且取回第一叠加还是基于该呈现模式信息的值的。在一些实施例中，第一元数据集合还包括呈现模式信息，并且选择性地存储所述一个或多个叠加还是基于所述呈现模式信息的值的。在一些实施例中，如果所述呈现模式信息的值指示针对宿设备遵循被动呈现模式的指令，则宿设备存储所述一个或多个叠加，并且如果所述呈现模式信息的值不指示针对宿设备遵循所述被动呈现模式的指令，则宿设备不存储所述一个或多个叠加。在一些实施例中，第一元数据集合包括以下各项中的一项或多项：用于确定宿设备能够支持叠加的参数、以及用于规定要与所述一个或多个叠加中的一个叠加一起使用的阿尔法(alpha)混合模式的阿尔法混合信息。在一些实施例中，第一元数据集合包括：关于用于混合的每像素阿尔法数据被包括在具有偏移参数的分组化基本流(PES)分组中的指示，其中该偏移参数指示在其处包括了每像素阿尔法数据的数据字段的位置。在一些实施例中，第二元数据集合包括用于规定要与所述一个或多个叠加中的一个叠加一起使用的阿尔法混合模式的阿尔法混合信息。在一些实施例中，该方法还包括：向源设备发送用于指示在所述接收、所述取回和所述显示之前，已经发生用户动作的信息。在一些实施例中，将所述一个或多个叠加接收成运动图像专家组2(MPEG2)传输流，其中，在MPEG2传输流中的PES报头里提供第一元数据集合，该PES报头包括PES报头格式，该PES报头格式包括含有用于规定至少所述一个或多个叠加的属性的信息的字段，并且所述传输流的一个或多个部分相对于一个或多个其它传输流单独地解码。本公开内容的另一个方面提供了一种在被配置为向宿设备无线地发送包括一个或多个叠加的显示数据的显示数据源设备中处理所述一个或多个叠加的方法，其中所述一个或多个叠加包括要与在宿设备处显示的一个或多个图像帧一起显示的图形内容。该方法包括：无线地发送所述一个或多个叠加。该方法包括：无线地发送与所述一个或多个叠加相关联的第一元数据集合，其中第一元数据集合规定关于显示所述一个或多个叠加的信息，并且其中，第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符。在一些实施例中，第一元数据集合还包括呈现模式信息，其中该呈现模式信息指示宿设备基于第一元数据集合的值，选择性地存储与所述一个或多个叠加相应的标识符相关联的所述一个或多个叠加。在一些实施例中，该方法还包括：从宿设备接收用于指示在宿设备上已经发生用户动作的信息；以及响应于所述接收，向宿设备发送第二元数据集合，其中第二元数据集合包括用于指示宿设备取回并且显示所述一个或多个叠加中的一个叠加的指令信息。本公开内容的另一个方面提供了一种显示数据宿设备，其被配置为从源设备无线地接收包括一个或多个叠加的显示数据，以及处理所述一个或多个叠加，其中，所述一个或多个叠加包括要与在该显示数据宿设备处显示的一个或多个图像帧一起显示的图形内容。该显示数据宿设备包括显示器。该显示数据宿设备还包括存储器。该显示数据宿设备还包括无线接收机。该显示数据宿设备还包括处理电路。该处理电路被配置为接收所述一个或多个叠加。该处理电路还被配置为接收与所述一个或多个叠加相关联的第一元数据集合，其中第一元数据集合规定关于在显示器上显示所述一个或多个叠加的信息，并且第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符。该处理电路还被配置为基于第一元数据集合的值，与所述一个或多个叠加相应的标识符相关联地，将所述一个或多个叠加选择性地存储在存储器中。本公开内容的另一个方面本文档来自技高网...

【技术保护点】
一种在被配置为从源设备无线地接收包括一个或多个叠加的显示数据的显示数据宿设备中，处理所述一个或多个叠加的方法，所述一个或多个叠加包括要与在所述显示数据宿设备处显示的一个或多个图像帧一起显示的图形内容，所述方法包括：无线地接收所述一个或多个叠加；无线地接收与所述一个或多个叠加相关联的第一元数据集合，所述第一元数据集合规定关于显示所述一个或多个叠加的信息，并且其中，所述第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符；以及基于所述第一元数据集合的值，选择性地存储与所述一个或多个叠加相应的标识符相关联的所述一个或多个叠加。

【技术特征摘要】
【国外来华专利技术】2014.09.05 US 62/046,751;2015.09.03 US 14/845,2111.一种在被配置为从源设备无线地接收包括一个或多个叠加的显示数据的显示数据宿设备中，处理所述一个或多个叠加的方法，所述一个或多个叠加包括要与在所述显示数据宿设备处显示的一个或多个图像帧一起显示的图形内容，所述方法包括：无线地接收所述一个或多个叠加；无线地接收与所述一个或多个叠加相关联的第一元数据集合，所述第一元数据集合规定关于显示所述一个或多个叠加的信息，并且其中，所述第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符；以及基于所述第一元数据集合的值，选择性地存储与所述一个或多个叠加相应的标识符相关联的所述一个或多个叠加。2.根据权利要求1所述的方法，还包括：在所述选择性地存储之后，接收包含第一叠加的第一标识符的第二元数据集合，所述第一叠加是所述一个或多个叠加中的一个叠加；响应于所述接收，取回所述第一叠加；以及显示所述第一叠加。3.根据权利要求2所述的方法，其中，所述第二元数据集合是在不具有所述第一叠加的情况下发送的。4.根据权利要求2所述的方法，其中，所述第二元数据集合包括呈现时间戳和显示位置，并且其中，所述显示是根据所述呈现时间戳和所述显示位置来执行的。5.根据权利要求2所述的方法，其中，所述第二元数据集合还包括呈现模式信息，并且其中，取回所述第一叠加还是基于所述呈现模式信息的值的。6.根据权利要求1所述的方法，其中，所述第一元数据集合还包括呈现模式信息，并且其中，选择性地存储所述一个或多个叠加还是基于所述呈现模式信息的值的。7.根据权利要求6所述的方法，其中，如果所述呈现模式信息的值指示针对所述宿设备遵循被动呈现模式的指令，则所述显示数据宿设备存储所述一个或多个叠加，并且其中，如果所述呈现模式信息的值不指示针对所述宿设备遵循所述被动呈现模式的指令，则所述宿设备不存储所述一个或多个叠加。8.根据权利要求1所述的方法，其中，所述第一元数据集合包括以下各项中的一项或多项：用于确定所述宿设备能够支持叠加的参数集合、以及用于规定要与所述一个或多个叠加中的一个叠加一起使用的阿尔法混合模式的阿尔法混合信息。9.根据权利要求8所述的方法，其中，所述第一元数据集合包括：关于用于混合的每像素阿尔法数据被包括在具有偏移参数的分组化基本流(PES)分组中的指示，所述偏移参数指示在其处包括了所述每像素阿尔法数据的数据字段的位置。10.根据权利要求2所述的方法，其中，所述第二元数据集合包括用于规定要与所述一个或多个叠加中的一个叠加一起使用的阿尔法混合模式的阿尔法混合信息。11.根据权利要求2所述的方法，还包括：向所述源设备发送用于指示在所述接收、所述取回和所述显示之前，已经发生用户动作的信息。12.根据权利要求1所述的方法，其中，所述一个或多个叠加被接收成运动图像专家组2(MPEG2)传输流，其中，所述第一元数据集合是在所述MPEG2传输流中的PES报头中提供的，其中，所述PES报头包括PES报头格式，所述PES报头格式包括含有用于规定至少所述一个或多个叠加的属性的信息的字段，并且其中，所述传输流的一个或多个部分相对于一个或多个其它传输流单独地解码。13.一种在被配置为向宿设备无线地发送包括一个或多个叠加的显示数据的显示数据源设备中，处理所述一个或多个叠加的方法，所述一个或多个叠加包括要与在所述宿设备处显示的一个或多个图像帧一起显示的图形内容，所述方法包括：无线地发送所述一个或多个叠加；以及无线地发送与所述一个或多个叠加相关联的第一元数据集合，所述第一元数据集合规定关于显示所述一个或多个叠加的信息，并且其中，所述第一元数据集合包括所述一个或多个叠加中的每个叠加的标识符。14.根据权利要求13所述的方法，其中，所述第一元数据集合还包括呈现模式信息，所述呈现模式信息指示所述宿设备基于所述第一元数据集合的值，选择性地存储与所述一个或多个叠加相应的标识符相关联的所述一个或多个叠加。15.根据权利要求13所述的方法，还包括：从所述宿设备接收用于指示已经在所述宿设备上发生用户动作的信息；以及响应于所述接收，向所述宿设备发送第二元数据集合，所述第二元数据集合包括用于指示所述宿设备取回并且显示所述一个或多个叠加中的一个叠加的指令信息。16.一种显示数据宿设备，其被配置为从源设备无线地接收包括一个或多个叠加的显示数据，以及处理所述一个或多个叠加，其中，所述一个或多个叠加包括要与在所述显示数据宿设备处显示的一个或多个图像帧一起显示的图形内容，所述显示数据宿设备包括：显示...

【专利技术属性】
技术研发人员：V·N·苏布拉马尼亚姆，P·L·卡夫勒，F·肖卡特，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US