分布式媒体流同步控制制造技术

下面描述用于通过在内容源和汇之间的直接无线链路接收的音频和视频数据流的无线显示同步的一种或多种系统、装置、方法和计算机可读介质。在一些实施方式中，与在源处把数字音频和数字视频数据流编码成经压缩分组数据流相关联的展现时间戳(PTS)被用作在汇处展现的数字音频和视频流有效载荷的同步的控制点。在一些实施方式中，基于指示显示同步错误的反馈信号确定一个或多个无线显示同步PTS值。包括光学照相机的源可以生成由多路复用器用无线显示同步PTS值来编码和分组的音频/视频(A/V)流。在进一步的实施方式中，在源和汇中的一种或多种处提供媒体同步用户输入界面。

【技术实现步骤摘要】

技术介绍
随着移动设备的增加和无线联网的流行，无线显示能力正经历快速增长。在无线显示技术中，在源设备和汇显示设备之间的无线链路代替了在计算机和监视器之间的典型数据电缆。无线显示协议通常是对等或“直接”的，且大多数使用模型具有发射媒体内容的移动设备，媒体内容由一个或多个外部监视器接收和显示。在典型的抓屏(screencasting)应用中，例如，智能手机可以无线耦合到一个或多个外部监视器、显示面板、电视、投影仪等等。已经开发了无线显示规范(例如，英特尔公司的WiDi v3.5和来自Wi-Fi联盟的Miracast计划的Wi-Fi显示器v1.0或WFD)，用于在具有足够带宽的无线局域网上传输经压缩视频数据和音频数据流。例如，当前的无线显示技术利用了能够流传播经编码全高清视频数据以及高保真度音频数据(例如，5.1环绕)的WiFi技术(例如，2.4GHz和5GHz无线电频段)。对于媒体内容的无线和有线传输两者，在由接收显示(汇)设备解码和展现视频和音频数据时，所展现的视频信号的时序可能偏离所展现的音频信号的时序(timing)。这种时序差异或失配通常被称为“唇形同步(lip sync)”错误，这是因为在内容表示人说话时无线显示器用户的最容易明显看出这种错误。唇形同步错误可以被量化为音频偏离与视频的理想同步的时间量，其中正时间量指示音频领先于视频，且负数指示音频滞后于视频。唇形同步错误可以随时间改变，例如在传输期间A/V流恶化时发生。在50毫秒和几秒之间的唇形同步错误并不罕见。特定的有线媒体内容接收器，例如兼容于高清媒体接口(HDMI)标准(例如，2013年9月4日发布的2.0)的接收器，包括了唇形同步功能，通过该功能，可以自动地调整音频处理时间以便消除音频/视频时序中的错误。然而，迄今为止，无线显示技术仍缺乏充分解决唇形同步问题的能力。附图说明作为示例而非限制在附图中阐释在此描述的资料。出于阐释的简单和清晰起见，并不必定按比例绘制各图中阐释的元素。例如，为了清晰起见，可以把一些元
素的尺度相对于其他元素而放大。进一步，在认为合适的场合，在各图当中已经重复了参考标签，以便指示相应的或相似的元素。各图中：图1是描述根据一些实施方式包括同步控制的无线显示系统示意图；图2A是描述根据一些实施方式包括具有无线显示同步控制的视频捕捉平台的无线显示系统的示意图；图2B是描述根据一些实施方式包括具有无线显示同步控制的视频转播(relay)平台的无线显示系统的示意图；图3是描述根据一些实施方式用于无线显示同步控制的方法的流程图；图4A是阐释根据一些实施方式同步经编码音频和视频流的方法的流程图；图4B是阐释根据一些实施方式的数字音频和视频内容分组结构的示意图；图5是阐释根据一些实施方式在同步用户输入和展现时间戳修改之间的映射的示意图；图6是根据各实施方式的视频捕捉设备的功能框图；图7是根据一些实施方式的数据处理系统的框图；图8是根据一些实施方式包括展现时间戳修改模块的示例性超低功率系统的图；以及图9是根据一些实施方式安排的示例性移动手持机平台的图。具体实施方式参考附图描述一种或多种实施方式。尽管详细描述和讨论了特定的配置和布置，但应理解，这样做仅仅是出于说明性目的。相关领域中的技术人员将认识到，在部偏离本描述的前体下，其他配置和布置也是可能的。相关领域中的技术人员将明显看出，在此描述的技术和/或布置可以用于在此详细描述的内容之外的各种其他系统和应用。在下列详细描述中参考了附图，附图形成下列详细描述的一部分，且阐释示例性的实施方式。进一步，应理解，可以利用其他实施方式，且可以在不偏离所要求保护的主题的范围的前提下做出结构和/或逻辑改变。因此，不应以限制意义来理解下列详细描述，且由所附权利要求和它们的等效物单独地界定所要求保护的主题的范围。在下列描述中，陈述了众多细节，然而，本领域中的技术人员将明显看出，无需这些特定的细节就可以实践各实施方式。以框图形式而非详细示出公知的方法
和设备，以免模糊更显著的方面。贯穿本说明书对“一种实施方式”或“一种实施方式”的引用意指在至少一种实施方式中包括结合该实施方式描述的具体的特征、结构、功能或特性。因而，贯穿本说明书各种场所出现短语“在一种实施方式中”或“在一种实施方式中”并不一定都是指相同的实施方式。此外，在一种或多种实施方式中，可以以任何合适方式组合在一种实施方式的上下文中描述的具体的特征、结构、功能或特性。例如，在与两种实施方式相关联的具体的特征、结构、功能或特性彼此不排斥的任何地方，第一实施方式可以与第二实施方式组合。除非上下文明确另外指出，否则示例性实施方式和所附权利要求的描述中所使用的单数形式“一个”、“一种”和“所述”预期也包括复数形式。还应理解，在此所使用的术语“和/或”是指且包括关联的列出项中的一个或多个的任何和所有可能的组合。贯穿本描述且在权利要求中所使用的，由术语“……中的至少之一”或“……中的一个或多个”结合起来的各项的列表可以意指所列出的项的任何组合。例如，短语“A、B或C中的至少之一”可以意指A；B；C；A和B；A和C；B和C；或A、B和C。在此可以使用术语“耦合”和“连接”以及它们的派生词来描述在各组件之间的功能或结构关系。应理解，这些术语预期是彼此的同义词。相反，在特定的实施方式中，“连接”可以用来表示两个或更多个元素彼此处于直接的物理、光学或电气接触。“耦合”可以用来表示两个或更多个元素彼此处于直接或非直接(在它们之间有其他中间元素)的物理、光学或电气接触，以及/或者两个或更多个元素协同操作或彼此交互(例如，存在因果关系)。按照对在计算机存储器内的数据比特的操作的算法和符号表示来展现在此提供的详细描述的一些部分。从下列讨论明显看出，除非另外具体说明，应明白，贯穿本描述，利用诸如“计算”、“计算”、“确定”、“估计”、“存储”、“收集”、“显示”、“接收”、“合并”、“生成”、“更新”等等之类的术语的讨论是指计算机系统或类似电子计算设备的动作和过程，这些动作和过程把被表示为在包括寄存器和存储器的计算机系统电路内的物理(电子)量的数据操纵和变换成类似地被表示为在计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。尽管下列描述陈述了可以用诸如例如的片上系统(SoC)体系结构的体系结构表示的实施方式，但在此描述的技术和/或布置的实现不限于特定的体系结构和/或
计算系统，且可以由用于类似目的的任何体系结构和/或计算系统来实现。采用例如多个集成电路(IC)芯片和/或封装的各种体系结构，和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费者电子(CE)设备，都可以实现在此描述的技术和/或布置。进一步，尽管下列描述可以陈述众多特定的细节例如逻辑实现、系统组件的类型和相互关系、逻辑划分/集成选择等等，但无需这样的特定细节就可以实践所要求保护的本主题。此外，可以不详细示出诸如例如控制结构和全软件指令序列的一些材料，以免模糊在此公开的材料。在此公开的材料的某些部分可以用硬件实现，例如实现为图像处理器中的逻辑电路。某些其他部分可以用硬件、固件、软件或其任何组合来实现。在此公开的材本文档来自技高网...

【技术保护点】
一种视频源装置，包括：流多路复用器，其把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组；无线发射器，其耦合到所述多路复用器的输出以便使得所述第一分组无线流传播到配对显示设备；以及PTS调整模块，其耦合到所述多路复用器的输入，以触发响应于音频/视频(A/V)展现同步错误的、对所述经编码视频和音频数据的一个或多个第二分组的PTS修改，所述音频/视频(A/V)展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出而感知或确定的。

【技术特征摘要】
2015.03.24 US 14/667,5251.一种视频源装置，包括：流多路复用器，其把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组；无线发射器，其耦合到所述多路复用器的输出以便使得所述第一分组无线流传播到配对显示设备；以及PTS调整模块，其耦合到所述多路复用器的输入，以触发响应于音频/视频(A/V)展现同步错误的、对所述经编码视频和音频数据的一个或多个第二分组的PTS修改，所述音频/视频(A/V)展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出而感知或确定的。2.如权利要求1所述的装置，其特征在于，所述PTS调整模块：接收指示所述A/V展现同步错误的同步错误信号；以及基于所述同步错误信号确定抵消所述A/V展现同步错误的所述PTS修改。3.如权利要求2所述的装置，其特征在于：所述PTS调整模块：把所述同步错误信号映射到预先确定的PTS偏置值；通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值；以及所述多路复用器把所述经修改PTS值分配给所述经编码视频和音频数据的所述第二分组中的一个或多个。4.如权利要求2所述的装置，其特征在于：所述多路复用器，响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS。5.如权利要求1所述的装置，进一步包括：同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入；以及其中，所述PTS调整模块：把所述用户输入映射到预先确定的PTS偏置值；通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值；以及其中，所述多路复用器：响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS；以及响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。6.如权利要求1所述的装置，进一步包括：照相机模块，其生成数字视频和音频数据；视频编码器和音频编码器，其耦合在所述照相机模块的输出和所述多路复用器的输入之间，所述的各编码器生成所述经编码视频和音频数据。7.如权利要求1所述的装置，进一步包括：视频编码器和音频编码器，其耦合到所述多路复用器的输入，所述的各编码器生成所述经编码视频和音频数据；A/V解码器，其耦合到所述视频和音频编码器的输入，其中，所述A/V解码器、视频编码器和音频编码器包括转码器，其接收第一经编码A/V流并输出第二经编码音频和视频位流。8.一种无线显示系统，包括：如权利要求1所述的视频源装置；以及显示设备，其在所述A/V源设备和所述显示设备之间所维护的反向通道上传输所述A/V展现同步错误。9.如权利要求8所述的无线显示系统，其特征在于，所述显示器装置进一步包括同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入。10.一种无线视频显示器，包括：无线接收器，其接收来自配对源设备的第一分组的流；解复用器，其耦合到所述无线接收器的输出，且至少部分地基于与所述第一分组相关联的一个或多个展现时间戳(PTS)来去复用来自经压缩视频数据有效载荷的经压缩音频数据有效载荷；音频解码器和视频解码器，其耦合到所述解复用器的输出，所述的各解码器生成数字音频和视频数据；音频展现管线和视频展现管线，其耦合到所述解码器以便输出表示所述数字音频和视频数据的A/V；同步错误用户界面，其接收指示所述A/V展现中的同步错误的用户输入；以及无线发射器，其把所述A...

【专利技术属性】
技术研发人员：S·J·劳伦斯，R·安咖迪玛尼，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US