将样本元数据与媒体样本进行耦合制造技术

在样本元数据处理领域的创新可以帮助媒体回放工具避免样本元数据和媒体样本之间的同步的丢失。例如，媒体回放工具标识用于当前媒体样本的编码数据和样本元数据，然后将样本元数据与当前媒体样本进行耦合。媒体回放工具向媒体解码器提供用于当前媒体样本的样本元数据和编码数据，即使在当前媒体样本被丢弃，延迟，分割或重复时，所述媒体解码器在解码的至少一个阶段期间也保持样本元数据的至少一个元素与当前媒体样本之间的耦合。例如，媒体回放工具可以确定是否丢弃当前媒体样本，并且如果当前媒体样本被丢弃，则还丢弃与当前媒体样本耦合的样本元数据。

【技术实现步骤摘要】
【国外来华专利技术】将样本元数据与媒体样本进行耦合
技术介绍
工程师使用压缩（也称为源编解码（coding）或源编码（encoding））来降低数字媒体数据的比特率。压缩通过将媒体数据转换为较低比特率形式来减少存储和传输媒体数据的成本。解压缩（也称为解码）从压缩形式重建原始媒体数据的版本。“编解码器”是编码器/解码器系统。在过去二十年中，已经采用了各种视频编解码器标准和格式，并且已经采用了各种音频编解码器标准和格式。编解码器标准或格式典型地定义用于编码的媒体比特流（有时称为媒体基本比特流）的语法的选项，以便当在编码和解码中使用特定特征时详述媒体基本比特流中的参数。在许多情况下，编解码器标准或格式还提供关于媒体解码器应当执行以在解码中实现正确结果的解码操作的细节。媒体容器格式或流媒体格式指定如何组织编码的媒体数据以用于存储、传输等。媒体容器格式或流媒体格式可以包括用于关于编码的媒体数据的元数据的字段，元数据诸如是，用于调整解码或呈现的定时的时间戳、数字权限管理数据、回放控制数据或指示如何解码或再现媒体数据的其他数据。已经发布了用于媒体数据的各种媒体容器格式，包括如在ITU-TH.222.0|ISO/IEC13818-1中定义的MPEG-2TS/PS、高级系统格式（“ASF”）（原名高级流格式）、如在ISO/IEC14496-12中定义的MPEG-4（“MP4”）（ISO基础媒体文件格式）、14496-14（MP4文件格式）和14496-15（AVC文件格式）、通用文件格式（“CFF”）和Matroska视频格式（“MKV”）。此外，已经发布了用于媒体数据的各种流媒体格式，包括MPEG-DASH、HTTP直播流（“HLS”）、平滑流和实时传输协议（“RTP”）的变型（例如，如在IETFRFC3550或另一IETFRTP规范中定义的），其可以在容器格式文件（诸如MP4或MPEG-2TS）中或者在一个或多个媒体基本比特流中包括编码的媒体数据。一般地，媒体源是这样的组件，其解析媒体文件或媒体流，并且将媒体基本比特流中的编码的媒体数据提供给媒体解码器以用于解码。每天，数百万媒体文件和媒体流被用户通过各种活动来运用（consume）。在一些情况下，由于在传输期间的随机比特翻转或分组丢失，媒体文件或媒体流被破坏。或者，由于存储装置故障，由于不适当的记录或者出于另一个原因，媒体文件或媒体流可能被破坏。当回放媒体文件或媒体流中的媒体数据时，媒体解码器可能丢弃不能解码的媒体样本（例如，视频帧）。与媒体数据相关联的样本元数据于是可能相对于正被解码的媒体样本丢失同步。元数据-媒体同步的这种丢失可能导致解码或呈现的问题，诸如音频/视频同步的丢失或可能取决于复杂的重新排序规则的媒体样本的重新排序中的错误。此外，媒体文件和媒体流可以由各种各样的源生成。将样本元数据与媒体样本进行匹配可能是一种挑战。将样本元数据映射到适当的媒体样本中的错误会导致媒体解码、媒体呈现或媒体编辑的问题。
技术实现思路
总而言之，本文描述了样本元数据处理的领域中的创新。例如，媒体回放工具将样本元数据与对应的媒体样本进行耦合，并且即使当媒体样本被丢弃，延迟，分割或重复时，也在解码和输出处理的各个阶段期间保持样本元数据的至少一些元素与对应的媒体样本之间的耦合。根据本文所描述的创新的一个方面，媒体回放工具在媒体基本比特流中标识用于当前媒体样本的编码数据。媒体回放工具还从媒体基本比特流的外部标识用于当前媒体样本的样本元数据。媒体回放工具将样本元数据与当前媒体样本进行耦合。媒体回放工具并发地向媒体解码器提供用于当前媒体样本的样本元数据和编码数据。根据本文所描述的创新的另一方面，媒体回放工具标识用于当前媒体样本的编码数据，标识用于当前媒体样本的样本元数据，并将样本元数据与当前媒体样本进行耦合。在针对当前媒体样本执行的解码的至少一个阶段期间，媒体回放工具维持样本元数据的至少一个样本元数据元素与当前媒体样本的耦合。例如，媒体回放工具可以确定是否丢弃当前媒体样本，并且如果当前媒体样本被丢弃，则还丢弃与当前媒体样本耦合的样本元数据。作为另一示例，媒体回放工具可以确定是否延迟当前媒体样本，并且如果当前媒体样本被延迟，则还延迟与当前媒体样本耦合的样本元数据。根据本文所描述的创新的另一方面，媒体回放工具包括媒体源和媒体解码器。媒体源被配置为接收被分割成数据单元的输入数据。根据媒体容器格式或流媒体格式组织的输入数据包括用于媒体样本的媒体基本比特流中的编码数据，以及用于至少一些媒体样本的在媒体基本比特流外部的样本元数据。媒体源将给定的样本元数据与数据单元中的给定一个数据单元相关联，并且将给定的样本元数据与具有在该给定数据单元中开始的编码数据的媒体样本中的给定一个媒体样本进行耦合。然后，媒体源向媒体解码器提供用于给定媒体样本的编码数据和给定样本元数据。本文描述的创新可以被实现为方法的一部分，实现为被配置为执行该方法的计算系统的一部分，或者实现为存储用于使得由其编程的计算系统执行该方法的计算机可执行指令的有形计算机可读介质的一部分。各种创新可以组合或单独使用。提供本
技术实现思路
以便以简化形式介绍以下将在具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。通过参照附图进行的以下详细描述，本专利技术的前述和其他目的、特征和优点将变得更加明显。附图说明图1是其中可以实现一些所描述的实施例的示例计算系统的图。图2a和2b是其中可以实现一些所描述的实施例的示例网络环境的图。图3是结合其可以实现一些所描述的实施例的示例媒体回放工具的图。图4a是图示出了由媒体解码器暴露的功能的占用空间（footprint）的伪代码列表，媒体解码器接受用于媒体样本的编码数据以及存储与媒体样本耦合的样本元数据的元素的结构，作为输入。图4b是图示出存储样本元数据的元素的示例结构的伪代码列表。图5是结合其可以实现一些所描述的实施例的示例视频解码器系统的图。图6-8是图示出用于处理与适当的媒体样本耦合的样本元数据的一般化技术的流程图。具体实施方式具体实施方式呈现了在样本元数据处理领域的创新。例如，根据创新中的一些，媒体回放工具将样本元数据与适当的媒体样本进行耦合，并且在解码和输出处理的各个阶段期间，甚至在媒体样本被丢弃、延迟、分割或重复时，保持样本元数据的至少一些样本元数据元素与对应媒体样本之间的耦合。以这种方式，媒体回放工具可以避免样本元数据和媒体样本之间的同步的丢失，该丢失可能导致在媒体解码、媒体呈现或媒体编辑期间的问题。尽管本文描述的操作在某些地方被描述为由视频回放工具执行或者结合视频回放工具来执行，但是在许多情况下，操作可以由另一类型的媒体回放工具（例如，音频回放工具）执行或者结合其来执行。更一般地，本文描述的示例的各种替代方案是可能的。例如，本文描述的方法中的一些可以通过以下方式来改动：改变所描述的方法动作的排序，分割、重复或省略某些方法动作等。所公开的技术的各个方面可以组合或单独使用。不同的实施例使用所描述的创新中的一个或多个创新。本文所述的创新中的一些创新解决了
技术介绍
中提到的问题中的一个或多个问题。典型地，给定的技术/工具不解决所有这些问题。I.示例计算系统本文档来自技高网...

【技术保护点】
一个或多个存储计算机可执行指令的计算机可读介质，计算机可执行指令用于使得由其编程的计算系统执行：在媒体基本比特流中标识用于当前媒体样本的编码数据；从所述媒体基本比特流的外部标识用于所述当前媒体样本的样本元数据；将用于所述当前媒体样本的样本元数据与所述当前媒体样本进行耦合；以及并发地向媒体解码器提供用于当前媒体样本的样本元数据和用于当前媒体样本的编码数据。

【技术特征摘要】
【国外来华专利技术】2014.09.25 US 14/4970011.一个或多个存储计算机可执行指令的计算机可读介质，计算机可执行指令用于使得由其编程的计算系统执行：在媒体基本比特流中标识用于当前媒体样本的编码数据；从所述媒体基本比特流的外部标识用于所述当前媒体样本的样本元数据；将用于所述当前媒体样本的样本元数据与所述当前媒体样本进行耦合；以及并发地向媒体解码器提供用于当前媒体样本的样本元数据和用于当前媒体样本的编码数据。2.根据权利要求1所述的一个或多个计算机可读介质，还存储用于使所述计算系统执行以下操作的计算机可执行指令：解码用于所述当前媒体样本的编码数据以生成所述当前媒体样本的重建版本；以及处理所述当前媒体样本的所述重建版本以供输出，其中用于所述当前媒体样本的所述样本元数据的至少一个样本元数据元素在所述解码期间保持与所述当前媒体样本耦合。3.根据权利要求2所述的一个或多个计算机可读介质，其中，在用于输出的处理期间运用用于所述当前媒体样本的样本元数据的所述至少一个样本元数据元素，并且用于所述当前媒体样本的样本元数据的至少一个其他样本元数据元素在解码期间运用。4.根据权利要求2所述的一个或多个计算机可读介质，其中所述处理包括从解码顺序到显示顺序的样本重新排序，其包括，相对于另一个媒体样本，与所述当前媒体样本的重建版本的重新排序并行地重新排序用于当前媒体样本的样本元数据的至少一些样本元数据。5.根据权利要求1所述的一个或多个计算机可读介质，其中，用于所述当前媒体样本的样本元数据包括以下项中的一个或多个：呈现时间戳、解码时间戳、帧呈现持续时间值、最大可解码空间分辨率值、前滚动标志值、不连续性标志值、旋转数据和三维显示数据。6.根据权利要求1所述的一个或多个计算机可读介质，还存储用于使所述计算系统执行以下操作的计算机可执行指令：确定所述当前媒体样本是否缺失样本元数据元素；以及响应于确定所述当前媒体样本缺失了样本元数据元素，在用于其他媒体样本的样本元数据元素之间进行插值以确定用于所述缺失的样本元数据元素的替换物。7.根据权利要求1所述的一个或多个计算机可读介质，其中并发地提供包括：传递用于所述当前媒体样本的所述编码数据和用于所述当前媒体样本的样本元数据，作为对由所述媒体解码器暴露的功能的功能调用的参数，其中用于所述当前媒体样本的样本元数据作为结构传递，并且其中，使用指针和长度值通过引用来传递用于当前媒体样本的编码数据。8.根据权利要求1所述的一个或多个计算机可读介质，还存储用于使所述计算系统执行以下操作的计算机可执行指令：接收根据媒体容器格式或流媒体格式组织的输入数据，其中所述输入数据被分割成一个或多个数据单元，并且其中输入数据包括以下各项中的每一个：用于当前媒体样本的编码数据；用于一个或多个其他媒体样本的编码数据；用于所述当前媒体样本的样本元数据；以及用于所述一个或多个其他媒体样本中的至少一些媒体样本的样本元数据；以及将用于所述当前媒体样本的样本元数据与所述一个或多个数据单元中用于所述当前媒体样本的编码数据所开始的...

【专利技术属性】
技术研发人员：ZA易卜拉欣，吴勇军，S萨瓦尼，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US