在生成媒体字幕的缓冲区约束版本时优化编码操作制造技术

在各种实施例中，一种基于缓冲区的编码应用基于与媒体字幕相关联的第一子序列和多个编码点来生成子序列编码点的第一凸包。然后，基于缓冲区的编码应用基于传输缓冲区约束、第一凸包和媒体编码点的第二全局凸包来生成媒体编码点的第一全局凸包。值得注意的是，第二全局凸包与媒体字幕的一部分相关联，该部分按照媒体字幕的回放顺序出现在第一子序列前。随后，基于子序列的编码应用基于媒体度量选择在第一全局凸包中包含的第一媒体编码点，并且基于所选择的媒体编码点来确定第一编码媒体序列。在媒体字幕的回放期间，第一编码媒体序列随后被流式传输到端点设备。

【技术实现步骤摘要】
【国外来华专利技术】在生成媒体字幕的缓冲区约束版本时优化编码操作相关申请的交叉引用本申请要求于2019年1月9日提交的美国临时申请No.16/244,033的权益，其通过引用合并于本文中。
本专利技术的实施例一般涉及编码技术，并且更具体地涉及在生成媒体字幕(title)的缓冲区约束版本时优化编码操作。
技术介绍
典型的媒体流传输服务提供对可在一系列不同端点设备上查看的媒体字幕库的访问。每个端点设备均可以不同连接条件(其影响带宽和延迟)下连接到媒体流传输服务。此外，每个不同的端点设备均可以包括用于向终端用户输出媒体字幕的不同硬件。例如，给定的端点设备可以包括显示屏，该显示屏具有特定屏幕尺寸和特定屏幕分辨率。在许多实施方案中，连接到媒体流传输服务的端点设备执行端点应用，该端点应用基于端点设备的连接条件和属性来为给定的媒体字幕确定媒体字幕的适当编码版本，以流式传输到端点设备。更具体地，端点应用尝试选择媒体字幕的特定编码版本，该特定编码版本在端点设备上回放媒体字幕期间提供最佳可能的视觉质量，同时避免由于缓冲或重新缓冲导致的回放中断。在一些实施方案中，端点应用基于比特率阶梯选择媒体字幕的特定编码版本。比特率阶梯被设计用于基于可用带宽在媒体字幕回放期间实现目标视觉质量。比特率阶梯中的每个梯级均指定不同的比特率-分辨率对，该不同的比特率-分辨率对对应于媒体字幕的不同的预先生成的编码版本。为了生成对应于给定比特率-分辨率对的媒体字幕的编码版本，以该分辨率对与媒体字幕相关联的媒体内容进行采样，以生成采样的媒体内容。基于比特率选择速率控制值，然后使用编码器对采样的媒体内容进行编码。上述“单片”编码技术的一个缺点是，与给定媒体字幕相关联的媒体内容的复杂性经常随着媒体字幕而变化；而用于编码媒体内容的分辨率和速率控制值不变。结果，对媒体字幕的相对简单部分进行编码可能比满足目标视觉质量所必需的消耗更多的计算资源和存储资源。例如，媒体字幕的相对简单部分均可以具有相同的视觉质量，无论媒体内容的该部分是使用560千位每秒(kbps)的比特率还是使用3000kbps的比特率进行编码。除其他外，此类编码效率低下会浪费计算资源和存储资源，并增加将媒体字幕的编码版本流式传输到端点设备所需的带宽。在其他实施方案中，为了减少这些类型的编码效率低下，媒体流传输服务供应商随着媒体字幕改变分辨率和速率控制值。通常，基于子序列的编码应用将媒体字幕划分为不同子序列或帧集，子序列或帧集由相似属性来表征。然后，基于子序列的编码应用以各种不同的分辨率和速率控制值对每个子序列进行多次编码，以生成编码的子序列。随后，基于子序列的编码应用执行优化操作，以生成媒体字幕的不同优化编码版本。媒体字幕的每个优化编码版本包括跨越媒体字幕长度的编码子序列的不同组合，并且分辨率和/或速率控制值可以在组成编码子序列之间变化。上述“基于子序列”编码技术的一个缺点是媒体字幕的优化编码版本不一定符合传输缓冲区约束，该传输缓冲区约束通常与向端点设备的传输以及在端点设备处进行缓冲相关联。通常，如果媒体字幕的编码版本符合相关的传输缓冲区约束，则端点设备将更能够尤其是在恒定比特率传输信道上正确地缓冲和回放媒体字幕。然而，如果媒体字幕的编码版本不符合相关的传输缓冲区约束，则端点设备将不太能够正确地缓冲和回放媒体字幕。在后一种情况下，当将媒体字幕流式传输到端点设备时，可能会发生回放中断，该回放中断降低观看体验的总体质量。例如，通过恒定带宽信道(例如广播电视中使用的那些)传输的媒体字幕的编码版本通常需要遵守恒定比特率比特率(CBR)视频缓冲区(VBV)约束。在恒定带宽信道中，编码比特(bit)以固定速率到达与端点设备相关联的解码器，并存储在具有固定尺寸的传输缓冲区中。作为显示媒体字幕的特定帧的一部分，解码器从传输缓冲区中移除相关的编码比特。因为用于对每个帧进行编码的比特数随着媒体字幕可能会有所不同，因此传输缓冲区存储的编码比特数在媒体字幕的回放期间也可能会有所不同。如果媒体字幕的编码版本与CBRVBV约束兼容，则用于对每个帧进行编码的比特数将受到限制，以确保在媒体字幕回放期间传输缓冲区不会上溢或下溢。但是，如果传输缓冲区上溢，则传输缓冲区可能没有空间来存储传入的编码比特。因此，可能会发生丢帧。此外，如果传输缓冲区下溢，则无法从传输缓冲区中检索编码比特，并且可能发生帧冻结。如上所述，本领域需要更有效的媒体字幕编码技术。
技术实现思路
本专利技术的一个实施例提出了一种用于编码媒体字幕的计算机实现的方法。该方法包括：基于与媒体字幕相关联的第一子序列和第一组编码点而生成子序列编码点的第一凸包；基于传输缓冲区约束、第一凸包和媒体编码点的第二全局凸包来生成媒体编码点的第一全局凸包，该媒体编码点的第二全局凸包与媒体字幕的一部分相关联，该部分按照媒体字幕的回放顺序出现在第一子序列前；基于媒体度量来选择在第一全局凸包中包含的第一媒体编码点；以及基于第一媒体编码点来确定第一编码媒体序列，其中第一编码媒体序列随后在媒体字幕的回放期间流式传输到端点设备。所公开的技术相对于现有技术的至少一个技术优点是编码媒体序列是基于多组单独编码的子序列和传输缓冲区约束而生成的。值得注意的是，包括在每个编码媒体序列中的单独编码子序列可以与不同的编码点相关联。因此，减少了通常与现有技术单片编码技术相关联的编码低效率。此外，通过确保优化的编码媒体序列与传输缓冲区约束兼容，减少了当将媒体字幕流式传输到端点设备时由于传输限制和缓冲限制而降级的观看体验。这些技术优势提供了优于现有技术方法的一项或多项技术进步。附图说明为了能够详细理解各个实施例的上述特征，可以通过参考各个实施例对上面简要概括的本专利技术构思进行更具体的描述，其中一些实施例在附图中示出。然而，应当注意，附图仅示出了本专利技术构思的典型实施例，并且因此不应被视为以任何方式限制范围，并且存在其他等效的实施例。图1是被配置为实现本专利技术的一个或多个方面的系统的概念图示；图2是根据本专利技术的各种实施例的图1的基于缓冲区的编码应用的更详细图示；图3是根据本专利技术的各种实施例的图2的编码点列表的更详细图示；图4是根据本专利技术的各种实施例的图2的子序列编码组中一个子序列编码组的更详细图示；图5图示了根据本专利技术的各种实施例的由图2的凸包生成器生成的示例性凸包；图6是根据本专利技术的各种实施例的图2的媒体编码点中的一个媒体编码点的更详细图示；图7是根据本专利技术的各种实施例的图2的子序列迭代器的更详细图示；图8图示了根据本专利技术的各种实施例的由图2的基于缓冲区的编码应用生成的示例性全局凸包和示例性优化的编码媒体序列；以及图9A-图9B阐述了根据本专利技术的各种实施例的用于编码源媒体字幕的方法步骤的流程图。具体实施方式在以下描述中，阐述了许多具体细节以提供对各种实施例的更透彻的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有一个或多个这些特定细节的情况下实践本专利技术构思。为了优化流传本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n基于与媒体字幕相关联的第一子序列和第一组编码点来生成子序列编码点的第一凸包；/n基于传输缓冲区约束、所述第一凸包和媒体编码点的第二全局凸包来生成媒体编码点的第一全局凸包，所述媒体编码点的第二全局凸包与所述媒体字幕的一部分相关联，所述部分按照所述媒体字幕的回放顺序出现在所述第一子序列前；/n基于媒体度量，选择在所述第一全局凸包中包含的第一媒体编码点；以及/n基于所述第一媒体编码点来确定第一编码媒体序列，其中所述第一编码媒体序列随后在所述媒体字幕的回放期间被流式传输到端点设备。/n

【技术特征摘要】
【国外来华专利技术】20190109 US 16/244,0331.一种计算机实现的方法，包括：
基于与媒体字幕相关联的第一子序列和第一组编码点来生成子序列编码点的第一凸包；
基于传输缓冲区约束、所述第一凸包和媒体编码点的第二全局凸包来生成媒体编码点的第一全局凸包，所述媒体编码点的第二全局凸包与所述媒体字幕的一部分相关联，所述部分按照所述媒体字幕的回放顺序出现在所述第一子序列前；
基于媒体度量，选择在所述第一全局凸包中包含的第一媒体编码点；以及
基于所述第一媒体编码点来确定第一编码媒体序列，其中所述第一编码媒体序列随后在所述媒体字幕的回放期间被流式传输到端点设备。


2.根据权利要求1所述的计算机实现的方法，其中所述传输缓冲区约束包括恒定比特率视频缓冲区验证器(VBV)约束或可变比特率VBV约束。


3.根据权利要求1所述的计算机实现的方法，进一步包括：基于与所述第一编码媒体序列相关联的最小缓冲区占用率和与所述传输缓冲区约束相关联的缓冲区尺寸来计算预缓冲时间。


4.根据权利要求1所述的计算机实现的方法，其中生成所述第一全局凸包包括：
对于在所述第二全局凸包中包含的媒体编码点和在所述第一凸包中包含的子序列编码点的每个组合，生成在一组媒体编码点中包含的不同的媒体编码点；
基于所述传输缓冲区约束来对所述一组媒体编码点执行一次或多次过滤操作，以生成一组兼容媒体编码点；以及
遍历所述一组兼容媒体编码点而执行一次或多次凸包操作，以生成所述第一全局凸包。


5.根据权利要求1所述的计算机实现的方法，其中所述媒体度量包括比特率，并且选择所述第一媒体编码点包括：确定与所述第一媒体编码点相关联的第一平均比特率大于与在所述第一全局凸包中包含的所有其他媒体编码点相关联的平均比特率。


6.根据权利要求1所述的计算机实现的方法，其中生成所述第一全局凸包包括：
基于在所述第二全局凸包中包含的第二媒体编码点和在所述第一凸包中包含的第一子序列编码点，来生成第二编码媒体序列；
基于所述第二编码媒体序列和与所述传输缓冲区约束相关联的传输速率，来计算最小缓冲区占用率和最大缓冲区占用率；
确定所述最大缓冲区占用率与所述最小缓冲区占用率之间的差不超过与所述传输缓冲区约束相关联的缓冲区尺寸；以及
响应于确定所述差不超过所述缓冲区尺寸，将与所述第二编码媒体序列相关联的第二媒体编码点添加到所述第一全局凸包。


7.根据权利要求1所述的计算机实现的方法，其中生成所述第一凸包包括：
根据所述第一组编码点和所述第一子序列来生成第一组子序列编码点；
确定包括所述第一组子序列编码点的区域；
识别与所述区域相关联的边界，其中在所述边界的第一侧没有在所述第一组子序列编码点中包含的子序列编码点；以及
丢弃在所述第一组子序列编码点中包含的不沿着所述边界定位的所有子序列编码点。


8.根据权利要求1所述的计算机实现的方法，其中在所述第一组编码点中包含的每个编码点指定分辨率和速率控制值的不同组合。


9.根据权利要求1所述的计算机实现的方法，还包括：基于多个场景变化来将与所述媒体字幕相关联的源媒体序列划分为多个子序列，其中所述多个子序列包括所述第一子序列。


10.根据权利要求1所述的计算机实现的方法，其中所述媒体字幕包括视频内容和音频内容中的至少一者。


11.一种或多种非暂态计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：
遍历第一组编码点对与媒体字幕相关联的第一子序列进行编码，以生成第一组子序列编码点，其中每个子序列编码点与不同的编码子序列相关联；
遍历所述第一组子序列编码点执行一次或多次凸包操作，以基于至少两个媒体度量来计算子序列编码点的第一凸包；
基于传输缓冲区约束、所述第一凸包和媒体编码点的第二全局凸包，来生成媒体编码点的第一全局凸包，所述媒体编码点的第二全局凸包与和所述媒体字幕相关联的一个或多个子序列相关联，所述一个或多个子序列按照所述媒体字...

【专利技术属性】
技术研发人员：扬尼斯·卡察沃尼迪斯，
申请(专利权)人：奈飞公司，
类型：发明
国别省市：美国;US