用于视频编码的运动传感器辅助的速率控制制造技术

本发明专利技术描述用于视频编码的运动传感器辅助的速率控制的系统和方法。用于对视频内容进行编码的设备包括传感器和编码器。所述传感器经配置以提供与所述设备相关的运动信息。所述编码器经配置以至少部分地基于量化参数对所述视频内容进行编码。所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的运动传感器辅助的速率控制
本申请案大体上涉及具有视频编码能力的手持式装置，且更具体来说涉及用于基于运动信息的视频编码的速率控制的系统和方法。
技术介绍
数字视频能力可并入到广范围的装置中，所述装置包含数码相机、数字记录装置、蜂窝式或卫星无线电电话、个人数字助理(PDA)、视频游戏装置、视频电话会议装置和类似装置。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准和这些标准的扩展中所描述的技术，以更有效地发射和接收数字视频信息。在使用此数字视频装置的实时视频俘获和编码的过程期间，用户可快速地移动装置以切换场景或焦点。在此些情况下，针对量化参数(“QP”)(编码参数中的一者)可选择比实际需要小得多的值。这导致位速率中的暂时尖峰，之后是位预算的快速耗尽。为了维持恒定位速率，在移动之后降低即将到来的帧的质量。然而，在移动之后将俘获的主题一般是用户较关注的，且在移动停止之后需要较高的视频质量。
技术实现思路
本专利技术的系统、方法和装置各自具有若干方面，其中并无单个一者唯一地负责其所需属性。在并不如所附权利要求书所表达般限制本专利技术的范围的情况下，现在将简要论述一些特征。在考虑此论述之后，且尤其在阅读标题为“具体实施方式”的部分之后，将理解本专利技术的特征如何提供包含用于实施视频编码的运动传感器辅助的速率控制的系统和方法的优点。本专利技术的一个实施例提供一种用于对视频内容进行编码的设备。所述设备包括传感器，其经配置以提供与所述设备相关的运动信息。所述设备进一步包括编码器，其经配置以至少部分地基于量化参数对所述视频内容进行编码。所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。本专利技术的另一实施例提供一种用于对视频内容进行编码的设备。所述设备包括用于提供与所述设备相关的运动信息的装置和用于至少部分地基于量化参数对所述视频内容进行编码的装置。所述用于对所述视频内容进行编码的装置进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。本专利技术的又一实施例提供一种对视频内容进行编码的方法。所述方法包括使用传感器获得与包括所述传感器和编码器的设备相关的运动信息。所述方法进一步包括使用所述编码器至少部分地基于量化参数对所述视频内容进行编码。所述方法还包括响应于所述所获得运动信息而增加所述量化参数的值。本专利技术的另一实施例提供一种计算机可读媒体，其存储致使编码器接收与包括所述编码器的设备相关的运动信息的指令。所述指令进一步致使所述编码器至少部分地基于量化参数对视频内容进行编码，且响应于所述所接收运动信息而增加所述量化参数的值。附图说明图1是可实施用于视频编码的运动传感器辅助的速率控制的实例性装置的框图。图2是说明可实施用于视频编码的运动传感器辅助的速率控制的视频编码器的实例的框图。图3是用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。图4是更详细的用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。具体实施方式许多手持式数字视频装置包含可容易地提供运动信息的传感器。装置的快速或强运动一般导致即将俘获的视频帧序列中的场景改变，且在快速或强运动期间的记录质量与在此运动之后相比相对较不重要。因此，在一个方面中，将来自传感器的运动信息提供到编码器以使得编码器可与运动的速度和强度相关来调整编码参数。更具体来说，当识别出快速或强装置运动时，使即将到来的视频帧的QP增加与运动的速度/强度成比例的值以减轻位速率中的尖峰。词语“示范性”在本文用以表示“充当实例、例子或说明”。本文描述为“示范性”的任一实施例都不一定解释为比其它实施例优选或有利。呈现以下描述以使得所属领域的技术人员能够制作和使用本专利技术。在以下描述中为了阐释的目的而陈述细节。应了解，所属领域的技术人员将认识到，可在不使用这些具体细节的情况下实践本专利技术。在其它实例中，未阐述众所周知的结构和过程，以免以不必要的细节使本专利技术的描述不清楚。因此，本专利技术既定不受所展示实施例的限制，而是应被赋予与本文揭示的原理和特征一致的最广范围。本文描述的系统和方法涉及实施用于视频编码的运动传感器辅助的速率控制。许多手持式数字视频装置包含可容易地提供与数字视频装置相关的运动信息的运动传感器。运动传感器可为加速度计传感器、陀螺仪传感器、磁力计传感器或任一其它传感器，或可提供关于数字视频装置的运动信息的其组合。在一个方面中，所提供的运动信息用以做出用于视频编码的速率控制决策。用户可能不关注在突然或强移动期间将俘获的主题，其一般指示场景改变。运动信息可用以确定数字视频装置的运动的速度或强度。如果检测到的运动满足速度或强度阈值，那么与检测到的运动低于此阈值时相比，选择用于量化参数(“QP”)的较高值。选择用于QP的较高值一般导致较低的编码速率。通过在快速或强移动期间减小编码速率，在移动后，即在移动停止之后可分配较多的位。视频编码器采用速率控制来在某一时间周期中分配位预算以便实现针对某一服务质量(QoS)的目标位速率。一般来说，对于有限容量通信信道上的流式传输视频需要恒定位速率(CBR)，其中要求瞬时位速率不超过通信路径的数据速率。甚至在其中可使用可变位速率(VBR)的例如因特网等一些速率自适应通信中，大多数实时视频应用对网络延迟和处理量性能强加若干约束。为了适应这些约束，可能希望实施预防性速率控制以避免网络拥塞。速率控制算法根据当前帧的位预算和统计数据动态地调整用于当前帧的编码参数，最明显的是量化参数。广泛采用平均绝对差(“MAD”)来表示纹理复杂性。举例来说，在H.264/AVC标准中，可使用二次模型来表示目标位、MAD与QP之间的关系：其中Q步长是从其推导QP的参数，T表示纹理位，且c1和c2是经验估计的系数。由于在实际编码之前无法准确知道MADn，因此可使用如等式(2)中所示的线性模型来预测当前帧MADn(“平均绝对差”)：MADn＝a1×MADn-1+a2(2)其中MADn是第n帧的预测MAD且MADn-1是第n-1帧的实际MAD，且a1和a2是取决于实施方案经验选择的系数。以上速率控制在其中场景平稳且缓慢改变的稳定条件下良好工作，只要可对传入帧的MAD大致预测等式(2)即可。然而，在使用手持式装置的实时视频俘获和编码的过程期间，典型用户可快速地移动装置以切换场景或焦点。装置的此些运动对视频编码带来特殊挑战。在此些情况下，等式(2)的假设减弱。因为编码器不会预见MAD的突然增加，所以编码器选择比实际需要小得多的QP值。因此，导致位速率中的暂时尖峰，之后是位预算的快速耗尽。为了维持恒定位速率，编码器随后不得不急剧降低随后的帧的质量或甚至完全跳过一些帧。这可导致在装置的移动停止之后的显著时间周期中的不良感知视频质量。许多手持式数字视频装置包含运动传感器。这些运动传感器可以极少的成本提供关于装置的运动信息，尤其是即时运动信息。在一个方面中，由运动传感器提供的运动信息用以调整和调适QP和编码速率，以便避免位速率中的暂时尖峰和位预算的随后耗尽。以此方式，来自运动传感器的信息可帮助编码器在速率控制方面做出更好选择。图1是可执行用于视频编码的运动传感器辅本文档来自技高网...

【技术保护点】
一种用于对视频内容进行编码的设备，所述设备包括：传感器，其经配置以提供与所述设备相关的运动信息；以及编码器，其经配置以至少部分地基于量化参数对所述视频内容进行编码，所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

【技术特征摘要】
【国外来华专利技术】2012.05.11 US 13/470,1821.一种用于对视频内容进行编码的设备，所述设备包括：一个或多个传感器，其经配置以检测所述设备的平移和旋转运动，并提供与所检测的平移和旋转运动相关的信息；以及处理器，其经配置以：至少部分地基于量化参数对所述视频内容进行编码，所述处理器进一步经配置以：响应于确定所述平移和旋转运动的估计速度或强度超过第一阈值，与从所提供信息估计的所述平移和旋转运动的速度或强度的估计成比例地增加所述量化参数的值；以及执行与所述视频内容有关的运动估计，所述处理器进一步经配置以响应于增加所述量化参数的所述值，增加用于终止运动估计的第二阈值，其中如果超过所述第二阈值，那么终止所述运动估计。2.根据权利要求1所述的设备，其中所述一个或多个传感器包括加速度计传感器、陀螺仪传感器、磁力计传感器或其组合。3.根据权利要求2所述的设备，其中所述平移和旋转运动的所述强度的估计包括确定来自所述一个或多个传感器的多个读数的均方差。4.根据前述权利要求2所述的设备，其中所述处理器在所述平移和旋转运动的所述速度或强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。5.根据权利要求2所述的设备，其中所述处理器在所述量化参数的所述值增加时移除所述视频内容的若干帧。6.根据权利要求4所述的设备，其中所述处理器在所述量化参数的所述值减小时插入I帧。7.一种用于对视频内容进行编码的设备，所述设备包括：用于检测所述设备的平移和旋转运动，并提供与所检测的平移和旋转运动相关的信息的装置；以及用于至少部分地基于量化参数对所述视频内容进行编码的装置，所述用于对所述视频内容进行编码的装置进一步经配置以：响应于确定所述平移和旋转运动的估计速度或强度超过第一阈值，与从所提供信息估计的所述平移和旋转运动的速度或强度的估计成比例地增加所述量化参数的值；以及用于执行与所述视频内容有关的运动估计的装置，所述用于执行运动估计的装置进一步经配置以响应于增加所述量化参数的所述值，增加用于终止运动估计的第二阈值，其中如果超过所述第二阈值，那么终止所述运动估计。8.根据权利要求7所述的设备，其中所述用于检测所述设备的平移和旋转运动的装置包括加速度计传感器、陀螺仪传感器、磁力计传感器或其组合。9.根据权利要求8所述的设备，其中估计所述运动的所述强度包括确定来自所述传感器的多个读数的均方差。10.根据权利要求8所述的设备，其中所述用于对所述视频内容进行编码的装置在所述平移和旋转运动的所述速度或强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。11.根据权利要求8所述的设备，其中所述用于对所述视频内容进行编码的装置在所述量化参数的所述值增加时移除所述视频内容的若干帧...

【专利技术属性】
技术研发人员：邱刚，徐文涛，沈亮，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US