基于图像捕获参数对视频编码的控制制造技术

本发明专利技术描述用于使用由例如摄像机等前端装置检测和估计的参数来改进例如视频编码器等后端装置的功能性的技术。所述技术可涉及估计与在再聚焦过程期间捕获的帧相关联的模糊性水平。基于所估计的模糊性水平，在所述摄像机中或在所述视频编码器中调整用以编码模糊帧的量化参数QP。所述视频编码器使用所述经调整的QP来编码所述模糊帧。所述视频编码器还使用所述模糊性水平估计来通过简化所述模糊帧中的运动估计和补偿来调整编码算法。

【技术实现步骤摘要】
【国外来华专利技术】基于图像捕获参数对视频编码的控制
本专利技术涉及视频译码。
技术介绍
数字多媒体能力可并入到较广范围的装置中，包含数字电视、数字直播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、数字媒体播放器等。数字多媒体装置可实施视频译码技术，例如MPEG-2、ITU-H.263、MPEG-4或ITU-H.264／MPEG-4部分10、高级视频译码(AVC)，或目前在由视频译码联合协作团队(JointCollaborativeTeamonVideoCoding，JCT-VC)开发的高效视频译码(HEVC)标准，来更高效地发射和接收或存储和检索数字视频数据。视频编码技术可经由空间预测和／或时间预测来执行视频压缩以减少或去除视频序列中固有的冗余。视频捕获装置(例如摄像机)可捕获视频，并将其发送到视频编码器以供编码。视频编码器处理捕获到的视频、编码经处理的视频，并发射经编码视频数据以供存储或发射。在任一情况下，编码经编码视频数据以再现视频以供显示。用于存储或发射视频的可用带宽通常是有限的，且受例如视频编码数据速率等因素影响。若干因素对视频编码数据速率有影响。因此，当设计视频编码器时，关注之一是改进视频编码数据速率。通常，改进在视频编码器中实施，且常常使视频编码器增加额外的计算复杂性，这可抵消了改进的视频编码数据速率的益处中的一些益处。
技术实现思路
本专利技术描述用于至少部分地基于视频捕获装置的一个或一个以上参数来控制视频译码的技术。所述技术可在例如相机等视频捕获装置和／或例如视频编码器等视频译码装置中执行。视频捕获装置可感测、测量或产生一个或一个以上参数，可利用所述参数作出可用以控制视频译码参数的确定。由视频捕获装置获得的参数可用以估计与所捕获的帧相关联的模糊性。可基于所估计的模糊性来修改视频译码中所使用的参数。在一个实例中，本专利技术描述一种方法，其包括：在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧。在另一实例中，本专利技术描述一种系统，其包括：用于在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平的装置；以及用于在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的装置。在另一实例中，本专利技术描述一种系统，其包括：视频捕获模块，其用以估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平；以及视频编码器，其用以至少部分地基于所述帧的所估计模糊性水平来编码所述帧。可在硬件、软件、固件或其任何组合中实施本专利技术中所描述的技术。如果在软件中实施，软件可在一个或一个以上处理器中执行，例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件可最初存储在非暂时性计算机可读存储媒体中，且加载在处理器中并在处理器中执行。因此，本专利技术还预期一种计算机可读媒体，其包括用于致使可编程处理器在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平的指令；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的指令。在另一实例中，本专利技术描述一种方法，其包括：基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧。在另一实例中，本专利技术描述一种设备，其包括：模糊性单元，其用以基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平；以及视频编码器，其用以至少部分地基于所述帧的所估计模糊性水平来编码所述帧。在另一实例中，本专利技术描述一种系统，其包括：用于基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平的装置；以及用于至少部分地基于所述帧的所估计模糊性水平来编码所述帧的装置。在另一实例中，本专利技术还预期一种计算机可读媒体，其包括用于致使可编程处理器基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平的指令；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的指令。在附图及下文描述中陈述本专利技术的一个或一个以上方面的细节。将从描述和图式且从所附权利要求书明白本专利技术中所描述的技术的其它特征、目标和优点。附图说明图1是说明可实施本专利技术的技术的示范性视频捕获装置和视频编码器系统的框图。图2是说明可实施本专利技术的技术的另一示范性视频捕获装置和视频编码器系统的框图。图3是说明得出所捕获帧中的模糊性的视频捕获功能的流程图。图4A到4F说明导致视频捕获装置所捕获的帧中的模糊性的实例视频捕获装置功能。图5是说明实施本专利技术的技术的视频编码系统的一个实例的框图。图6是说明实施本专利技术的技术的速率控制块的实例的框图。图7是说明视频捕获装置的实例连续自动对焦再对焦过程的性能的图。图8A到8C是说明与面部检测相关联的自动对焦再对焦过程的图形表示。图9A到9B是说明与变焦相关联的自动对焦再对焦过程的图形表示。图10是说明用于编码期间的运动估计的示范性块分区大小的图。图11说明根据本专利技术的技术的估计运动模糊性的一个实例。图12说明根据本专利技术的技术的估计运动模糊性的另一实例。图13A说明使用模糊性水平的QP决策的实例。图13B说明用以作出根据图13A的QP决策的实例所估计模糊性水平。图13C说明使用查找表的QP决策的实例。图14说明具有实施本专利技术的技术的两个视频捕获装置模块的实例系统。图15A到15C是说明根据本专利技术的实例技术使用所捕获帧中的模糊性水平的估计来进行视频编码的流程图。图16是说明根据本专利技术的实例技术使用模糊性水平的估计来简化编码算法的视频编码的流程图。具体实施方式在实时视频记录期间，视频帧中的模糊性可由若干因素导致。举例来说，视频捕获装置的平移或运动、正由视频捕获装置捕获的图像中的对象的运动，或正由视频捕获装置(例如摄像机)捕获的场景的放大和缩小可能因相机或对象移动过快以致无法对焦而导致模糊性。模糊性还可能在具有连续自动对焦(CAF)或自动对焦(AF)的系统中的再对焦阶段期间或在使用手动对焦时的再对焦期间发生。在使用CAF的视频捕获装置的实例中，可例如在逐帧基础上连续地调整镜头位置，以实现最佳对焦性能。当已在视频记录期间改变或移动了所关注对象时，视频捕获装置通过找到新的所关注对象的新焦平面来再对焦。举例来说，在视频捕获装置的平移运动期间，CAF可在视频捕获装置在平移结束时不再运动以对在帧中所捕获的新场景进行再对焦时发生。在另一实例中，在运动传感器所检测到的运动期间，可在帧中检测到面部或另一对象，其可触发AF过程。在另一实例中，可触发AF过程以在相机的放大或缩小之后进行再对焦。模糊性在此再对焦过程期间发生，且在找到新的焦平面之前装置所捕获的帧在再对焦过程期间可为模糊的，直到实现再对焦为止。另外，模糊性可在其它类型的运动期间在帧中发生，例如帧内的对象的移动，或再对焦不发生时(例如，相机正在移动时)的平移运动过程的若干部分期间。模糊性在这些类型的帧中发生，其中模糊性不是由再对焦过程导致。由运动导致的模糊可由于视频捕获装置(例如相机)的本文档来自技高网...

【技术保护点】
一种方法，其包括：基于在视频数据帧中检测到的运动类型来估计所述帧的模糊性水平；以及在视频编码器中至少部分地基于所述帧的所述所估计的模糊性水平来编码所述帧。

【技术特征摘要】
【国外来华专利技术】2011.05.24 US 13/114,8441.一种用于编码视频数据的方法，其包括：确定与视频数据帧相关联的局部运动向量；至少部分地基于所述局部运动向量来估计所述视频数据帧的模糊性水平；在视频编码器中至少部分地基于所述帧的所述所估计模糊性水平来编码所述帧；确定与所述视频数据帧相关联的全局运动向量；将所述局部运动向量与局部运动向量阈值进行比较；当所述全局运动向量超过全局运动向量阈值且所述局部运动向量超过所述局部运动向量阈值时，估计所述模糊性水平；以及当所述全局运动向量等于或小于所述全局运动向量阈值或所述局部运动向量等于或小于所述局部运动向量阈值时，编码所述帧而不估计所述模糊性水平。2.根据权利要求1所述的方法，其中编码包括基于所述所估计模糊性水平来选择待用于编码所述帧的量化水平。3.根据权利要求1所述的方法，其进一步包括基于在所述帧中检测到的运动类型来确定是否估计所述帧的所述模糊性水平。4.根据权利要求1所述的方法，其中通过视频捕获模块捕获所述视频数据帧。5.根据权利要求4所述的方法，其中估计所述模糊性水平包括进一步基于所述全局运动向量以及与所述视频捕获模块相关联的一个或一个以上参数来估计所述模糊性水平。6.根据权利要求5所述的方法，其中与所述视频捕获模块相关联的所述参数包括曝光时间和帧速率。7.根据权利要求1所述的方法，其进一步包括：通过借助与所述帧相关联的变焦因子而检测光学变焦的变化来检测所述帧中的运动类型；以及基于所述变焦因子来估计所述模糊性水平。8.根据权利要求4所述的方法，其进一步包括：通过检测与所述视频捕获模块相关联的平移运动来检测所述帧中的运动类型；以及当在所述平移运动之后捕获到所述帧时，基于与所述帧相关联的焦点值来估计所述模糊性水平。9.根据权利要求1所述的方法，其进一步包括：通过检测所述帧中的面部来检测所述帧中的运动类型；以及基于所述帧中的所述所检测到的面部的大小来估计所述模糊性水平。10.一种用于编码视频数据的设备，其包括：模糊性单元，其经配置以至少部分地基于与视频数据帧相关联的局部运动向量来估计所述帧的模糊性水平；视频编码器，其经配置以至少部分地基于所述帧的所述所估计的模糊性水平来编码所述帧；以及经配置以捕获所述视频数据帧的视频捕获模块，其中视频捕获模块进一步经配置以检测与所述视频数据帧相关联的全局运动向量，其中所述视频编码器进一步经配置以确定与所述帧相关联的所述局部运动向量，所述模糊性单元进一步经配置以将所述局部运动向量与局部运动向量阈值进行比较，且在所述全局运动向量超过全局运动向量阈值且所述局部运动向量超过所述局部运动向量阈值时，估计所述模糊性水平，且所述视频编码器进一步经配置以在所述全局运动向量等于或小于所述全局运动向量阈值或所述局部运动向量等于或小于所述局部运动向量阈值时，编码所述帧而不估计所述模糊性水平。11.根据权利要求10所述的设备，其中为了编码所述帧，所述视频编码器基于所述所估计的模糊性水平来选择待用于编码所述帧的量化水平。12.根据权利要求10所述的设备，其中所述模糊性单元进一步经配置以基于所检测到的运动类型来确定是否估计所述帧的所述模糊性水平。13.根据权利要求10所述的设备...

【专利技术属性】
技术研发人员：安哲弘，梁亮，塞波·罗伯特·洪，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：