相机参数辅助式视频帧速率上转换制造技术

本发明专利技术描述用于获得与视频俘获装置相关联的一个或一个以上视频俘获参数且使用所述所获得的视频俘获参数来控制视频解码过程的技术。所述所获得的视频俘获参数可为(例如)与自动曝光控制AE、自动聚焦AF和自动白平衡AWB、变焦、所俘获帧中的运动等相关联的参数。视频编码装置可将所述视频俘获参数嵌入经编码的视频位流中以使得解码器可在帧速率上转换期间利用所述相机参数。

【技术实现步骤摘要】
【国外来华专利技术】相机参数辅助式视频帧速率上转换相关申请案的交叉参考本申请案主张2010年5月26日申请且题目为“相机参数辅助式视频帧速率上转换(CameraParameter-AssistedVideoFrameRateUpConversion)”的第61/348,400号美国临时申请案的优先权，所述申请案的揭示内容以全文引用的方式并入本文。
本专利技术涉及视频编码和解码。更具体来说，本专利技术涉及获得一个或一个以上视频俘获参数且使用那些参数来控制视频解码过程。
技术介绍
已经研究解码器侧帧速率上转换(framerateup-conversion)，且已经提出许多算法。在一些现有技术帧速率上转换算法中，根据使用由视频编码装置传输的视频数据进行解码的相邻帧来预测(例如，使用运动向量处理或使用新运动估计)经内插帧的运动向量。常用的策略是基于来自相邻帧的运动向量信息而计算用于丢失的或待内插的帧的新的经内插运动向量，以实现平滑的视频内容过渡。另一方法是执行旨在提供较准确的运动向量的新运动估计算法。在经内插帧的所预测运动向量产生不准确的结果的情况下，相邻经解码的帧之间的平均像素值可用于插入的帧。图1说明常规的现有技术帧速率上转换技术。在此实例中，视频解码装置可接收经编码的视频帧的视频流。视频解码装置可对所述经编码的视频流进行解码，且输出包含图1所示的序列的经解码的视频帧。所述序列可包含经解码的帧102和104作为用于经内插帧100的参考帧。使用用于帧速率上转换的常规技术，可如图1中说明使用来自紧邻的帧102、紧接在经内插帧100之前和之后或较远的帧104来预测经内插帧100。用以预测经内插帧100的帧可用于经内插帧的运动向量预测。举例来说，参考帧可为N个相邻的经解码的帧(N=1,2,...)。然而，根据常规技术确定用于经内插帧100的预测的运动向量可能是计算上复杂的且不准确的。
技术实现思路
根据一个方面，揭示一种用于对视频数据进行编码的方法。所述方法包含：从相机获得至少一个视频帧；获得至少一个相机参数；对所述至少一个视频帧进行编码以形成经编码帧；以及将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。根据另一方面，揭示一种电子装置。所述装置包含：用于从相机获得至少一个视频帧的装置；用于获得至少一个相机参数的装置；用于对所述至少一个视频帧进行编码以形成经编码帧的装置；以及用于将所述至少一个相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换的装置。根据另一方面，揭示一种电子装置。所述装置包含：视频俘获装置，其经配置以从相机获得至少一个视频帧；处理器，其经配置以获得至少一个相机参数；以及编码器，其经配置以对所述至少一个视频帧进行编码以形成经编码帧，且将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。根据另一方面，揭示一种非暂时性计算机可读媒体，其上存储有代码，所述代码在执行时实行一方法。所述方法包含：从相机获得至少一个视频帧；获得至少一个相机参数；对所述至少一个视频帧进行编码以形成经编码帧；以及将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。根据另一方面，揭示一种用于对视频数据进行解码的方法。所述方法包含：接收包含视频数据和嵌入的数据的位流；从所述嵌入的数据获得至少一个相机参数；以及基于所述至少一个相机参数对视频帧速率进行上转换。根据另一方面，揭示一种装置。所述装置包含：用于接收包含视频数据和嵌入的数据的位流的装置；用于从所述嵌入的数据获得至少一个相机参数的装置；以及用于基于所述至少一个相机参数对视频帧速率进行上转换的装置。根据另一方面，揭示一种装置。所述装置包含：解码器，其经配置以接收包含视频数据和嵌入的数据的位流，且从所述嵌入的数据获得至少一个相机参数；以及处理器，其经配置以基于所述至少一个相机参数对视频帧速率进行上转换。根据另一方面，揭示一种非暂时性计算机可读媒体，其上存储有代码，所述代码在执行时实行一方法。所述方法包含：接收包含视频数据和嵌入的数据的位流；从所述嵌入的数据获得至少一个相机参数；以及基于所述至少一个相机参数对视频帧速率进行上转换。本专利技术的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本专利技术中所描述的技术的其它特征、目的和优点。附图说明图1说明常规的帧速率上转换技术。图2是说明视频俘获装置的框图。图3A到3C说明根据本专利技术的方面的总体系统结构。图4说明根据本专利技术的方面的对视频数据进行编码的方法的流程图。图5说明根据本专利技术的方面的帧速率上转换方法的流程图。图6A说明根据本专利技术的方面的基于变焦信息的帧速率上转换方法的流程图。图6B说明根据本专利技术的方面的用于帧速率上转换的变焦信息的实例性使用。图7说明根据本专利技术的方面的基于自动聚焦和模糊度信息的帧速率上转换方法的流程图。图8A说明根据本专利技术的方面的基于亮度信息的实例性帧速率上转换方法的流程图。图8B说明根据本专利技术的方面的用于帧速率上转换的亮度信息的实例性使用。图9A说明根据本专利技术的方面的基于自动白平衡的实例性帧速率上转换方法的流程图。图9B说明根据本专利技术的方面的用于帧速率上转换的白平衡信息的实例性使用。图10A说明根据本专利技术的方面的基于运动信息的实例性帧速率上转换方法的流程图。图10B说明根据本专利技术的方面的用于帧速率上转换的运动信息的实例性使用。具体实施方式本专利技术描述用于利用与视频俘获装置相关联的一个或一个以上参数来控制例如帧速率上转换等视频解码功能性的技术。通过使用与视频俘获装置相关联的参数，视频解码装置可提高视频质量，同时减小视频解码装置中的计算复杂性。可通过例如摄像机等视频俘获装置在视频帧的俘获期间获得与视频俘获装置相关联的参数。视频俘获装置可包含经配置以在视频帧的编码期间嵌入参数的视频编码装置。视频解码装置可利用所述参数中的一者或一者以上来对视频帧进行解码。以此方式，视频解码器可利用在俘获时与相机相关的信息来对所述帧进行解码，进而减小与解码功能相关联的计算复杂性。举例来说，解码器可在帧速率上转换过程期间利用所述信息来减小计算复杂性。一个实施例涉及用于获得与视频俘获装置相关联的一个或一个以上视频俘获参数且使用所获得的视频俘获参数来控制视频解码过程的技术。所获得视频俘获参数可为(例如)与自动曝光控制(AE)、自动聚焦(AF)、自动白平衡(AWB)、变焦、所俘获帧中的运动等相关联的参数。视频编码装置可将视频俘获参数编码(例如，包化)为元数据，所述元数据也含有与基于视频俘获参数所作出的确定相关的信息。在源编码器侧处所获得的此视频俘获参数元数据可随后被传输到目的地解码器侧。所述目的地可包含经配置以显示视频数据的装置。在一些视频系统中，可利用帧速率上转换来适应不同于视频俘获速率的显示速率。可在编码器侧或解码器侧处执行帧速率上转换。在解码器侧上执行帧速率上转换可能更有效，因为经编码的视频可能被传输到需要不同的帧速率(且因此不同量的上转换)的系统。用于帧速率上转换的技术旨在将帧添加到视频流中，而不添加可能由简单地重复的帧引起的假影。因此，帧速率上转换技术产生在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.05.26 US 61/348,4001.一种用于对视频数据进行编码的方法，其包括：从相机获得至少一个视频帧；获得在俘获至少一个视频帧时与所述相机有关的至少一个相机参数，其中所述至少一个相机参数对应于在俘获对应的视频帧时所述相机的设定；对所述至少一个视频帧进行编码以形成经编码帧；以及将所述相机参数嵌入所述经编码帧中以使得解码器可将所述嵌入的参数用于视频数据的帧速率上转换。2.根据权利要求1所述的方法，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。3.根据权利要求1所述的方法，进一步包括：针对每一对应所俘获的视频帧将所述至少一个相机参数包化；以及将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧。4.根据权利要求1所述的方法，进一步包括：至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程；以及基于所述所确定的编码过程对所述视频帧进行编码。5.根据权利要求1所述的方法，其中所述相机是无线电话。6.一种电子装置，其包括：用于从相机获得至少一个视频帧的装置；用于获得在俘获至少一个视频帧时与所述相机有关的至少一个相机参数的装置，其中所述至少一个相机参数对应于在俘获对应的视频帧时所述相机的设定；用于对所述至少一个视频帧进行编码以形成经编码帧的装置；以及用于将所述至少一个相机参数嵌入所述经编码帧中以使得解码器可将所述嵌入的参数用于视频数据的帧速率上转换的装置。7.根据权利要求6所述的装置，其中所述用于从相机获得至少一个视频帧的装置包括摄像机。8.根据权利要求6所述的装置，其中所述用于获得至少一个相机参数的装置包括处理器。9.根据权利要求6所述的装置，其中所述用于对所述至少一个视频帧进行编码的装置包括所述相机中的视频编码器。10.根据权利要求6所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。11.根据权利要求6所述的装置，其中所述用于嵌入所述至少一个相机参数的装置包括：用于针对每一对应所俘获的视频帧将所述至少一个相机参数包化的装置；以及用于将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧的装置。12.根据权利要求6所述的装置，其进一步包括：用于至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程的装置；以及用于基于所述所确定的编码过程对所述视频帧进行编码的装置。13.根据权利要求6所述的装置，其中所述装置是无线电话。14.一种电子装置，其包括：视频俘获装置，其经配置以从相机获得至少一个视频帧；处理器，其经配置以获得在俘获至少一个视频帧时与所述相机有关的至少一个相机参数，其中所述至少一个相机参数对应于在俘获对应的视频帧时所述相机的设定；以及编码器，其经配置以对所述至少一个视频帧进行编码以形成经编码帧，且将所述相机参数嵌入所述经编码帧中以使得解码器可将所述嵌入的参数用于视频数据的帧速率上转换。15.根据权利要求14所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。16.根据权利要求14所述的装置，其中所述处理器进一步经配置以：针对每一对应所俘获的视频帧将所述至少一个相机参数包化；以及将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧。17.根据权利要求14所述的装置，其中所述编码器进一步经配置以：至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程；以及基于所述所确定的编码过程对所述视频帧进行编码。18.根据权利要求14所述的装置，其中所述电子装置是无线电话。19.一种用于对视频数据进行解码的方法，其包括：接收包含经编码视频数据的位流，其中所述经编码视频数据包括经编码的视频帧数据和嵌入的数据，所述视频帧数据以第一帧速率编码；解码所述经编码视频数据以获得经解码的视频帧数据和所述嵌入的数据，其中所述嵌入的数据包括在俘获至少一个视频帧时的至少一个相机参数，其中所述至少一个相机参数对应于在俘获对应的视频帧时相机的设定；从所述嵌入的数据确定所述至少一个相机参数；以及基于所述至少一个相机参数将所述经解码的视频帧数据的视频帧速率上转换到第二帧速率。20.根据权利要求19所述的方法，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。21.根据权利要求19所述的方法，其中所述嵌入的数据包括元数据。22.根据权利要求19所述的方法，进一步包括：针对每一对应所俘获的视频帧将所述至少一个相机参数拆包；以及读取所述经拆包的至少一个相机参数以对所述视频帧速率进行上转换。23.根据权利要求19所述的方法，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的变焦信息、自动聚焦信息、透镜位置信息或全局运动信息。24.根据权利要求23所述的方法，其中所述相机是无线电话。25.根据权利要求19所述的方法，其中所述至少一个相机参数包括放大信息，且其中对所述视频帧速率进行上转换包括：对所述位流进行解码以产生经解码帧；基于所述放大信息的因数来缩放所述经解码帧；基于所述经缩放的帧来预测运动向量；基于所述所预测的运动向量来内插帧。26.根据权利要求19所述的方法，其中所述至少一个相机参数包括模糊度信息，且其中对所述视频帧速率进行上转换包括：对所述位流进行解码以产生经解码帧；从所述经解码帧获得所述模糊度信息；基于所述模糊度信息来选择性地确定运动向量搜索范围；从所述所确定的搜索范围中预测运动向量；以及基于所述所预测的运动向量来内插帧。27.根据权利要求26所述的方法，其中所述至少一个相机参数包括自动聚焦信息，所述方法进一步包括基于所述自动聚焦信息来确定所述经解码帧是否是在重聚焦操作期间俘获的，且其中当在重聚焦操作期间俘获所述经解码帧时执行基于所述模糊度信息来选择性地确定所述运动向量搜索范围。28.根据权利要求27所述的方法，其进一步包括当在重聚焦操作期间未俘获相邻的经解码帧时通过对所述相邻的经解码帧的像素进行平均来内插帧。29.根据权利要求19所述的方法，其中所述至少一个相机参...

【专利技术属性】
技术研发人员：梁亮，鲍勃·R·亨，格克切·达内，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：