过滤和扭曲的运动补偿制造技术

视频压缩利用了参考帧的过滤和／或扭曲进行运动估计和运动补偿。确定仿射、褪色或者模糊的存在。如果存在，滤色镜和／或扭曲被应用于参考帧，并且使用参考帧加上任何过滤／扭曲参考帧来估计运动。

【技术实现步骤摘要】
【国外来华专利技术】过滤和扭曲的运动补偿
0001本专利技术涉及数字视频信号处理，且更具体地涉及视频压缩的设备和方法。
技术介绍
0002目前存在数字视频通信和存储的各种应用，且相应的国际标准 己经得到了发展并且发展还在持续。低比特率通信，比如视频电话和视 频会议，产生了具有多路64kbps比特率的H.261标准。对更低比特率的需 求产生了11.263标准。0003H.264/AVC是最近的视频信号编解码标准，其利用了若干高级的 视频编码工具来提供比现有的视频信号编码标准比如MPEG-2， MPEG-4, 和H.263更好的压縮性能。R264/AVC标准的核心是块运动补偿(BMC)和 变换编码的混合视频信号编码技术。在视频序列中，块运动补偿用于去 除时间冗余，而变换编码用于去除空间冗余。传统的块运动补偿方案基 本上假定一个镜头或场景(scene)内的物体在x方向和y方向经历位移。 实际上这种简单的假定在大多数情况下可以以满意的方式设计出，且因 而在视频信号编码标准中，块运动补偿已经成为用于时间冗余去除的最 广泛使用的技术。图2a-2b图解说明了H.264/AVC中块运动补偿的编码和 解码，图2c显示了多个参考帧。0004然而，传统的块运动补偿模型未能捕获视频序列中若干场景 (scenario)内的时间冗余，如下面所列出0005仿射运动当一个镜头中的物体经历仿射运动，比如放大和旋 转的时候。在文献中存在一些修改运动补偿方案以处理仿射运动的技术; 参看Y. T. Tse and R. L Baker的"Global zoom/pan estimation and compensation for video compression", IEEE Proc. ICASSP'91 (Toronto, Ont: Canada) May 1991, pp. 2725-2728; Y. Nakaya and H. Hamshima的"Motioncompensation based on spatial transformations", IEEE Trans. Circuits Systs. Video Technol" vol. 4， No. 3, pp. 339-356, 366-7， June 1994;禾口T. Wiegand et al" "Affine Multipicture Motion-Compensated Prediction", IEEE Trans. Circuits Systs. Video Technol" vol. 5， No. 2， pp. 197-209, February 2005。0006照明变化、褪色(fading)和混合(blending):传统的块运动补偿模型未能捕获时间冗余的另一场景，是当一个镜头中存在亮度变化 的日寸候(参看K. Kamikura et al.， "Global brightness variation compensation for video coding," IEEE Trans. Circuits Systs. Video Technol" vol. 8， No. 8， pp. 988-1000, Dec. 1998)，或者当视频序列中存在多个镜头褪色的时候(参 看丄M. Boyce， "Weighted prediction in the H.264/MPEG AVC video coding standard," IEEE ISCAS， pp. 789-792, 2004)。褪色(fade)(例如褪成黑色， 褪成白色)有时被用于在视频序列中的多个镜头之间转换。H.264/AVC标 准引入了被称作加权预测的新的视频信号编码工具来为这种多个镜头的 褪色有效地编码。传统的块运动补偿方法当使用多帧混合以在各镜头转 换时也不成功。0007模糊传统的块运动补偿模型不能捕获时间冗余的另外一个场 景是当视频序列中存在模糊的时候。当照像机和正在捕获的镜头之间的 相对运动比照像机曝光时间更快的时候，模糊典型地在视频序列中发生。 模糊也在当一个镜头中不同景深的目标被聚焦和散焦的时候发生，如电 影里所实现的在一个镜头中聚焦不同的演员。0008因而，当仿射运动、照明变化和模糊开始在视频序列中发生的 时候，传统的基于块的运动补偿技术比如在汪264/八￥(:中所使用的那些运 动补偿技术变成无效的。
技术实现思路
0009本专利技术提供了视频编码器结构和方法，其具有参考帧的过滤/扭 曲的形式，作为附加参考帧用于运动补偿。0010这允许仿射运动(affine motion)、照明变化和模糊的场景中的 有效压缩。附图说明0011图la-ld图解说明了包括编码和解码的优选实施例。0012图2a-2c图解说明了H.264/AVC中的运动补偿。0013图3a-3b显示了处理器和网络通信。具体实施方式1. 综述0014视频压縮方法的优选实施例包括过滤和/或扭曲一个或多于一个 参考帧(或者只是其中的多个部分)，以提供用于运动补偿的额外的参 考帧。这允许对具有仿射运动、照明和褪色变化，和/或模糊的场景的准 确推算。图la是进行检测的优选实施例的流程图，图lb显示了由重构的 帧加上这些帧的过滤和/或扭曲形式(version)而生成的一组参考帧，并 且图lc-ld图解说明了实现优选实施例方法的编码器和解码器。所生成的 这组参考帧(或者各帧的各部分)可以对检测到当前帧中的模糊、褪色 和/或仿射运动做出响应，或者可以是具有可能适应性的一组预定义的过 滤和扭曲的应用程序的结果。0015优选实施例系统(例如，蜂窝式便携无线电话、掌上电脑(PDA)、 数码照像机、笔记本电脑等等)以几种类型硬件的任何一种执行优选实 施例方法，例如数字信号处理器(DSP)、通用可编程处理器、专用电路 或者片上系统(SoC)，比如多芯处理器阵列或者比如DSP和RISC处理器 与各种专门的可编程加速器的组合(例如，图3a)。机载的或者外部的(闪速电可檫除只读存储器(flash EEP))只读存储器(ROM)或者铁 电随机存储器(FRAM)中存储的程序可以实现信号处理方法。模数和数 模转换器可以提供与模拟世界的耦合；调制器和解调器(加上用于空气 接口的天线，比如用于蜂窝电话上的视频的天线)可以提供对传输波形 的耦合；并且打包器可以提供在网络中传输的格式，比如在图3b中说明 的国际互联网中。2. 具有过滤/扭曲的参考帧的视频压縮0016首先考虑图2a，其显示了H.26々/AVC的传统的复帧(multiframe) 块运动补偿(BMC)方法。当前视频帧/T"J是通过使用块运动补偿(BMC)从一组M个帧，yr"-"/r"-"，…，yr"-〗K)(其中的一些可以是将来的帧) 来预测的。0017相反，图lc显示了一般过滤和扭曲的复帧块运动补偿的第一优 选实施例，且图lb试探或直观推断方式显示了一系列参考帧。给定一参 考巾M"-0，优选实施例方法生成一组&个其它参考帧，/"1),/ 一(2),...， 它们中的每一个是帧X"-z')的过滤的形式，或者是帧/"-0的扭 曲的形式，或者是两者。之后这个扩展了的过滤和扭曲的参考帧组在块 运动补偿(B本文档来自技高网...

【技术保护点】
一种具有块运动补偿类型的视频压缩方法，其使用一个或多于一个参考图片，在当前图片中寻找用于像素块的运动向量，改进包括步骤：（ａ）所述一个或多于一个参考图片包括先前图片的一组过滤／扭曲，其中所述先前图片的这些过滤／扭曲选自：（ｉ）所述先前图片的模糊的形式加上所述先前图片的扭曲的形式，（ｉｉ）所述先前图片的模糊的形式加上所述先前图片的褪色的形式，（ｉｉｉ）所述先前图片的褪色的形式加上所述先前图片的扭曲的形式，以及（ｉｖ）所述先前图片的模糊的形式加上所述先前图片的褪色的形式加上所述先前图片的扭曲的形式。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M巴达加维，M周，AU巴图尔，
申请(专利权)人：德克萨斯仪器股份有限公司，
类型：发明
国别省市：US[美国]