用于改进的视频编码的参考帧重投影制造技术

讨论与视频编码有关的技术。这些视频编码技术包括：基于指示场景姿态变化的场景姿态差数据，将投影变换应用于重构参考帧；以及使用重投影后的重构参考帧作为运动补偿参考帧来执行运动补偿。

【技术实现步骤摘要】
用于改进的视频编码的参考帧重投影
技术介绍
现有的视频编解码器(例如，H.264或MPEG-4Part10、高级视频编码(AVC)编解码器、H.265高效视频编码(HEVC)编解码器等)使用在分区大小可变的块上执行的运动补偿预测的原理进行操作。该运动估计和补偿对于当前帧的块可以使用基于块的搜索，以在一个或多个参考帧中寻找最佳匹配块。最佳匹配块是使用参考帧的参考索引以及指示当前帧块与参考帧中的最佳匹配块之间的运动的运动矢量来引用的。在编码器处经由运动估计找到的参考索引和运动矢量被编码到比特流中并且被发送到解码器。编码器和解码器二者在运动补偿中使用参考索引和运动矢量，以(在解码器侧处)重构用于进一步用作参考帧并且用于最终呈现的帧。当被编码的视频内容是基于单个相机模型(其可以摇摄(pan)但具有最小旋转、变焦、失真等)生成的时，这些技术可以是最高效的。然而，包括更高等级的旋转、变焦放大或缩小、失真等的内容可能提供了难度。因此，可能有利的是，增加编解码器系统的压缩效率、视频质量和计算效率以便处理具有旋转、变焦和其它影响的视频内容。正是针对这些考虑和其它考虑，需要本改进。附图说明在附图中通过示例的方本文档来自技高网...

【技术保护点】
1.一种计算机实现的用于视频编码的方法，包括：生成与第一场景姿态对应的重构参考帧；接收指示从所述第一场景姿态到所述第一场景姿态之后的第二场景姿态的场景姿态变化的场景姿态差数据；基于所述场景姿态差数据，将投影变换应用于所述重构参考帧的至少一部分，以生成重投影后的重构参考帧；以及使用所述重投影后的重构参考帧作为运动补偿参考帧来执行运动补偿，以生成当前的重构帧。

【技术特征摘要】
2017.08.03 US 15/668,6001.一种计算机实现的用于视频编码的方法，包括：生成与第一场景姿态对应的重构参考帧；接收指示从所述第一场景姿态到所述第一场景姿态之后的第二场景姿态的场景姿态变化的场景姿态差数据；基于所述场景姿态差数据，将投影变换应用于所述重构参考帧的至少一部分，以生成重投影后的重构参考帧；以及使用所述重投影后的重构参考帧作为运动补偿参考帧来执行运动补偿，以生成当前的重构帧。2.如权利要求1所述的方法，其中，所述投影变换包括仿射投影和非仿射投影二者，所述非仿射投影包括变焦投影、桶形失真投影和球面旋转投影中的至少一个，并且其中，所述场景姿态差数据包括变换矩阵、6自由度差分数据和运动矢量字段之一。3.如权利要求1或2所述的方法，其中，所述投影变换被应用于整个所述重构参考帧，并且所述方法还包括以下中的至少一个：与所述应用投影变换至少部分同时地渲染第二帧；和与所述应用投影变换至少部分同时地接收比特流。4.如权利要求1至3中任一项所述的方法，其中，所述执行运动补偿包括：使用所述重构参考帧和所述重投影后的重构参考帧二者作为运动补偿参考帧，按逐块的方式执行运动补偿，使得当前的重构帧的第一块参考所述重构参考帧进行运动补偿，并且当前的重构帧的第二块参考所述重投影后的重构参考帧进行运动补偿。5.如权利要求1至4中任一项所述的方法，还包括：确定所述重构参考帧的感兴趣区域以及所述重构参考帧的排除了所述感兴趣区域的背景区域，其中，应用所述投影变换包括：将所述投影变换仅应用于所述重构参考帧的感兴趣区域和背景之一。6.如权利要求1所述的方法，其中，应用所述投影变换包括：将变焦放大变换应用于所述重构参考帧，以生成大小比所述重构参考帧的大小大的第一重投影后的重构参考帧，并且所述方法还包括：将大小与所述重构参考帧相同的边界框应用于所述第一重投影后的重构参考帧；以及将所述第一重投影后的重构参考帧在所述边界框内的部分缩放为所述重构参考帧的大小和分辨率，以生成所述重投影后的重构参考帧。7.如权利要求1所述的方法，其中，应用所述投影变换包括：将变焦缩小变换应用于所述重构参考帧，以生成大小比所述重构参考帧的大小小的第一重投影后的重构参考帧，并且所述方法还包括：生成与所述第一重投影后的重构参考帧的至少一个边缘相邻的边缘像素，以提供具有与所述重构参考帧相同的大小和分辨率的重投影后的重构参考帧。8.如权利要求1所述的方法，其中，应用所述投影变换包括：将球面旋转应用于所述重构参考帧，以生成第一重投影后的重构参考帧，并且所述方法还包括：生成与所述第一重投影后的重构参考帧的至少一个边缘相邻的边缘像素，以提供具有与所述重构参考帧相同的大小和分辨率的重投影后的重构参考帧。9.如权利要求1至8中任一项所述的方法，还包括：通过外推指示从第三场景姿态到所述第一场景姿态的第二场景姿态变化的第二场景姿态差数据来预测场景姿态差数据，其中，所述第一场景姿态在所述第三场景姿态之后。10.如权利要求1至9中任一项所述的方法，还包括：将与所述场景姿态差数据对应的至少一个场景变化差幅度值与阈值进行比较，其中，将所述投影变换应用于所述重构参考帧的至少一部分是以所述场景变化差幅度值满足或超过所述阈值为条件的。11.如权利要求1至10中任一项所述的方法，还包括：生成与第三场景姿态对应的第二重构参考帧，其中，所述第三场景姿态在所述第一场景姿态之前；接收指示从所述第三场景姿态到所述第二场景姿态的场景姿态变化的第二场景姿态差数据；以及基于所述第二场景姿态差数据，将第二投影变换应用于所述第二重构参考帧的至少一部分，以生成第二重投影后的重构参考帧，其中，对当前帧执行运动补偿使用所述重投影后的重构参考帧和所述第二重投影后的重构参考帧二者作为运动补偿参考帧。12.一种用于视频编码的系统，包括：存储器，用于存储与第一场景姿态对应的重构参考帧；和处理器，耦合到所述存储器，所述处理器用于：基于场景姿态差数据，将投影变换应用于所述重构参考帧的至少一部分，以生成重投影后的重构参考帧，其中，所述场景姿态差数据指示从所述第一场景姿态到在所述第一场景姿态之后的第二场景姿态的场景姿态变化；以及使用所述重投影后的重构参考帧作为运动补偿参考帧来执行运动补偿，以生成当前的重构帧。13.如权利要求12所述的系统，其中，所述投影变换包括仿射投影和非仿射投影二者，所述非仿射投影包括变焦投影、桶形失真投影和球面旋转投影中的至少一个，并且其中，所述场景姿态差数据包括变换矩阵、6自由度差分数据和运动矢量字段之一。14.如权利要求12或13所述的系统，其中，所述处理器执行运动补偿包括：所述处理器使用所述重构参考帧...

【专利技术属性】
技术研发人员：A·罗特，J·坦纳，J·M·博伊斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US