针对多层视频编码的层间参考图片增强的设备制造技术

本发明专利技术公开一种用于生成增强型层间参考(E‑ILR)图片的视频设备及方法。该视频设备包括：处理器，被配置成：基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息，确定由第一时间实例表征的第一基层参考图片的运动补偿块；从由所述第二基层图片的所述块中减去所述第一基层参考图片的所述运动补偿块，以生成剩余块；使用所述剩余块及由所述第一时间实例表征的增强层图片的运动补偿块，生成由所述第二时间实例表征的增强型层间参考(E‑ILR)块。

Device for enhancement of interlaminar reference pictures for multi-layer video coding

【技术实现步骤摘要】
针对多层视频编码的层间参考图片增强的设备本案为2014年4月4日递交的题为“针对多层视频编码的层间参考图片增强的设备”的中国专利技术专利申请201480020203.5的分案申请。相关申请的交叉引用本申请要求2013年4月5日提交的美国临时专利申请No.61/809,115，2013年4月16日提交的美国临时专利申请No.61/812,687以及2013年7月11日提交的美国临时专利申请No.61/845,318的权益，所述申请的内容通过引用结合于此。
技术介绍
在过去的二十多年，数字视频压缩技术已经被开发并且标准化以使得能够进行有效数字视频通信、分发和消费。大多数商业上广泛部署的标准由ISO/IEC和ITU-T开发，诸如MPEG-2和H.264(MPEG-4部分10)。由于视频压缩技术的出现和成熟，开发了高效视频编码(HEVC)。随着智能电话和平板电脑两者在分辨率和计算能力上的增长，附加的视频应用，诸如视频聊天、移动视频记录和共享以及视频流传送需要在多样环境中进行视频传输。考虑各种消费者设备(例如PC、智能电话、平板电脑、TV等)的场景，诸如3屏和N屏，可以允许在计算能力、内存/存储大小、显示分辨率、显示帧速率等方面上由广泛不同能力的设备上的视频消费。网络和传输信道在分组丢失率、可用信道带宽、突发差错率等方面上具有广泛不同的特性。视频数据可以在有线网络和无线网络的组合上传送，这进一步使得潜在的传输信道特性复杂化。可伸缩(scalable)视频编码提供了改善在多样网络上在具有不同能力的设备上运行的视频应用体验质量的方案。可伸缩视频编码可以以最高表述(representation)(例如时间分辨率、空间分辨率、质量等)编码信号一次，并且使得能够根据在客户端设备上运行的应用所需要的特定速率和表述从视频流的子集中解码。可伸缩视频编码相比于非可伸缩方案节省带宽和存储。视频标准，诸如但不限于MPEG-2视频、H.263、MPEG4视觉和H.264，具有支持可伸缩的一些模式的工具和/或简档。
技术实现思路
提供了用于实现视频编码方法的系统、方法和设施。视频设备(例如其可以包括编码器和/或解码器)可以生成包括一个或多个层间参考(E-ILR)块的E-ILR图片，从而例如协助预测可伸缩比特流的增强层(EL)图片(例如和/或EL块)。视频设备可以接收E-ILR使能标记，该E-ILR使能标记例如可以指示解码器来执行E-ILR处理。例如视频设备可以使用差分增强方法生成E-ILR块。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第二时间实例表征的第二基层图片相关联的基层运动信息确定第一时间实例。所述基层运动信息包括下采样基层块和/或上采样基层块的运动信息类别和/或运动向量。所述处理器可以从由所述第一时间实例表征的增强层图片的块中减去由所述第一时间实例表征的第一基层图片的块以生成由所述第一时间实例表征的差分块。所述第一基层图片的块可以是第一基层图片的上采样块或下采样块。所述处理器可以在所述差分块上执行运动补偿。所述运动补偿可以例如根据基层和增强层之间的空间速率使用与第二基层图片的块相关联的基层运动信息(例如伸缩的基层运动信息)在差分块上执行。所述处理器可以将运动补偿后的差分块乘以权重。所述权重大于或等于零且小于或等于1。所述处理器给运动补偿后的差分块添加偏移。所述处理器可以将运动补偿后的差分块添加到由所述第二时间实例表征的第二基层图片的块上以生成由所述第二时间实例表征的E-ILR块。所述第二基层图片的块可以是第二基层图片的上采样块或下采样块。所述处理器可以生成包括E-ILR块的由第二时间实例表征的E-ILR图片。所述处理器可以使用由第二时间实例表征的E-ILR图片和/或上采样基层图片来预测由所述第二时间实例表征的增强层图片。视频设备可以使用剩余增强方法来生成E-ILR块。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第二时间实例表征的第二基层图片相关联的基层运动信息确定第一时间实例。所述处理器可以从所述第二基层图片的块中减去由所述第一时间实例表征的第一基层图片的块以生成剩余。所述处理器可以在剩余上执行运动补偿。所述运动补偿可以使用与第二基层图片相关联的基层运动信息而在剩余上执行。所述处理器可以将所述剩余乘以权重。所述处理器给所述剩余添加偏移。所述处理器将所述剩余添加到由所述第一时间实例表征的增强层图片的块上以生成由所述第二时间实例表征的增强型层间参考(E-ILR)块。所述处理器可以生成包括所述E-ILR块的由所述第二时间实例表征的E-ILR图片。所述处理器可以使用由第二时间实例表征的E-ILR图片和/或上采样基层图片来预测由所述第二时间实例表征的增强层图片。第一基层图片的块可以是第一基层图片的上采样块或下采样块。第二基层图片的块可以是第二基层图片的上采样块或下采样块。视频设备可以使用双向预测生成层间参考块(例如E-ILR块)。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第三时间实例表征的第三基层图片相关联的第一基层运动信息确定第一时间实例。所述处理器可以基于与由第三时间实例表征的第三基层图片相关联的第二基层运动信息确定第二时间实例。所述处理器可以使用由所述第一时间实例表征的第一基层图片的块和由所述第二时间实例表征的第二基层图片的块来生成由所述第三时间实例表征的增强型层间参考(E-ILR)块。所述第一基层图片的块可以是第一基层图片的上采样块或下采样块。所述第二基层图片的块可以是第二基层图片的上采样块或下采样块。所述处理器可以被配置成将所述第一基层图片的块添加到所述第二基层图片的块以创建组合基层块来生成E-ILR块。所述处理器可以将组合基层块除以二以生成平均基层块。所述处理器可以将由所述第一时间实例表征的第一增强层图片的块添加到由第二时间实例表征的第二增强层图片的块以创建组合增强层块。所述处理器将所述组合增强层块除以二以生成平均增强层块。所述处理器将平均基层块从平均增强层块中减去以生成差分块。所述处理器可以在差分块上执行运动补偿。所述处理器将运动补偿后的差分块乘以权重。所述处理器将运动补偿后的差分块添加到由第三时间实例表征的基层图片的块以生成E-ILR块。所述第三基层图片的块可以是第三基层图片的上采样块或下采样块。附图说明图1是具有N层的示例可伸缩视频编码系统的图示。图2是针对使用多层视频编码的立体(例如2视图)视频编码的时间和层间预测的示例的图示。图3是示例单层编码器的图示。图4是示例单层解码器的图示。图5是示例两层可伸缩编码器的图示。图6是示例两层可伸缩解码器的图示。图7是层间图片(ILP)处理和管理单元的示例的图示。图8是层间参考图片的示例布置的图示。图9是使用单向预测编码块生成E-ILR块的示例的图示。图10是使用差分图片和单向预测编码快生成E-ILR块的示例的图示。图11是使用双向预测编码块本文档来自技高网...

【技术保护点】
1.一种用于生成增强型层间参考(E-ILR)图片的视频设备，该视频设备包括：/n处理器，被配置成：/n基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息，确定由第一时间实例表征的第一基层参考图片的运动补偿块；/n从由所述第二基层图片的所述块中减去所述第一基层参考图片的所述运动补偿块，以生成剩余块；/n使用所述剩余块及由所述第一时间实例表征的增强层图片的运动补偿块，生成由所述第二时间实例表征的增强型层间参考(E-ILR)块。/n

【技术特征摘要】
20130405 US 61/809,115;20130416 US 61/812,687;20131.一种用于生成增强型层间参考(E-ILR)图片的视频设备，该视频设备包括：
处理器，被配置成：
基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息，确定由第一时间实例表征的第一基层参考图片的运动补偿块；
从由所述第二基层图片的所述块中减去所述第一基层参考图片的所述运动补偿块，以生成剩余块；
使用所述剩余块及由所述第一时间实例表征的增强层图片的运动补偿块，生成由所述第二时间实例表征的增强型层间参考(E-ILR)块。


2.根据权利要求1所述的设备，其中，所述处理器还被配置成：
基于所述第一基层参考图片确定权重；以及
将所述权重应用到所述剩余块。


3.根据权利要求2所述的设备，其中，所述第一基层参考图片与用于单向预测的至少一个权重相关联，且与用于双向预测的至少一个权重相关联。


4.根据权利要求2所述的设备，其中，所述处理器被配置成：在将所述权重应用到所述剩余块之后，给所述剩余块添加偏移。


5.根据权利要求4所述的设备，其中，所述处理器被配置成：接收作为参数集的所述权重与所述偏移的指示。


6.根据权利要求2所述的设备，其中，在双向预测模式期间，存在与所述第二基层图片的所述块相关联的两个参考图片；以及被应用到所述剩余块的所述权重根据与所述两个参考图片的每一者相关联的权重被确定。


7.根据权利要求2所述的设备，其中，所述权重与包括所述第一基层参考图片的所述块的所述第一基层参考图片的区域相关联。


8.根据权利要求2所述的设备，其中，所述权重使用查找表与所述第一基层参考图片相关联，所述查找表映射所述第一基层参考图片的索引至与所述权重相关联的索引。


9.根据权利要求1所述的设备，其中，所述第一基层参考图片的所述块是所述第一基层图片的上采样块，所述第二基层图片的所述块是所述第二基层图片的上采样块；以及
其中所述基层运动信息是上采样基层运动信息。


10.根据权利要求1所述的设备，其中，所述处理器被配置成：
生成包括所述E-ILR块的由所述第二时间实例表征的E-ILR图片；以及
使用所述E-ILR图片预测由所述第二时间实例表征的增强层图片。


11.一种用于生成增强型层间参考(E-ILR)图片的方法，该方法包括：
基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息，确定由第一时间实例表征的第一基层参考图片的运动补偿块；<...

【专利技术属性】
技术研发人员：贺玉文，叶琰，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：美国;US