使用用于多视点视频预测的参考画面集的多视点视频编解码方法及其装置制造方法及图纸

提供了一种通过根据视点对多视点视频的每个画面执行帧间预测和视点间预测来对多视点视频编码和解码的方法。一种对多视点视频进行编码的预测编码方法，包括：在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺序不同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画面的参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集；在第一参考列表与第二参考列表之间确定至少一个参考列表，其中，第一参考列表包括在确定的多个参考画面集之中的具有早于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有小于当前画面的视点标识符VID的VID的至少一个重建画面，第二参考列表包括具有与当前画面的再现顺序相同的再现顺序并具有晚于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有大于当前画面的VID的VID的至少一个重建画面；通过使用确定的至少一个参考列表确定用于当前画面的当前块的至少一个参考画面和参考块；通过使用参考块执行从用于当前块的帧间预测和视点间预测中选择的至少一个操作。

【技术实现步骤摘要】
【国外来华专利技术】使用用于多视点视频预测的参考画面集的多视点视频编码 方法及其装置、使用用于多视点视频预测的参考画面集的 多视点视频解码方法及其装置
本专利技术涉及多视点视频编码和解码。
技术介绍
随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于 有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根 据传统的视频编解码器，根据基于具有预定尺寸的宏块的受限的编码方法来对视频进行编 码。 空间域的图像数据经由频率变换被变换为频率域的系数。根据视频编解码器，将 图像划分为具有预定尺寸的块，对每个各块执行离散余弦变换（DCT)，并在块单元中对频率 系数进行编码，以进行频率变换的快速计算。与空间域的图像数据相比，频率域的系数容易 被压缩。具体地，由于根据经由视频编解码器的帧间预测或帧内预测的预测误差来表示空 间域的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为〇。根据视频 编解码器，可通过使用少量数据来代替连续并重复产生的数据，来减少数据量。 尽管存在对多视点捕获的视频的增长的需求，但是随着视点的数量而同样增加的 视频数据的量会造成问题。因此，对有效地对多视点视频进行编码的努力在继续。
技术实现思路
技术问题 本专利技术提供了一种通过根据视点对多视点视频的每个图像执行帧间预测和视点 间预测来对多视点视频进行编码和解码的方法。 技术方案 根据本专利技术的一方面，提供了一种对多视点视频进行编码的预测编码方法，包括： 在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺序不 同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画面的 参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的 再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集；在第一参考列表与第二 参考列表之间确定至少一个参考列表，其中，第一参考列表包括确定的多个参考趣面集之 中的具有早于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面 的再现顺序相同的再现顺序并具有小于当前画面的视点标识符（VID)的VID的至少一个重 建画面，第二参考列表包括具有与当前画面的再现顺序相同的再现顺序并具有晚于当前画 面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再 现顺序并且具有大于当前画面的VID的VID的至少一个重建画面；通过使用确定的至少一 个参考列表确定用于当前画面的当前块的至少一个参考画面和参考块；通过使用参考块执 行从用于当前块的帧间预测和视点间预测中选择的至少一种预测。 有益效果 根据本专利技术的用于多视点视频的预测编码设备和预测解码设备可建立用于多视 点视频的帧间预测和视点间预测的参考画面列表。一个参考画面列表可包括用于帧间预测 的参考图像和用于视点间预测的参考图像两者。 可通过序列参数集和条带头来发送和接收关于明确反映解码画面集的状态的参 考画面集的信息。可根据参考画面集来确定参考列表，从而可在考虑当前解码画面集的状 态确定的参考列表中确定参考图像，并且参考图像可用于帧间预测/运动补偿和视点间预 测/视差补偿。 【附图说明】 图Ia是根据实施例的多视点视频预测编码设备的框图； 图Ib是根据实施例的多视点视频预测编码方法的流程图； 图2a是根据实施例的多视点视频预测解码设备的框图； 图2b是根据实施例的多视点视频预测解码方法的流程图； 图3示出根据实施例的用于当前画面的帧间预测和视点间预测的参考对象； 图4示出根据实施例的基于图3的参考对象配置的参考列表； 图5a和图5b是用于解释根据实施例的改变LO列表的处理的不图； 图6a示出根据实施例的序列画面参数集的语法； 图6b示出根据实施例的画面参数集的语法； 图7示出根据实施例的条带头的语法； 图8a示出根据实施例的用于视点间预测的参考画面集的参数集； 图8b示出根据实施例的用于改变参考列表的参数的语法； 图9示出根据实施例的组合的参考列表； 图10和图11是用于解释根据实施例的用于改变组合的参考列表的处理的示图； 图12是根据实施例的包括多视点视频预测编码设备的多视点视频编码设备的框 图； 图13是根据实施例的包括多视点视频预测解码设备的多视点视频解码设备的框 图； 图14是根据本专利技术的实施例的基于根据树结构的编码单元的视频编码设备的框 图； 图15是根据本专利技术的实施例的基于根据树结构的编码单元的视频解码设备的框 图； 图16是用于描述根据本专利技术的实施例的编码单元的概念的示图； 图17是根据本专利技术的实施例的基于编码单元的图像编码器的框图； 图18是根据本专利技术的实施例的基于编码单元的图像解码器的框图； 图19是示出根据本专利技术的实施例的根据深度的较深层编码单元以及分区的示 图； 图20是用于描述根据本专利技术的实施例的编码单元与变换单元之间的关系的示 图； 图21是用于描述根据本专利技术的实施例的与编码深度相应的编码单元的编码信息 的示图； 图22是根据本专利技术的实施例的根据深度的较深层编码单元的示图； 图23至图25是用于描述根据本专利技术的实施例的编码单元、预测单元和变换单元 之间的关系的不图； 图26是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的不图； 图27是根据本专利技术的实施例的存储程序的盘的物理结构的示图； 图28是通过使用盘来记录和读取程序的盘驱动器的示图； 图29是提供内容分配服务的内容供应系统的整体结构的示图； 图30和图31是根据本专利技术的实施例的应用了视频编码方法和视频解码方法的移 动电话的内部结构和外部结构各自的示图； 图32是根据本专利技术的实施例的采用通信系统的数字广播系统的示图； 图33是示出根据本专利技术的实施例的使用视频编码设备和视频解码设备的云计算 系统的网络结构的示图。 最佳实施方式 根据本专利技术的一方面，提供了一种对多视点视频进行编码的预测编码方法，包括： 在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺序不 同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画面的 参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的 再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集；在第一参考列表与第二 参考列表之间确定至少一个参考列表，其中，第一参考列表包括确定的多个参考趣面集之 中的具有早于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面 的再现顺序相同的再现顺序并具有小于当前画面的视点标识符（VID)的VID的至少一个重 建画面，第二参考列表包括具有与当前画面的再现顺序相同的再现顺序并具有晚于当前画 面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再 现顺序并具有大于当前画面的VID的VID的至少一个重建画面；通过使用确定的至少一个 参考列表确定用于当前画面的当前块的至少一个参考画面和参考块；通本文档来自技高网...

【技术保护点】
一种对多视点视频进行编码的预测编码方法，所述预测编码方法包括：在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺序不同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画面的参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集；在第一参考列表与第二参考列表之间确定至少一个参考列表，其中，第一参考列表包括确定的多个参考画面集之中的具有早于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有小于当前画面的视点标识符VID的VID的至少一个重建画面，第二参考列表包括具有与当前画面的视点相同的视点并晚于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有大于当前画面的VID的VID的至少一个重建画面；通过使用确定的至少一个参考列表确定用于当前画面的当前块的至少一个参考画面和参考块；通过使用参考块针对当前块执行从帧间预测和视点间预测中选择的至少一种预测。

【技术特征摘要】
【国外来华专利技术】2012.04.25 US 61/638,1011. 一种对多视点视频进行编码的预测编码方法，所述预测编码方法包括： 在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺 序不同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画 面的参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画 面的再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集； 在第一参考列表与第二参考列表之间确定至少一个参考列表，其中，第一参考列表包 括确定的多个参考画面集之中的具有早于当前画面的再现顺序的再现顺序的至少一个重 建画面以及具有与当前画面的再现顺序相同的再现顺序并具有小于当前画面的视点标识 符VID的VID的至少一个重建画面，第二参考列表包括具有与当前画面的视点相同的视点 并晚于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现 顺序相同的再现顺序并具有大于当前画面的VID的VID的至少一个重建画面； 通过使用确定的至少一个参考列表确定用于当前画面的当前块的至少一个参考画面 和参考块； 通过使用参考块针对当前块执行从帧间预测和视点间预测中选择的至少一种预测。2. 如权利要求1所述的对多视点视频进行编码的预测编码方法，其中，确定参考画面 集的步骤包括： 在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺 序不同的再现顺序的至少一个非参考重建画面的参考画面集； 在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的再现顺 序相同的再现顺序的至少一个非参考重建画面的参考画面集。3. 如权利要求1所述的对多视点视频进行编码的预测编码方法，其中，确定参考画面 集的步骤包括： 确定在当前条带中是否使用针对当前画面确定的所述多个参考画面集之一； 如果确定使用针对当前画面确定的所述多个参考画面集之一，则从所述多个参考画面 集中选择索引； 如果确定不使用针对当前画面确定的所述多个参考画面集之一，则确定用于当前条带 的参考画面集。4. 如权利要求3所述的对多视点视频进行编码的预测编码方法，其中，确定用于当前 条带的参考画面集的步骤： 确定具有小于当前视点的VID的VID的画面的第一数量以及具有大于当前视点的VID 的VID的画面的第二数量； 确定具有小于当前视点的VID的VID的画面的VID之间的差值以及具有大于当前视点 的VID的VID的画面的VID之间的差值。5. 如权利要求1所述的对多视点视频进行编码的预测编码方法，其中，确定至少一个 参考列表的步骤包括： 确定在当前条带中是否选择性地改变确定的至少一个参考列表的参考索引的参考顺 序； 当确定在当前条带中选择性地改变参考顺序时，选择性地改变用于属于当前画面的当 前条带的至少一个参考列表的参考索引的参考顺序。6. 如权利要求1所述的对多视点视频进行编码的预测编码方法，其中，针对当前块执 行从帧间预测和视点间预测中选择的至少一种预测的步骤包括： 当执行帧间预测时，从自包括在第一参考列表中的具有早于当前画面的再现顺序的再 现顺序的至少一个重建画面和包括在第二参考列表中的具有晚于当前画面的再现顺序的 再现顺序的至少一个重建画面中选择的至少一个重建画面中确定参考画面和参考块；通过 使用确定的参考块对当前块执行帧间预测；确定通过执行帧间预测产生的当前块的第一残 差数据、指示确定的参考块的第一运动矢量以及指示确定的参考画面的第一参考索引； 当执行视点间预测时，从自包括在第一参考列表中的具有小于当前画面的VID的VID 的至少一个重建画面和包括在第二参考列表中的具有大于当前画面的VID的VID的至少一 个重建画面中选择的至少一个重建画面中确定参考画面和参考块；通过使用确定的参考块 对当前块执行视点间预测；确定通过执行帧间预测产生的当前块的第二残差数据、指示确 定的参考块的第二运动矢量以及指示确定的参考画面的第二参考索引。7. -种对多视点视频进行解码的预测解码方法，所述预测解码方法包括： 在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺 序不同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画 面的参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画 面的再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集； 在第一参考列表与第二参考列表之间确定至少一个参考列表，其中，第一参考列表包 括确定的多个参考画面集之中的具有早于当前画面的再现顺序的再现顺序的至少一个重 建画面以及具有与当前画面的再现顺序相同的再现顺序并具有小于当前画面的VID的VID 的至少一个重建画面，第二参考列表包括具有与当前画面的视点相同的视点并晚于当前画 面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再 现顺序并具有大于当前画面的VID的VID的至少一个重建画面； 通过使用确定的至少一个参考列表确定用于...

【专利技术属性】
技术研发人员：崔秉斗，朴正辉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR