确定参考帧的方法及其装置制造方法及图纸

本发明专利技术公开了一种确定参考帧的方法，该方法包括：计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。本发明专利技术还公开了一种确定参考帧的装置。本发明专利技术能够合理地选择参考帧，避免了现有技术在任何情况下都不会选择视图间参考帧作为当前编码数据块的参考帧的缺陷，也使得采用视图间参考帧作为参考帧的ＤＩＲＥＣＴ模式能够以更高的高率出现。

【技术实现步骤摘要】

本专利技术涉及多视点视频编码
，特别是一种确定参考帧的方法以 及一种确定参考帧的装置。
技术介绍
随着多媒体通信技术的发展，人们不再满足于传统的固定视点视频以及二维(2D)平面视频，从而在娱乐、教育、观光和外科医学等许多应用领 域内出现了对于自由视点视频和三维(3D)视频的需求。例如，能够由观 看者选择视角的自由视点电视(FTV)、以及向处于不同位置的观看者播放 不同视角视频的三维电视(3DTV)。上述应用都要求使用多个摄像机在不 同的空间位置以不同的角度同时获取同 一场景的视频信号，并且还要求有效 地对所获得的一组视频信号进行压缩编码和传输。所获得的这一组视频被称 为多视点视频，而对它们进行压缩编码的过程被称为多视点视频编码。显然， 多#见点#见频编码是实现上述所有自由^L点-〖见频类和3D ^L频类应用的一项关 键技术。HHI提出了 一种与高级视频编码(Advanced Video Coding, AVC )兼容 的多视点视频预测结构一一分等级B帧预测结构。该技术充分利用了单个视 点视频内部视图的时间相关性以及不同视点视图间的相关性进行预测编码， 能够获得较高的编码增益。图1所示的是基于AVC的视图间分等级B帧预 测结构，其中S0、 Sl、 ... S7是每个视图的序号，T0、 Tl、 T2、 ...T3表示 不同的时间点。由图l可以看出，S0是采用H.264的编码方式单独编码的 视图，不需要其它视图做预测；S2、 S4、 S6、 S7仅有一个视图作为其参考 帧；Sl、 S3、 S5利用上下相邻视图做预测，从而去除视图间的冗余信息。H.264是目前为止最新的视频编码标准，在压缩效率、抗误码特性和网 络接入等性能上都有巨大的提高。直接(DIRECT)模式是一种有效的帧间 编码模式，它的运动矢量(MV)和参考帧索引(refldx)信息通过已编码块 的MV和refldx信息推导得出，不需要传送，从而能够节省一定的码率。 H.264中的DIRECT模式包含时域DIRECT模式和空域DIRECT模式两种。 其中，时域DIRECT模式是指MV由其最邻近的后向参考帧相同位置块的 MV推导得出，而空间DIRECT模式的MV信息和refldx信息是由当前编码 块的相邻块的MV和refldx推导得出。H.264中的空间DIRECT模式主要包括两大步骤首先完成参考帧选择 过程，其次完成MV的推导过程。图2给出了当前块的相邻块的示意图，其 中E块为当前编码块，A块为E的左块，B块为E的上块，C块为E的右 上块，并且当C块不存在时，用左上的D块来代替C块。在现有的空间DIRECT模式中，参考帧的选择机制如下选取A、 B、 C块中最小的有效参考帧索引refldx作为当前块DIRECT模式的参考帧。这 里的有效refldx是指大于0的refldx。当某个块仅采用单向预测时，未使用 的一侧的refldx等于-1。另夕卜，在现有的空间DIRECT模式中，MV推导过程如下默认选用A、 B、 C块MV的平均值作为当前块E的MV;并且，如果A、 B、 C中4又有一 个块的参考帧与当前块的参考帧相同时，优先选择该块的MV作为当前块E 的MV。在上述空间DIRECT模式的参考帧选择机制中，参考帧选择3个邻近块 中最小的非负refldx作为当前块的参考帧。该机制认为refldx越小的参考帧 与当前块越相似。但是，在多视点编码时，参考帧列表中同时存放了两种性质的参考帧。 一种是与当前帧处于同一视图的参考帧，称为视图内参考帧；另--种是与当 前帧处于同一时刻但属于不同视图的参考帧，称为视图间参考帧。例如，在 图1中，编码S1视图中T2时刻的帧时，SI中T0和T4时刻的帧是其视图内参考帧，而SO中T2和S2中T2时刻的帧为其视图间参考帧。多视点编码中的参考帧管理机制仍旧沿用H.264中的机制，采用两个参 考帧列表。不同的是先存放视图内参考帧，然后存放视图间参考帧，由于先 存放的参考帧的refldx较小，所以视图内参考帧的refldx总是小于视图间参 考帧的refldx。那么，依据空间DIRECT的参考帧选择机制，只要三个邻近 块中有一个块选视图内参考帧作为参考帧，那么当前块的参考帧将会选成视 图内参考帧。然而，如果三个邻近块中有两个块选视图间参考帧作为参考帧， 那么在一定程度上说明视图间相关性更强一些。但是，现有的机制导致了采 用视图间参考帧作为参考帧的DIRECT模式出现的概率非常d 、，从而降低了 编码的效率。
技术实现思路
有鉴于此，本专利技术提出了一种确定参考帧的方法，用以合理地选择参考 帧。本专利技术还提出了一种确定参考帧的装置。本专利技术提供了一种确定参考帧的方法，该方法包括计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况 下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下 的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参 考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。该方法进一步包括设置标志位，用以表示当前数据块的参考帧是否为 视图间参考帧。该方法进一步包括在选取视图内参考帧情况下的性能指标优于选取视 图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前数据块的 参考帧；和/或，在选取视图内参考帧情况下的性能指标等于选取视图间参 考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。该方法进一步包括设置标志位，用以表示当前数据块的参考帧为视图 内参考帧或者视图间参考帧。所述计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧 情况下的性能指标之前进一步包括在参考帧列表中选取视图内参考帧和视 图间参考帧作为当前数据块的参考帧。该方法进一步包括改变参考帧列表中参考帧的排列顺序。在上述技术方案中，所述性能指标为比特率、失真率或者代价。本专利技术还提供了一种确定参考帧的装置，该装置包括性能指标计算模块，用于计算选取视图内参考帧情况下的性能指标以及 计算选取视图间参考帧情况下的性能指标；参考帧确定模块，用于比较所述选取视图内参考帧情况下的性能指标与 选取视图间参考帧情况下的性能指标，并在选取视图间参考帧情况下的性能 指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定 为当前块的参考帧。所述参考帧确定模块进一步用于设置用以表示当前块的参考帧是否为 视图间参考帧的标志位。所述参考帧确定模块进一 步用于在选取视图内参考帧情况下的性能指 标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为 当前块的参考帧，和/或，在选取视图内参考帧情况下的性能指标等于选取 视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视困间参考帧 确定为当前数据块的参考帧。所述参考帧确定模块进一步用于设置用以表示当前块的参考帧为视图 内参考帧或者视图间参考帧的标志位。该装置进一步包括选取模块，用于在参考帧列表中选取作为当前数据 块参考帧的视图内参考帧和視图间参考帧，并提供给所述性能指标计算模 块。从上述方案中可以看出，由于本专利技术计算了在选取视图内参考帧作为当 前编码数据块参考帧情况下的性能指标以及在选取视图间参考帧作为当前 编码数据块本文档来自技高网...

【技术保护点】
一种确定参考帧的方法，其特征在于，该方法包括：计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性 能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。

【技术特征摘要】
1. 一种确定参考帧的方法，其特征在于，该方法包括计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。2、 根据权利要求1所述的方法，其特征在于，该方法进一步包括 设置标志位，用以表示当前数据块的参考帧是否为视图间参考帧。3、 根据权利要求1所述的方法，其特征在于，该方法进一步包括在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下 的性能指标时，将所述视图内参考帧确定为当前数据块的参考帧:；和/或在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下 的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的 参考帧。4、 根据权利要求3所述的方法，其特征在于，该方法进一步包括 设置标志位，用以表示当前数据块的参考帧为视图内参考帧或者视图间参考帧。5、 根据权利要求1所述的方法，其特征在于，所述计算选取视图内参 考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标之前进一 步包括在参考帧列表中选取视图内参考帧和视图间参考帧作为当前数据块 的参考帧。6、 根据权利要求1所述的方法，其特征在于，该方法进一步包括 改变参考帧列表中参考帧的排列顺序。7、 根据权利要求1至6中任...

【专利技术属性】
技术研发人员：林四新，霍俊彦，杨海涛，常义林，熊联欢，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：94[中国|深圳]