立体视频帧率提升方法和装置制造方法及图纸

本发明专利技术公开了一种立体视频帧率提升方法和装置，所述方法包括：确定待插入彩色视频帧Ct中的每个图像块的运动向量，包括：对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量；根据确定的运动向量，对该图像块进行运动补偿，包括：对于所述深度不连续的图像块，根据其前景运动向量和背景运动向量分别对其前景和背景部分进行运动补偿；将各图像块经过运动补偿的Ct作为彩色视频插入帧插入到Ct-1和Ct+1之间；其中，Ct-1为Ct的在前彩色视频帧，Ct+1为Ct的在后彩色视频帧。由于对深度不连续的图像块区分了背景和前景部分，并分别进行运动补偿，从而经运动补偿后的插入帧的图像中可以更好地划分出运动物体与背景部分的边缘，以提高帧率提升后的视频质量。

【技术实现步骤摘要】

本专利技术涉及视频技术，尤其涉及立体视频帧率提升方法和装置。
技术介绍
随着3D技术的发展,立体视频技术引起的广泛的关注，并且向着闻清、闻巾贞率方向发展。具有播放立体视频功能的移动终端接收某些特定视点的视频及其深度视频后，通过视点合成技术合成其它所需视点视频，不同视点的视频图像进入观看者左右眼，从而使观看者感受到3D效果。立体视频由于需要多个视点视频，所以数据传输量较大；特别是移动终端通过无线传输信道接收视频数据，有可能出现由于数据传输量过大，而造成视频数据传输延迟的情况。因此，为了减少传输过程中的视频数据，通常会对3D视频做一些处理，比如减少、限制视频帧率；将视频帧率较低的多个视点视频的数据传输给移动终端。随着移动终端的处理器运算能力的提升，移动终端可以在接收到视频数据后，通过帧率提升技术，实现高帧率视频的恢复与播放。目前的帧率提升技术主要是采用基于运动补偿的帧插入方法。该方法中，移动终端在接收到视频帧率较低的视频数据后，在帧间插入通过计算得到的视频帧，本文中称为插入帧，以提高帧率。插入帧的图像是根据其前后视频帧中各图像块的运动向量进行计算后得到的。具体地，通常将视频帧分成大小相等的块，然后根据前后视频帧块的匹配，估计出相应块的运动向量，根据每个块的运动向量可以确定出每个块在插入帧中对应的位置，从而确定出插入巾贞的图像。然而该方法，在运动物体的边缘由于块匹配的不准确，会出现不准确的运动向量，从而造成运动物体的模糊，极大影响了 帧率提升后的视频质量。其直观效果是，采用该方法进行帧率提升后得到的立体视频会出现运动物体边缘模糊的现象，导致视频质量不佳。专利技术内容本专利技术的实施例提供了一种立体视频帧率提升方法和装置，用以提高帧率提升后得到的立体视频的质量。根据本专利技术的一个方面，提供了一种立体视频帧率提升方法，包括:对于所述立体视频中待插入彩色视频帧Ct中的每个图像块，确定该图像块的运动向量；其中包括:对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量；针对Ct中的每个图像块，根据确定的该图像块的运动向量，对该图像块进行运动补偿；其中包括:对于所述深度不连续的图像块，根据其前景运动向量和背景运动向量分别对其前景部分和背景部分进行运动补偿；将各图像块经过运动补偿的Ct作为彩色视频插入帧插入到Cw和Ct+1之间；其中，Ct_!为Ct的在前彩色视频帧，Ct+1为Ct的在后彩色视频帧；其中，所述深度不连续的图像块是根据该图像块在Dt_i和Dt+1中对应的图像块的深度信息进行判定的，Dt^1和Dt+1为所述立体视频中分别对应C^1和Ct+1的深度视频帧。其中，所述深度不连续的图像块是根据该图像块在Dt_i和Dt+1中对应的图像块的深度信息进行判定的，具体包括:对Ct中的一个图像块进行双向运动估计后，计算出该图像块的估计运动向量；根据所述估计运动向量确定该图像块在Dw和Dt+1中对应的图像块；若Dw和Dt+1中对应的图像块的深度标准差均小于设定阈值，则判断Ct中的该图像块为深度连续的图像块；否则，判断Ct中的该图像块为深度不连续的图像块。较佳地，所述对于待插入彩色视频帧Ct中的每个图像块，确定该图像块的运动向量，具体还包括:对于所述深度连续的图像块，将计算出的该图像块的估计运动向量，确定为最终的该图像块的运动向量，或将该图像块的估计运动向量经初步优化、或二次优化后得到的运动向量确定为最终的该图像块的运动向量。较佳地，所述对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量，具体包括:对所述深度不连续的图像块划分出背景部分和前景部分后，确定的前景运动向量为满足以下条件的运动向量:对于第二范围内的运动向量，集合P中的图像块基于该运动向量在ct_i中对应的图像块与ct+1中对应的图像块的相似度最高；其中，所述集合P具体为包含该深度不连续的图像块，以及与该深度不连续的图像块相邻的图像块中所有深度连续前景图像块的集合；第二范围根据该深度不连续的图像块的估计运动向量以及设定的第二向量调整步长决定；以及确定的背景运动向量为计算出的该深度不连续的图像块的估计运动向量，或者确定的背景运动向量为将该深度不连续的图像块的估计运动向量经初步优化、或二次优化后得到的运动向量。较佳地，所述深度连续前景图像块的判定方法包括:针对集合Q中每个图像块，计算该图像块的深度平均值；其中，所述集合Q为包括所述深度不连续的图像块，以及与该深度不连续的图像块相邻的图像块的集合；根据计算出的集合Q中的各图像块的深度平均值，计算集合Q的深度平均值；针对集合Q中每个深度连续的图像块，将该图像块的深度平均值分别与集合Q的深度平均值进行比较；将深度平均值小于所述集合Q的深度平均值的深度连续的图像块判定为深度连续前景图像块，将深度平均值大于、等于所述集合Q的深度平均值的深度连续的图像块判定为深度连续背景图像块。较佳地，所述前景运动向量具体根据如下公式9计算得到:本文档来自技高网...

【技术保护点】
一种立体视频帧率提升方法，包括：对于所述立体视频中待插入彩色视频帧Ct中的每个图像块，确定该图像块的运动向量；其中包括：对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量；针对Ct中的每个图像块，根据确定的该图像块的运动向量，对该图像块进行运动补偿；其中包括：对于所述深度不连续的图像块，根据其前景运动向量和背景运动向量分别对其前景部分和背景部分进行运动补偿；将各图像块经过运动补偿的Ct作为彩色视频插入帧插入到Ct?1和Ct+1之间；其中，Ct?1为Ct的在前彩色视频帧，Ct+1为Ct的在后彩色视频帧；其中，所述深度不连续的图像块是根据该图像块在Dt?1和Dt+1中对应的图像块的深度信息进行判定的，Dt?1和Dt+1为所述立体视频中分别对应Ct?1和Ct+1的深度视频帧。

【技术特征摘要】
1.一种立体视频帧率提升方法，包括: 对于所述立体视频中待插入彩色视频帧Ct中的每个图像块，确定该图像块的运动向量；其中包括:对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量; 针对Ct中的每个图像块，根据确定的该图像块的运动向量，对该图像块进行运动补偿；其中包括:对于所述深度不连续的图像块，根据其前景运动向量和背景运动向量分别对其前景部分和背景部分进行运动补偿； 将各图像块经过运动补偿的Ct作为彩色视频插入帧插入到Ct_i和Ct+1之间；其中，Ct^1为Ct的在前彩色视频帧，Ct+1为Ct的在后彩色视频帧； 其中，所述深度不连续的图像块是根据该图像块在Dt_i和Dt+1中对应的图像块的深度信息进行判定的，Dt^1和Dt+1为所述立体视频中分别对应C^1和Ct+1的深度视频帧。2.如权利要求1所述的方法，其特征在于，所述深度不连续的图像块是根据该图像块在Dw和Dt+1中对应的图像块的深度信息进行判定的，具体包括: 对Ct中的一个图像块进行双向运动估计后，计算出该图像块的估计运动向量；根据所述估计运动向量确定该图像块在Dw和Dt+1中对应的图像块；若Dt^1和Dt+1中对应的图像块的深度标准差均小于设定阈值，则判断Ct中的该图像块为深度连续的图像块；否则，判断Ct中的该图像块为深度不连续的图像块。3.如权利要求2所述的方法，其特征在于，所述对于待插入彩色视频帧Ct中的每个图像块，确定该图像块的运动向量，具体还包括: 对于所述深度连续的图像块，将计算出的该图像块的估计运动向量，确定为最终的该图像块的运动向量，或将该图像块的估计运动向量经初步优化、或二次优化后得到的运动向量确定为最终的该图像块的运动向量。4.如权利要求1-3任一所述的方法，其特征在于，所述对于深度不连续的图像块，确定的运动向量包括前景运动向量和背景运动向量，具体包括: 对所述深度不连续的图像块划分出背景部分和前景部分后，确定的前景运动向量为满足以下条件的运动向量:对于第二范围内的运动向量，集合P中的图像块基于该运动向量在C^1中对应的图像块与Ct+1中对应的图像块的相似度最高；其中，所述集合P具体为包含该深度不连续的图像块，以及与该深度不连续的图像块相邻的图像块中所有深度连续前景图像块的集合；第二范围根据该深度不连续的图像块的估计运动向量以及设定的第二向量调整步长决定； 以及确定的背景运动向量为计算出的该深度不连续的图像块的估计运动向量，或者确定的背景运动向量为将该深度不连续的图像块的估计运动向量经初步优化、或二次优化后得到的运动向量。5.如权利要求4所述的方法，其特征在于，所述深度连续前景图像块的判定方法包括: 针对集合Q中每个图像块，计算该图像块的深度平均值；其中，所述集合Q为包括所述深度不连续的图像块，以及与该深度不连续的图像块相邻的图像块的集合； 根据计算出的集合Q中的各图像块的深度平均值，计算集合Q的深度平均值； 针对集合Q中每个深度连续的图像块，将该图像块的深度平均值分别与集合Q的深度平均值进行比较；将深度平均值小于所述集合Q的深度平均值的深度连续的图像块判定为深度连续前景图像块，将深度平均值大于、等于所述集合Q的深度平均值的深度连续的图像块判定为深度连续背景图像块。6.一种立体视频帧率提...

【专利技术属性】
技术研发人员：杨晓晖，刘琚，孙建德，元辉，刘韶，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：