一种非关键帧深度快速生成方法技术

本发明专利技术适用于视频转换领域，提供了一种非关键帧深度快速生成方法。所述方法在普通2D视频中的关键帧及其对应的深度信息基础上，采用了一种连续消除菱形法，降低深度生成的遍历次数，提高3D转换时的速度，并同时兼顾到转换时的立体效果。

【技术实现步骤摘要】

本专利技术属于视频转换领域，尤其涉及一种非关键帧深度快速生成方法。
技术介绍
目前，随着立体显示器、3D投影技术、3D影院的不断发展，尤其是2012年初我国第一批立体频道的开通，对立体内容(节目)的需求量大增。最近几年来，国内外在立体电影、立体直播、立体电视剧方面等均做了一些尝试。但是，目前几乎所有高等级的立体内容，尤其是立体电影，都直接或间接地产自国外。虽然国内已有部分企业参与到了3D内容制作过程中，但大都是采用人工方法，对图像进行抠图来制作深度信息，通过我国低成本的人力资源来赚取制作中的利润。而事实上，我国已有非常充分的2D视频内容，如果能解决2D视频转3D视频中的效率和效果问题，无疑可以大大推进我国在3D视频内容的制作水平和成果。
技术实现思路
本专利技术实施例的目的在于提供一种非关键帧深度快速生成方法，在普通2D视频中的关键帧及其对应的深度信息基础上，采用了一种连续消除菱形法，降低深度生成的遍历次数，提高3D转换时的速度，并同时兼顾到转换时的立体效果。本专利技术实施例是这样实现的，一种非关键帧深度快速生成方法，所述方法包括下述步骤：S1，读取关键帧的深度图以及所述关键帧对应的平面视频序列；S2，分别获取当前帧和下一帧的二维图像中的亮度分量，并将所述下一帧的亮度分量分成预设像素的宏块；S3，当所述下一帧中存在没有获取运动矢量的宏块时，在所述当前帧中按照大菱形搜索模板在预定范围内进行搜索，将LDSP模板的中心放在搜索窗口的原点，计算中心点的SAD值，然后对剩余的8个点进行SEA算法判断，若都不满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，并将SAD值最小的点设置为LDSP的中心，并执行S5，否则执行S4；S4，以SAD值最小的点为中心，形成新的LDSP模板，并对新中心点周围没有计算过SAD值的点进行SEA算法判断，若都不满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，当SAD值最小的点为LDSP模板的中心点时，执行S5，否则重复执行S4；S5，以SAD值最小的点为中心点，使用小菱形搜索模板，对周围4个点进行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，计算满足SEA算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执行S7，否则执行S6；S6，以SAD值最小的点为中心点，形成新的SDSP模板，对没有计算过SAD值的点进行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，则计算满足SEA算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执行S7，否则重复执行S6；S7，以SDSP模板的中心点为匹配块起点，计算并保存当前宏块以及匹配块的运动矢量，判断并获取下一帧二维图像中宏块的运动矢量是否结束，若是，则执行S8，否则执行S3；S8，根据运动矢量以及当前帧所对应的深度图，生成下一帧图像深度图的每个宏块，进而生成下一帧图像的深度图，判断是否生成再下一帧深度图，是则执行S2，否则结束。本专利技术实施例通过一种2D视频转3D视频中的非关键帧深度快速生成方法，在普通2D视频中的关键帧及其对应的深度信息基础上，采用了一种连续消除菱形法，降低深度生成的遍历次数，快速且准确的生成非关键帧的深度信息，提高3D转换时的速度，并同时兼顾到转换时的立体效果。附图说明图1是本专利技术第一实施例提供的一种非关键帧深度快速生成方法的实现流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术第一实施例提供的一种非关键帧深度快速生成方法的实现流程，详述如下：在步骤S1中，读取关键帧的深度图以及所述关键帧对应的平面视频序列。在具体实施过程中，当需要进行2D视频转3D视频的非关键帧深度生成时，首先对2D视频进行预处理，获取2D视频的视频帧序列，之后可以采用人工分割的方式将视频分割为若干的子序列，通过自动解码的方式获取得到帧图像，在之后可以采用人工或电脑自动化的方式获取得到关键帧和非关键帧，在获取得到关键帧以后读取关键帧的深度图即关键帧的深度信息以及关键帧所对应到的在2D视频中的视频帧序列，其中深度信息的深度值范围为0-255。在步骤S2中，分别获取当前帧和下一帧的二维图像中的亮度分量，并将所述下一帧的亮度分量分成预设像素的宏块。在本专利技术实施例中，当获取得到关键帧的视频深度图和关键帧所对应的视频序列以后，获取当前关键帧N和下一非关键帧N+1的二维图像中的亮度分量Yn以及Yn+1，并将下一帧的亮度分量Yn+1分成预设的像素宏块，其中优选的采用16*16的像素，其中非关键帧为包含了运动矢量信息的视频帧。在步骤S3中，当所述下一帧中存在没有获取运动矢量的宏块时，在所述当前帧中按照大菱形搜索模板在预定范围内进行搜索，将LDSP模板的中心放在搜索窗口的原点，计算中心点的SAD值，然后对剩余的8个点进行SEA算法判断，若都不满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，并将SAD值最小的点设置为LDSP的中心，并执行S5，否则执行S4。其中SEA算法具体为：P-MINSAD(x,y)≤M(i,j)≤P+MINSAD(x,y)。其中:fk(m,n)为第k个非关键帧第(m，n)点灰度值；P=Σm=0MΣn=0N|fk(m,n)|;]]>M(i,j)=Σm=0MΣn=0N|fk-1(m+i,n+j)|;]]>MINSAD(x,y)=SAD(i,j)=Σm=0MΣn=0N|fk(m,n)-fk-1(m+i,n+j)|;]]>其中M，N为当前选择的模板的大小，M为模板宽度，N为模板高度。在本专利技术实施例中，当将下一帧的亮度分量Yn+1分成预设的像素宏块时，获取得到的宏块中没有运动矢量时，在当前帧中按照LDSP(LargeDiamondSearchPatten)大菱形搜索模板在预定的范围内进行搜索，将大菱形模板的中心放在搜索窗口的原点，首先计算中心店的SAD(SumofAbsoluteDifference)绝对差值总和，然后对剩余的8个点进行SEA(SuccessiveElimination本文档来自技高网...

【技术保护点】
一种非关键帧深度快速生成方法，其特征在于，所述方法包括下述步骤：S1，读取关键帧的深度图以及所述关键帧对应的平面视频序列；S2，分别获取当前帧和下一帧的二维图像中的亮度分量，并将所述下一帧的亮度分量分成预设像素的宏块；S3，当所述下一帧中存在没有获取运动矢量的宏块时，在所述当前帧中按照大菱形搜索模板在预定范围内进行搜索，将LDSP模板的中心放在搜索窗口的原点，计算中心点的SAD值，然后对剩余的8个点进行SEA算法判断，若都不满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，并将SAD值最小的点设置为LDSP的中心，并执行S5，否则执行S4；S4，以SAD值最小的点为中心，形成新的LDSP模板，并对新中心点周围没有计算过SAD值的点进行SEA算法判断，若都不满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，当SAD值最小的点为LDSP模板的中心点时，执行S5，否则重复执行S4；S5，以SAD值最小的点为中心点，使用小菱形搜索模板，对周围4个点进行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，计算满足SEA算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执行S7，否则执行S6；S6，以SAD值最小的点为中心点，形成新的SDSP模板，对没有计算过SAD值的点进行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，则计算满足SEA算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执行S7，否则重复执行S6；S7，以SDSP模板的中心点为匹配块起点，计算并保存当前宏块以及匹配块的运动矢量，判断并获取下一帧二维图像中宏块的运动矢量是否结束，若是，则执行S8，否则执行S3；S8，根据运动矢量以及当前帧所对应的深度图，生成下一帧图像深度图的每个宏块，进而生成下一帧图像的深度图，判断是否生成再下一帧深度图，是则执行S2，否则结束。...

【技术特征摘要】
1.一种非关键帧深度快速生成方法，其特征在于，所述方法包括下述步骤：
S1，读取关键帧的深度图以及所述关键帧对应的平面视频序列；
S2，分别获取当前帧和下一帧的二维图像中的亮度分量，并将所述下一帧
的亮度分量分成预设像素的宏块；
S3，当所述下一帧中存在没有获取运动矢量的宏块时，在所述当前帧中按
照大菱形搜索模板在预定范围内进行搜索，将LDSP模板的中心放在搜索窗口的
原点，计算中心点的SAD值，然后对剩余的8个点进行SEA算法判断，若都不
满足，执行S5，若有至少一个点满足，则计算满足SEA算法的点的SAD值，并
将SAD值最小的点设置为LDSP的中心，并执行S5，否则执行S4；
S4，以SAD值最小的点为中心，形成新的LDSP模板，并对新中心点周围没
有计算过SAD值的点进行SEA算法判断，若都不满足，执行S5，若有至少一个
点满足，则计算满足SEA算法的点的SAD值，当SAD值最小的点为LDSP模板的
中心点时，执行S5，否则重复执行S4；
S5，以SAD值最小的点为中心点，使用小菱形搜索模板，对周围4个点进
行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，计算满足SEA
算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执行S7，否
则执行S6；
S6，以SAD值最小的点为中心点，形成新的SDSP模板，对没有计算过SAD
值的点进行SEA算法判断，若都不满足，执行S7，若有至少一个点满足，则计
算满足SEA算法的点的SAD值，当SAD值最小的点为SDSP模板的中心点时，执
行S7，否则重复执行S6；
S7，以SDSP模板的...

【专利技术属性】
技术研发人员：姜太平，陈新华，
申请(专利权)人：深圳市敬人科技创意有限公司，
类型：发明
国别省市：广东;44