基于光流法的２Ｄ转３Ｄ方法技术

本发明专利技术涉及一种基于光流法的２Ｄ转３Ｄ方法。首先将待处理视频的每一帧图像预处理为８位灰度图像；对预处理后的８位灰度图像进行浮雕处理，以降低图像中存在的噪声，并得到图像的初步轮廓；采用光流法求得图像的视差图；然后采用高斯模糊方法平滑图像，进一步减少所述视差图的噪声；利用待处理视频中的帧图像与该图像生成的又经高斯模糊处理的视差图合成左右视图的视频。本发明专利技术的优点是：可以生成效果好，噪声小的视差图，从而合成效果好的３Ｄ视频；不依赖具体的场景，计算量适中；可以快速批量将大量平面视频高效地转换为立体视频。

【技术实现步骤摘要】

本专利技术涉及一种2D转3D方法，尤其是一种基于光流法的2D转3D方法。
技术介绍
视差(Disparity):人类之所以能够进行立体感知，主要是因为左右眼所看到的 图像有差异，对这种差异进行量化称为视差。 视差图(Disparity Image/M即)视差图中的每个点的像素值代表着源图上对应 位置像素点的视差值。 在2D转3D技术中需要以视差图(Disparity Image)为中介，如基于视差图像的 渲染技术(Disparity Image Based Rendering,DIBR)、基于视频的渲染技术(Video Based Rendering, VBR)等等。 由于多视点视频、图像资源获得成本高，相对缺乏，而获得单视点视频、图像有成 熟的技术，现有的绝大部分视频、图像均是通过单个相机拍摄，因而生成视差图技术在单点 视频领域有广阔的应用前景。 基于单幅图像的视差图生成技术由于信息有限，在不经过人工干预的情况下一般 很难得到精确的结果。现有的技术主要根据一些预先设定的条件来进行推理，如聚焦法 (Depth from Focus)、散焦法(Depth from Defocus)、线性透视(Linear Perspective)等等。这些方法对预设条件依赖性较高，在不满足预设条件的场合，性能急剧下降。而实际场 景千变万化，大部分情况下这些预设条件并不适用。 基于单视点视频的视差图生成技术不仅含有单幅图像的纹理信息和结构信息，还 含有视频中帧与帧之间的运动信息，因此具有更高的可行性，典型的方法有帧移位，运动 法。 在2D转3D技术中，得到场景较好的视差图，意味着转换地成功。现有生成视差图 技术有帧移位法。帧移位法的主要思想是用源视频序列的运动场(Motion Field,MF)图像 来替代视差图。在实际操作中并不求出视差图，而是直接将源视频序列延时一定的帧数从 而得到新的视频序列，从而实现虚拟视点图像绘制。这种方法简单易行，但是由于它没有对 场景的三维结构进行严格分析，因而适用性较差，效果并不理想。 综上所述，为了得到能适应各种场景变化、计算量适中并且具有高质量的视差图， 从而实现视频的2D转3D，需要采用新的方法。
技术实现思路
本专利技术的目的是克服目前现有的2D转3D技术中存在依赖具体场景、难以保证效 果和计算复杂的问题，提供一种基于光流法的2D转3D方法，这种方法可以快速生成视差 图，再与源图结合生成左右图，从而将现有大量平面视频高效地转换为立体视频，缓解当前 立体视频片源缺乏的现状。 按照本专利技术提供的技术方案，所述基于光流法的2D转3D方法包括如下步骤 (1)将待处理视频的每一帧图像预处理为8位灰度图像； (2)对预处理后的8位灰度图像进行浮雕处理，以降低图像中存在的噪声，并得到 图像的初步轮廓； (3)采用光流法求得图像的视差图；然后采用高斯模糊方法平滑图像，进一步减 少所述视差图的噪声； (4)利用待处理视频中的帧图像与该图像生成的又经高斯模糊处理的视差图合成 左右视图的视频。 所述将图像处理为灰度图像的公式为 所述高斯模糊的模板的二维空间定义为 C (M,V):<formula>formula see original document page 5</formula>2w 其中u， v代表像素的模板坐标，o是正态分布的标准差, 本专利技术的优点是 1.可以生成效果好，噪声小的视差图，从而合成效果好的3D视频； 2.不依赖具体的场景，计算量适中； 3.可以快速批量将大量平面视频高效地转换为立体视频。附图说明 图1是本专利技术所述方法流程图。 图2是采用本专利技术所述方法制作3D视频的程序流程图。具体实施例方式下面结合附图和实施例对本专利技术作进一步说明。 如图1所示，本专利技术所述的基于光流法的2D转3D方法步骤如 下 步骤1.将待处理视频的每一帧图像预处理为8位灰度图像 为了得到高质量的视差图，在运用光流技术之前需要完成图像的灰度化工作。 步骤2.对预处理后的8位灰度图像进行浮雕处理 经过步骤一预处理后，再对图像进行浮雕处理。能有效的降低图像中存在的噪声， 二维数字图像可以用如下的二维离散函数来表示 f(i，j) = {fr(i，j)，fg(i，j)，fb(i，j)}i =0，1，2，…，M-1 ;j =0，1，2，…，N-1 (2) 式中，M， N分别为图像横，纵方向上的像素数；fr(i， j)， fg(i， j)， fb(i， j)分别为 (i， j)坐标处像素颜色的红，绿，蓝分量的值。由此浮雕图像的离散函数g(i， j)可以表示 为 g(i，j) = {gr(i，j)，gg(i，j)，gb(i，j)}i =0，1，2，…，M-1 ;j =0，1，2，…，N—1 (3) 式中& (i， j) = fr (i， j) -fr (i-l， j-l) +T (4) gg (i ， j) = fg (i ， j) -fg (i-1 ， j-1) +T (5) gb (i ， j) = fb (i ， j) -fb (i-1 ， j-1) +T (6) 式中T为常数，优选值为128 ;在步骤一中已经将图像处理为8位灰度图，所以在 本步骤中只需对8位灰度图像进行浮雕处理。 浮雕效果是指图像的前景前向凸出。要达到浮雕效果，需要对图像的每一个像素 和它上方的那个像素进行差值，因为两像素值相差不大，相减后，图像显示的亮度很低。为 保持亮度并呈现灰色所以就增加了一个阈值T二 128， T可以取其他值，但是太小图像会很 暗，太大图像会很亮，就不是主流的浮雕，在这里我们取T = 128。 步骤3.采用光流法求得图像的视差图 光流是一种运动模式，是指一个物体的表面、边缘在一个视角下由一个观察者 (如眼睛，摄像头)和背景之间形成的明显移动。 Lucas-Kanade光流算法是最常见，最流行中的一种。它计算两帧图像在时间t到 t+ S t之间每个像素点位置的移动，由于它是基于图像信号的泰勒级数，对空间和时间坐标 使用偏导数。 图像约束方程可以写为I (x， y， t) = I (x+ S x， y+ S y， t+ S t) (7) 其中I (x， y， t)是像素在时间空间坐标(x， y， t)上的亮度，I (x+ S x， y+ S y， t+ S t)是像素经过移动(SX， Sy， St)后的亮度。假设移动足够小，那么对图像约束方程使用泰勒公式，可以得到 ./(■X + <5x,_y + <5_y,f+ = /(x，少,f) -f --—5;r-i---5>' + — 5/ + //.O.r. ( 8 〉 H. 0. T.指的是更高阶，在移动足够小的情况下可以忽略。从方程(8)中可以得到 +——df=ti 、y j&争 ft 或者 3/ d、- 3/ J.v 3/ & n、---1---L— —+.----= (J 、 1 U J 记作 3/ 「 + 5/〖,+ & 一 o (ii〉& x # 》'5# 其中Vx， Vy分别是I (x， y， t)的光流向量中x， y的组成部分，匸，和旦则是图像 在(x， 本文档来自技高网...

【技术保护点】
一种基于光流法的２Ｄ转３Ｄ方法，其特征是所述方法包括如下步骤：（１）将待处理视频的每一帧图像预处理为８位灰度图像；（２）对预处理后的８位灰度图像进行浮雕处理，以降低图像中存在的噪声，并得到图像的初步轮廓；（３）采用光流法求得图像的视差图；然后采用高斯模糊方法平滑图像，进一步减少所述视差图的噪声；（４）利用待处理视频中的帧图像与该图像生成的又经高斯模糊处理的视差图合成左右视图的视频。

【技术特征摘要】
一种基于光流法的2D转3D方法，其特征是所述方法包括如下步骤(1)将待处理视频的每一帧图像预处理为8位灰度图像；(2)对预处理后的8位灰度图像进行浮雕处理，以降低图像中存在的噪声，并得到图像的初步轮廓；(3)采用光流法求得图像的视差图；然后采用高斯模糊方法平滑图像，进一步减少所述视差图的噪声；(4)利用待处理视频中的帧图像与该图像生成的又经高斯模糊处理的视差图合成左右视图的视频。2. 如权利要求1所述的一种基于光流法的2D转3D方法，其特征是所述将图像处理为 灰度图像的公式为<formula>formula see original document page 2</formula>或<formula>formula see original document page 2</formula> 其中，Y代表图像每个像素转换后的灰度值，R，G，B分别代表图像每个像素转换前的R， G，B分量值。3. 如权利要求1所述的一种基于光流法的2D转3D方法，其特征是所述浮雕处理的方 法为二维数字图像用二维离散函数表示为f(i， j) = {fr(i， j)， fg(i， j)， fb(i， j)}i = 0，1，2，…，M-l ;j = 0，1，2，…，N-l式 中，M， N分别为图像横、纵方向上的像素数；fr(i， j)， fg(i， j)， fb(i， j)分别为(i， j)坐标处像素颜色的红，绿，蓝分量的值，由此浮雕图像的离散函数g(i， ...

【专利技术属性】
技术研发人员：刘磊，檀海勤，徐秀兵，
申请(专利权)人：无锡景象数字技术有限公司，
类型：发明
国别省市：32[中国|江苏]