单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法技术

本发明专利技术公开一种单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的视频，包括以下步骤：将输入的2D视频利用梯度法求解图像运动矢量的方法得到图像的深度信息图；利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出。本发明专利技术提供一种方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的片源，利用梯度法求解运动矢量，利用各种运算简单的方法提取准确的深度图，同时运用一路2D的深度图合成多路的多视点视差图解决3D片源短缺的难题，尤其能够解决多视点裸眼立体显示器的3D片源短缺难题，运算复杂度低，运算量小，利于芯片级硬件实现。

【技术实现步骤摘要】

本专利技术涉及多视点立体视频合成领域，尤其涉及一种。
技术介绍
随着告别3D电视元年2010年以及进一步放量发展的2011年，3D显示技术已进入3D电视的普及元年2012年。纵观整个3D电视发展历程，无论是眼镜式3D显示技术还是裸眼3D显示技术都已进入稳定发展期。但是，相对于3D显示技术的迅猛发展，3D片源逐渐成为制约3D电视在消费市场上进一步普及的最大瓶颈。3D片源分为双目片源和多目片源，双目片源需要佩戴辅助设备进行观看，如通过主动快门式、偏振式、红蓝式眼镜等将双目图像分别发送至人的左右两眼，从而形成立体视觉感知。这种方式需要用户佩戴眼镜，观看不便。多目片源播放则采用裸眼3D立体显示设备显示，裸眼3D立体显示技术能够让用户无需佩戴辅助设备即可观看视频所具有的立体效果，是未来立体视频显示的发展方向。无论是双目还是多目片源，由于制作成本高、周期长、对采集设备及辅助设备的要求高等问题，成为制约3D电视普及的瓶颈，而且现有的大量2D视频资料一方面提供了丰富的片源问题，另一方面却由于显示不兼容的问题而无法在3D立体显示设备上显示。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的视频。为达到上述目的，本专利技术所述一种单目转多目的立体视频生成方法，包括以下步骤将输入的2D视频求解得到图像的深度信息图，利用得到的深度信息图渲染生成N 视点的3D视差图，并合成3D视频输出；其中，求解得到深度信息图的具体步骤为对视频图像进行预处理；对预处理后的图像利用梯度法得到运动矢量；对运动矢量进行场景改变度检测以得到视频图像的初始深度信息；对初始深度信息进行再处理以得到清晰的深度图。优选地，生成视差图的具体步骤为结合深度信息图和原始图，视点区的N个视点在显示屏后生成N路虚拟像点，设视点区的N个左视点为L0、L1、L2......LN ;N个右视点为R0、R1、R2......RN ;则各视点在显示屏后生成的N路虚拟像点曲线为L0”、R0” ；L1”、Rl ” ；L2”、20”......LN，，、RN” ；求得N视点视差图为LN” = S+(2N+1) *depth ；RN” = S-(2N+1) *depth ；进而合成N幅输入到显示屏的视频源；根据显示器特性将N幅视频源合成一幅视频源到显示器上显示。优选地，对视频图像进行预处理具体为 将输入的2D视频由RGB色彩空间转换到YUV空间；对YUV空间的Y分量进行重复下采样处理，同时进行场景自然度检测和场景相关度检测；对初始深度信息进行再处理具体为对初始深度信息进行重复平滑滤波和重复上采样处理，并根据场景相关度检测信息对视频图像内的边界信息进行保留，得到清晰的深度根据场景自然度检测信息和场景改变度检测信息对深度图进行混合滤波，得到最终的图像深度信息图。优选地，对运动矢量进行场景改变度检测具体为若场景发生变化，则重新计算变化后的图像利用梯度法得到运动矢量；反之，进行运动矢量累加。优选地，所述场景自然度检测是完成检测视频的电影模式中上方和下方有大面积的黑幕情况，形成有效的视频图像检测区域；所述场景改变度检测是检测前后帧的图像是否发生场景变化，场景变化时将重新计算运动矢量；所述场景相关度检测是检测同一帧图像中的相邻像素是否相关。优选地，所述下采样处理具体是将视频原始分辨率降到低分辨率。优选地，所述上采样处理具体是将视频所降到的低分辨率还原到原始分辨率。优选地，所述N视点的N = 2，为佩带眼镜的3D模式；所述N视点的N > 2，为裸眼的3D模式。为达到上述目的，本专利技术所述一种求解深度信息图的方法，具体包括以下步骤将输入的2D视频由RGB色彩空间转换到YUV空间；对YUV空间的Y分量进行重复下采样处理，同时进行场景自然度检测和场景相关度检测；对下采样处理的视频图像信息利用梯度法得到运动矢量，同时对运动矢量进行场景改变度检测，并判断场景是否发生变化；若场景发生变化，则重新计算变化后的图像利用梯度法得到运动矢量；反之，进行运动矢量累加；进而得到视频图像的初始深度信息；对初始深度信息进行重复平滑滤波和重复上采样处理，并根据场景相关度检测信息对视频图像内的边界信息进行保留，得到清晰的深度根据场景自然度检测信息和场景改变度检测信息对深度图进行混合滤波，得到最终的图像深度信息图。5为达到上述目的，本专利技术所述一种生成视差图的方法，具体包括以下步骤结合深度信息图和原始图，视点区的N个视点在显示屏后生成N路虚拟像点，设视点区的N个左视点为L0、L1、L2......LN ;N个右视点为R0、R1、R2......RN ;则各视点在显示屏后生成的N路虚拟像点曲线为L0”、R0” ；L1”、Rl ” ；L2”、20”......LN，，、RN，，；求得N视点视差图为LN” = S+(2N+1) *depth ；RN” = S-(2N+1) *depth ；进而合成N幅输入到显示屏的视频源；根据显示器特性将N幅视频源合成一幅视频源到显示器上显示。本专利技术的有益效果为本专利技术提供一种方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的片源，利用梯度法求解运动矢量，利用各种运算简单的方法提取准确的深度图，同时运用一路2D的深度图合成多路的多视点视差图解决3D片源短缺的难题，尤其能够解决多视点裸眼立体显示器的3D片源短缺难题，运算复杂度低，运算量小，利于芯片级硬件实现。附图说明图I是本专利技术实施例所述单目转多目的立体视频生成方法的框图2是本专利技术实施例所述深度图求解框图3是人眼观看3D显示器产生深度感的原理图4是生成视差图像的基本原理；图5是一路2D视频根据深度信息合成多路视频的俯视图。具体实施方式下面结合说明书附图对本专利技术做进一步的描述。单目视频(2D)转多目视频(3D)是在现有3D信号比较少的情况下出现的一种技术，它能够将日常观看的普通2D电视节目，通过运算产生出3D的显示效果。2D转3D是在原有2D图像的基础上经过运算，生成新的视差图像，然后将视差图像以3D存储格式输出，通过佩戴合适的3D眼镜，或者输出合适的多视点视频源，通过多视点立体显示器，从而达到实现3D效果的目的。为此，如图I所示，本专利技术实施例所述一种单目转多目的立体视频生成方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的视频。该方法包括以下步骤将输入的2D视频利用梯度法求解图像运动矢量的方法得到图像的深度信息利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出。本专利技术实现的内容为两个部分，一部分为利用2D视频图像求解深度图；一部分为利用深度图合成3D视频源。I、得到深度信息图的具体步骤为将输入的2D视频由RGB色彩空间转换到YUV空间；对YUV空间的Y分量进行重复下采样处理，同时进行场景自然度检测和场景相关度检测；对下采样处理的视频图像信息利用梯度法得到运动矢量，同时对运动矢量进行场景改变度检测，并判断场景是否发生变化；若场景发生变化，则重新计算变化后的图像利用梯度法得到运动矢量；反之，进行运动矢量累加；进而得到视频图像的初始深度信息；对初始深度信息进行重复平滑滤波和重复上采样处理，并根据场景相关度检测信息对视频图像内的边界信息进行保留，得到清晰本文档来自技高网...

【技术保护点】
一种单目转多目的立体视频生成方法，其特征在于，包括以下步骤：将输入的2D视频求解得到图像的深度信息图，利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出；其中，求解得到深度信息图的具体步骤为：对视频图像进行预处理；对预处理后的图像利用梯度法得到运动矢量；对运动矢量进行场景改变度检测以得到视频图像的初始深度信息；对初始深度信息进行再处理以得到清晰的深度图。

【技术特征摘要】
1.一种单目转多目的立体视频生成方法，其特征在于，包括以下步骤 将输入的2D视频求解得到图像的深度信息图，利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出；其中， 求解得到深度信息图的具体步骤为 对视频图像进行预处理； 对预处理后的图像利用梯度法得到运动矢量； 对运动矢量进行场景改变度检测以得到视频图像的初始深度信息； 对初始深度信息进行再处理以得到清晰的深度图。2.根据权利要求I所述的单目转多目的立体视频生成方法，其特征在于，生成视差图的具体步骤为 结合深度信息图和原始图，视点区的N个视点在显示屏后生成N路虚拟像点，设视点区的N个左视点为L0、L1、L2......LN ;N个右视点为R0、R1、R2......RN ;则各视点在显示屏后生成的N路虚拟像点曲线为LO”、RO，，;L1”、Rl ” ;L2”、20”......LN”、RN” ； 求得N视点视差图为LN” = S+(2N+1)*depth ；RN” = S-(2N+l)*depth ； 进而合成N幅输入到显示屏的视频源； 根据显示器特性将N幅视频源合成一幅视频源到显示器上显示。3.根据权利要求I所述的单目转多目的立体视频生成方法，其特征在于，对视频图像进行预处理具体为 将输入的2D视频由RGB色彩空间转换到YUV空间； 对YUV空间的Y分量进行重复下采样处理，同时进行场景自然度检测和场景相关度检测； 对初始深度信息进行再处理具体为 对初始深度信息进行重复平滑滤波和重复上采样处理，并根据场景相关度检测信息对视频图像内的边界信息进行保留，得到清晰的深度图； 根据场景自然度检测信息和场景改变度检测信息对深度图进行混合滤波，得到最终的图像深度信息图。4.根据权利要求I所述的单目转多目的立体视频生成方法，其特征在于，对运动矢量进行场景改变度检测具体为 若场景发生变化，则重新计算变化后的图像利用梯度法得到运动矢量； 反之，进行运动矢量累加。5.根据权利要求3所述的单目转多目的立体视频生成方法，其特征在于，所述场景自然度检测是完成检测视频的电影模式中上方和下方有大面积的黑幕...

【专利技术属性】
技术研发人员：刘丽丽，邢文峰，
申请(专利权)人：青岛海信信芯科技有限公司，
类型：发明
国别省市：