图像深度信息提取方法技术

本发明专利技术涉及图像处理技术领域，具体为一种图像深度信息提取方法，包括如下内容：对彩色图像进行灰度处理和下采样得到灰度图像；对灰度图像边缘检测得到灰度边沿图像；对灰度边沿图像线性追踪得到线轨迹图；对线轨迹图深度赋值得到估计的初始的深度图；对估计的初始的深度图进行深度改良滤波得到改善的深度图；提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；根据最终的深度图和彩色图像进行渲染，得到立体图像；对2D视频逐帧进行上述处理，得到3D视频；根据视频片源和用户人脸图像分析为用户自动播放3D影片和推荐3D眼镜。本方案简单易用、能得到较准确的深度图，并给用户优质的观影体验。验。验。

【技术实现步骤摘要】
图像深度信息提取方法


[0001]本专利技术涉及图像处理
，具体为一种图像深度信息提取方法。

技术介绍

[0002]随着人类社会的进步和科学技术的发展，人们对信息处理和信息交流的要求越来越高，传统的机器视觉已经不能满足人们对三维物体识别的要求。因此，具有更高真实性，更让观众身临奇境的3D电视技术开始登上历史舞台。例如3D电视、3D立体投影仪等已投入市场，且价格越发平民化。但是现有3D片源的稀缺，制作成本昂贵，制作周期漫长，使得广大用户空有3D显示终端，却无丰富的3D视频内容可看，严重阻碍了3D电视的家用发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。因此，2D转3D技术成为当前3D技术发展的一个重要方向。深度图像由于具有物体三维特征信息，即深度信息，在2D转3D中发挥着至关重要的作用。
[0003]深度估计是2D转3D关键技术之一。深度估计指的是从景物的一幅或者多幅图像中自动、有效地估计深度信息。根据人工控制的是否使用，深度估计可以分作全自动深度估计和半自动深度估计两种方式。前者是设法得到图像结构和纹理等信息，再进行深度估计，但是有可能不能得到较为准确的深度图。后者建立在人与机器的交互，在图像中根据经验分辨出相应深度信息，相应的软件也是必不可少的，然后勾画出各个目标相应的轮廓，并给目标物体着上灰色阴影，这样的过程会不停地重复，直到确定相应的深度图为止，经过上述过程就能得到比较准确的深度图，立体显示效果也比较理想。但这种方法会消耗相当大的人力物力。因此研究者们越来越关注于怎样快速而又准确的获取比较准确的深度图。
[0004]研究者们目前提出的通过分析理解单目图像中的景物构图关系达成图像深度估计的方法，主要通过对实物相对高度信息的理想化利用，而最终得到图像的深度估计结果。但是现在很多针对单幅图像的深度估计方法都是需要某些假设条件的，比如，赫斯曼的方法需假设重建整个三维场景必须得到某些对象的已知确切信息。Saxena提出的方法：邻域像素特征的相关性在不同尺度下的值需要根据深度关系的特征来计算出来，接着想要综合估算各个像素的深度信息就必须要结合到Laplace算子的MRF以及Gauss模型。虽说上述方法进行较为准确的深度估计，但是计算太耗时复杂，加上原有的模型会在更换新的场景后消失，就不得不再一次重复采集数据。此外用户通过智能设备观看3D影片时，需要佩戴3D眼镜并自己选择3D片源，而且有些用户佩戴的3D眼镜并不适合其佩戴，从而造成很差的观影体验。

技术实现思路

[0005]本专利技术的目的在于提供一种简单易用、能得到较准确的深度图和给用户优质的观影体验的图像深度信息提取方法。
[0006]本专利技术提供的基础方案为：图像深度信息提取方法，包括如下内容：
[0007]S1，灰度图像获取和下采样，对彩色图像进行灰度处理，获取灰度图像，并进行下
采样；
[0008]S2，边缘检测，对灰度图像进行边缘检测，检测出灰度图像的边沿，得到灰度边沿图像；
[0009]S3，线性追踪，对灰度边沿图像的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图；
[0010]S4，深度赋值，根据线轨迹图从下到上分配深度值，得到估计的初始的深度图；
[0011]S5，深度改良滤波，通过滤除估计的初始的深度图的小边沿，保留大边沿，得到改善的深度图；
[0012]S6，深度滤波，提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；
[0013]S7，图像渲染，根据最终的深度图和彩色图像进行渲染，得到立体图像；
[0014]S8，2D视频转换，对2D视频逐帧进行步骤S1～S7，得到3D视频；
[0015]S9，采集用户人脸图像，检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像；
[0016]S10，播放3D片源，根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜。
[0017]与现有技术相比，本方案的优点在于：1、对彩色图像进行灰度处理，获取灰度图像后，进行下采样，可以减小后续计算的复杂程度。边缘检测大规模的减少信息量和去除了能够判定为不相关的信息，提高方法的运算速度，保存了图像完整的结构属性，保证方法的准确度。深度改良滤波对初始的深度图进行滤波，使其平滑强度更好，进一步改善最终的深度图的质量，进而提高算法的准确度。深度滤波不仅保护了图像特征而且也减少噪声敏感线轨迹引起的视觉假象，从而提高算法的准确度。
[0018]2、根据最终的深度图和彩色图像进行渲染，得到立体图像；对2D视频逐帧进行步骤S1～S6，得到3D视频，从而实现2D视频到3D视频的转换，对于现有海量的2D影片进行转换得到3D影片，不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。
[0019]3、检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像；根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，从而为用户提供更好的观影体验，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜，帮助用户选择合适的3D眼镜，以减少用户选择的时间，为用户提供更好的观影体验。
[0020]进一步，所述S2中利用Sobel算子进行边缘检测，包括如下内容：
[0021]分别把垂直方向模板和水平方向模板对灰度图像中每个像素点作卷积和计算，计算处梯度值即是新灰度值；
[0022]设置合适的阈值TH，若新灰度值大于或等于TH，则判该像素点是图像边缘点。
[0023]有益效果：利用Sobel算子进行边缘检测，其检测速度快，对噪声存在平滑作用，对噪声也能有一些的抑制能力，能减少误差的积累，提高算法的准确度。
[0024]进一步，所述S2中利用改进的Sobel算子进行边缘检测，所述改进的Sobel算子为将Sobel算子扩展成八个模板。
[0025]有益效果：改进的Sobel算子为将Sobel算子扩展成八个模板，以解决只能检测出水平和垂直方向的Sobel算子的问题，即检测出了部分伪边缘，使得边缘比较粗，降低了检测定位的精度。
[0026]进一步，所述改进的Sobel算子进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.图像深度信息提取方法，其特征在于：包括如下内容：S1，灰度图像获取和下采样，对彩色图像进行灰度处理，获取灰度图像，并进行下采样；S2，边缘检测，对灰度图像进行边缘检测，检测出灰度图像的边沿，得到灰度边沿图像；S3，线性追踪，对灰度边沿图像的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图；S4，深度赋值，根据线轨迹图从下到上分配深度值，得到估计的初始的深度图；S5，深度改良滤波，通过滤除估计的初始的深度图的小边沿，保留大边沿，得到改善的深度图；S6，深度滤波，提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；S7，图像渲染，根据最终的深度图和彩色图像进行渲染，得到立体图像；S8，2D视频转换，对2D视频逐帧进行步骤S1～S7，得到3D视频；S9，采集用户人脸图像，检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像；S10，播放3D片源，根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜。2.根据权利要求1所述的图像深度信息提取方法，其特征在于：所述S2中利用Sobel算子进行边缘检测，包括如下内容：分别把垂直方...

【专利技术属性】
技术研发人员：曾晓宏，
申请(专利权)人：重庆电子工程职业学院，
类型：发明
国别省市：