一种基于阵列镜头的3D图像替换技术制造技术

本发明专利技术公开了一种基于阵列镜头的3D图像替换技术。该替换算法首先对3*3阵列镜头进行标定，然后根据图像灰度一致性约束和相邻像素深度光滑性约束条件，建立能量函数。采用图割算法求解，确定像素的深度，实现场景的深度划分。然后点击图片获取该像素的深度范围，将目标图像插入到相应深度范围来实现图像替换。本发明专利技术基于阵列图像实现图像替换，在3*3阵列镜头上得到有效验证，可望在手持平板摄像设备中得到实际应用。

A 3D image replacement technique based on array lens

The invention discloses a 3D image replacement technique based on array lens. Firstly, the 3*3 array lens is calibrated, and then the energy function is established according to the gray consistency constraint and the smoothness constraint condition of adjacent pixels. The graph cut algorithm is used to determine the depth of the pixels, and the depth of the scene is divided. Then click on the image to obtain the depth of the pixel, the target image into the corresponding depth range to achieve image replacement. The invention realizes image substitution on the basis of the array image, obtains the effective verification on the 3*3 array lens, and is expected to be applied in the handheld flat panel imaging device.

【技术实现步骤摘要】

本专利技术属于数字图像处理
，涉及一种基于阵列镜头的3D图像替换技术，可用于多媒体领域或者手持平板设备中。
技术介绍
3D场景摄像已成为近年图像处理上的新技术热点，且随着3D手机的发展，手机摄像更加普遍，我国手机使用率已超过90％。随着手机使用人数的增加，手机功能的强大，人们对手机摄像的要求也越来越高(三维重建，重聚焦，全景深等等)，单镜头已经无法满足人们的需求，阵列式镜头即微阵列相机应运而生。阵列式相机，就是用多个小镜头来代替一个大镜头的拍摄效果，其原理和阵列式天文望远镜及昆虫的复眼类似。相比于传统的相机来说，阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。阵列图像和大多数手持单镜头相机所拍摄的图像不同，其是由多个按矩阵形式排列的镜头拍摄而成。因此，每行图像间具有横向位移，每列图像间具有纵向位移，每幅图像中均含有相异的信息。仅仅由单张图片不能得到物体的深度信息，但是通过一个场景的多张图像就可以通过图像间的差异得出视差图和深度图。图像替换一般分为抠图和图像合成两部分，抠图是指把任意形状的前景物体从图像中抽取出来的一种技术，图像合成则是把抽取出来的前景物体和一幅新的背景图像合成为新的图像。抠图主要分为蓝屏抠图和自然图像图像抠图；图像合成按所使用的关键技术分类，现有的数字图像合成技术可分为基于α分量的图像合成，基于梯度场的图像合成和基于多分辨率模型的图像合成。这些合成算法都是在二维图像上合成，当替换被部分遮挡的物体时，目标物体将不能很好的完成替换，有可能对其他物体造成遮挡。获取了图像的深度信息，然后基于深度图完成替换。将场景划分为若干深度层，将目标物体插入到替换物体的深度范围，就可以有效地解决遮挡问题。
技术实现思路
本专利技术的目的在于提供一种基于阵列镜头的3D图像替换技术。相对于一般的图像替换，只是实现了二维平面上的图像替换，特别是对于存在遮挡的物体，不能完全替换因而效果不太好。本专利技术涉及的方法很好地解决了遮挡问题，且基于深度图的替换能够显得更自然。为了实现本专利技术，公开了一种3D图像替换技术，包括以下几个步骤：步骤1：对阵列镜头进行标定，得到镜头的参数和畸变系数；步骤2：阵列图像获取，对一场景拍摄9张图像，依据MRF模型，构造能量函数。构造如下的能量函数：其中fx∈L，N是中心参考图像相邻像素集合，其中Dx(fx)表示中心参考图像像素点X在深度fx处的灰度一致性。表示中心参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项。步骤3：选择中心图像作为参考图像，每个像素点作为网格点，建立空间曲面网。初始深度设为0，将场景空间沿中心图像主轴方向划分成若干深度层，建立深度集合L，来确定每个网格点的深度，得到深度图。步骤4：点击需要替换的图像，根据深度图，获取所点击像素的深度范围；步骤5：将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。附图说明图1本专利技术流程图图2本专利技术使用的阵列镜头图3一组阵列图像图4原始图像图5目标图像图6深度计算结果图图7口香糖瓶替换图图8订书针盒替换图具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本专利技术的3D图像替换技术进一步详细说明。本专利技术首先采用张正友标定法，标定出每个相机的内外参数和畸变系数。然后拍摄同一场景，得到9张阵列图像。以中心图像为参考图像进行立体匹配，构造能量函数，根据能量函数构建空间曲网。利用图割算法求解，得到深度图。最后实现目标图像对原图部分物体的3D替换。本专利技术流程图如图1所示。步骤1：阵列镜头标定，使用阵列相机拍摄20组不同角度的标定板图像。然后采用经典的张正友标定法，使用matlab标定工具箱对相机进行标定，得到相机的参数和畸变系数。步骤2：图像获取，本专利技术所使用的阵列镜头如图2所示，阵列镜头由3*3排列的子镜头组成，每个镜头都是独立的个体，可拍摄彩色图像，一次可由9个摄像头产生9张图片，图3为其拍摄得到的一组图像。依据MRF模型，构造能量函数。步骤3：选择中心图像作为参考图像，每个像素点作为网格点，建立空间曲面网。初始深度设为0，将场景空间沿中心图像主轴方向划分成若干深度层，建立深度集合L，来确定每个网格点的深度，得到深度图，如图6所示。步骤4：点击需要替换的图像，根据深度图，获取所点击像素的深度范围；步骤5：将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。将目标物体插入到相应的深度范围，就完成了图像的替换。为了使图像替换效果更为明显，我们选取了图4作为图像替换原图像，分别将口香糖瓶和订书钉盒替换成目标物体，目标物体如图5所示。实验结果如图7、图8所示。以上所述，仅为本专利技术中的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉该技术的人在本专利技术所揭露的技术范围内，都应涵盖在本专利技术的权利要求书的保护范围之内。本文档来自技高网...

【技术保护点】
一种基于阵列镜头的3D图像替换技术，利用阵列镜头拍摄的图像，实现了目标图像对原图中图像的替换，其特征在于，包括以下步骤：(1)阵列镜头组为3*3排列，分别将每个镜头与中间镜头进行两两标定，求得镜头的内外参数和畸变系数；(2)对一场景拍摄9张图像，根据9张图像的灰度一致性和相邻像素深度光滑性的约束，建立能量函数；(3)根据能量函数，构造网格图，采用图割法求解，得到匹配结果，进而得到深度图；(4)点击需要替换的图像，根据深度图，获取所点击像素的深度范围；(5)将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。

【技术特征摘要】
1.一种基于阵列镜头的3D图像替换技术，利用阵列镜头拍摄的图像，实现了目标图像对原图中图像的替换，其特征在于，包括以下步骤：(1)阵列镜头组为3*3排列，分别将每个镜头与中间镜头进行两两标定，求得镜头的内外参数和畸变系数；(2)对一场景拍摄9张图像，根据9张图像的灰度一致性和相邻像素深度光滑性的约束，建立能量函数；(3)根据能量函数，构造网格图，采用图割法求解，得到匹配结果，进而得到深度图；(4)点击需要替换的图像，根据深度图，获取所点击像素的深度范围；(5)将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。2....

【专利技术属性】
技术研发人员：邹建成，
申请(专利权)人：邹建成，
类型：发明
国别省市：北京;11