一种裸眼3D图像采集及生成方法技术

本发明专利技术涉及裸眼3D显示技术领域，公开了一种裸眼3D图像采集及生成方法。本发明专利技术首先对多视点光场采集系统中的各个CCD摄像机进行系统校准，然后进行动态场景的采集，将采集到的目标物信息进行前景和背景的分割，接着将目标物信息的前景图像进行单独输出并进行分组，最后计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。该基于动态光场的裸眼3D映射方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，使观看者不会出现眩晕和视觉疲劳等问题。

A method of 3D image acquisition and generation for naked eyes

【技术实现步骤摘要】
一种裸眼3D图像采集及生成方法
本专利技术涉及裸眼3D显示
，尤其涉及一种裸眼3D图像采集及生成方法。
技术介绍
近年来，随着裸眼3D技术的不断应用，带给了消费者全新的视觉体验。裸眼3D具有多感知性、沉浸感、交互性、构想性的特点，可打破传统显示，让消费者不用戴眼镜就能轻松体验无限科技的立体影像效果，未来将具备更广阔、实用的应用场景。目前裸眼3D显示设备主要运用的技术有光屏障式、柱状透镜、指向光源这三种。虽然这三种技术各有优点，但是它们都有个共同的缺点，需要在特定的距离才能观看到正确的效果，较近或较远都会出现重影、串扰、眩晕及视觉疲劳等问题。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供一种裸眼3D图像采集及生成方法。该方法利用先进的动态光场采集和多视图立体匹配重建出可靠的三维光场信息，再结合裸眼光场映射算法渲染出合适的裸眼三维图像。该方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，同时使观看者不会出现眩晕和视觉疲劳等问题。如上所述，实现一种裸眼3D图像采集及生成方法包括如下步骤：a.对多视点光场采集系统中的各个CCD摄像机进行系统校准；b.利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集；c.对采集到的目标物信息进行前景-背景的分割；d.完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组；e.计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。r>作为进一步优化，步骤a所述对多视点光场采集系统中的各个CCD摄像机进行系统校准。在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数。本专利使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。作为进一步优化，步骤b所述利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集。多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，尽可能采集到目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。作为进一步优化，步骤c所述对采集到的目标物信息进行前景-背景的分割。在动态光场采集过程中分割前后景采用了一种基于全局轮廓线索和多视点深度匹配相结合的方法来分离出前后景。在该方法中先并行计算多视点图像水平和垂直方向上的亮度梯度矢量，结合索贝尔算子二值化全局轮廓，再利用多视点深度集合匹配并分割出符合多视点图像的前后景图像。作为进一步优化，步骤d所述完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组。根据裸眼3D显示原理可知，裸眼3D显示终端所显示的每一帧画面均为多个图像的融合，以8视点裸眼3D显示终端为例，每一帧显示画面为8个图像的融合，在对目标物前景图像进行单独输出后，进行编组，每8副图像为一个分组单位。作为进一步优化，步骤e所述计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像，具体包括：将裸眼3D映射矩阵编写到Shader中，利用Shader对各组内8张前景图进行采样处理，并将经过采样处理的多张前景图像相互叠加，得到比例错误的合成图像，根据CCD摄像机外参，对合成图像中目标物进行比例修正，获得比例正确的裸眼3D合成图像。本专利技术的有益效果是：提供一种裸眼3D图像采集及生成方法，该方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，使观看者不会出现眩晕和视觉疲劳等问题。附图说明图1是本专利技术一种裸眼3D图像采集及生成方法的流程示意图。具体实施方式下面结合附图和具体的实施方式对本专利技术作进一步详细的描述。图1中101是对多视点光场采集系统中的各个CCD摄像机进行系统校准。在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数。本专利使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。在本实施例中，任何摄像机阵列在使用前都必须经过校准才可以为后续的算法所使用，假设动态场景中某一点的世界坐标值为(X，Y，Z)，在CCD摄像机成像表面的坐标值为(u,v)，CCD摄像机焦距为f，成像表面上水平像素之间的物理距离为dx，成像表面上垂直像素之间物理距离为dy，R为旋转矩阵，T为平移矩阵，则两个坐标值之间的映射关系为：K矩阵中各个参数是完全取决于摄像机的性质，称为摄像机内参；而A矩阵中各个参数取决于摄像机与世界坐标系的相对位置来决定，称为摄像机外参。假设校准板所在平面上的二维坐标为(s,t)，和该点在世界坐标系的坐标(X，Y，Z)符合如下关系：其中p，q表示该平面水平s轴和垂直t轴单位长度对应的三维矢量，d表示该平面的原点对应的三维空间坐标，由上述两个关系式得到：在标准板上找到4个以上的特征点从而求得单应矩阵H，就可以计算出投影矩阵P，进而可以计算出摄像机内外参。由于排列为环形，每次校准板有一半的摄像机采集不到，针对这一问题，首先要对采集的图像进行分组，之后在组内求解内参和外参，最后在不同组之间通过相邻的外参转换来求得校准结果。分组完成之后，即分别对每组分好的摄像机进行组内联合校准，得到所有摄像机的内参和外参；最后还需校准不同组间相邻的摄像机，以令所有摄像机外参在统一的世界坐标系下。图1中102是利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集。多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，尽可能采集到目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。在本实施例中，在进行动态场景采集过程中，由于光路是可逆的，因此光场也可以以物体为中心等效的描述。在本方法的动态光场采集过程中就需要先得到目标物体的表面光场信息。相机在某一点进行拍摄时，相当于对从场景出射并经过相机所在位置的所有光线的强度进行了记录，如果已知相机的位置和焦距，就相当于记录了经过该点的所有光线的方向和强度信息。当我们利用相机在水平面上围绕物体进行拍摄，就相当于记录了物体在水平面上的所有光场信息。在实际应用中，不可能无限分割光场，因此不可能采集到完全连续分布的光场。只能利用有限个拍摄位置获取离散的光场分布，并通过插值获取离散光场之间的信息，我们将在有限个位置上拍摄的离散光场分布称之为视图。针对实际目标物，采用基于圆周分布的多台CCD相机的视本文档来自技高网...

【技术保护点】
1.一种裸眼3D图像采集及生成方法，其特征包括：/na)对多视点光场采集系统中的各个CCD摄像机进行系统校准；/nb)利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集；/nc)对采集到的目标物信息进行前景-背景的分割；/nd)完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组；/ne)计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。/n

【技术特征摘要】
1.一种裸眼3D图像采集及生成方法，其特征包括：
a)对多视点光场采集系统中的各个CCD摄像机进行系统校准；
b)利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集；
c)对采集到的目标物信息进行前景-背景的分割；
d)完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组；
e)计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。


2.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤a中对多视点光场采集系统中的各个CCD摄像机进行系统校准。在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数。本专利使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。


3.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤b中利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集。多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，尽可能采集到目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用...

【专利技术属性】
技术研发人员：陈东惠，
申请(专利权)人：和信光场深圳科技有限公司，
类型：发明
国别省市：广东;44