环绕式混合光场成像装置及方法制造方法及图纸

本发明专利技术提供一种环绕式混合光场成像装置及方法，其中方法包括环绕式混合光场成像装置的参数标定，还包括使用所述环绕式混合光场成像装置获取图像，将获取的所述图像进行融合，对获取的所述图像进行渲染，生成最终图像。本发明专利技术采用参数标定的手段结合光场相机的深度能力与传统相机的高分辨率图像，能够获取高质量的场景三维图像。

Surround hybrid light field imaging device and method

The present invention provides a hybrid surround light field imaging device and a method thereof, wherein the method comprises mixing surround light field imaging device calibration, but also including the use of the hybrid surround light field imaging device to obtain the image, the image obtained by fusion, rendering of the image acquisition, to generate the final image. The invention adopts the method of parameter calibration, combines the depth capability of the light field camera and the high resolution image of the traditional camera, and can obtain high quality three-dimensional image of the scene.

【技术实现步骤摘要】
环绕式混合光场成像装置及方法
本申请涉及图像的拍摄和处理领域，特别涉及一种环绕式混合光场成像装置及方法。
技术介绍
三维全景成像技术是近几年新爆发的市场热点，尤其在VR/AR、体感游戏、社交等领域具有极大的市场前景。目前，市场上已经出现一些全景成像设备，如facebook出品的Surround360由17个摄像头构成，其中包括14部广角摄像头围成的圆盘，还有顶部一个鱼眼摄像头以及底部2部摄像头，配有基于网络的软件，最高可拍摄8K像素视频；Samsung出品的ProjectBeyond看起来就像一个飞碟。16个摄像头呈环形安装在“飞碟”四周，每两个负责45度角范围内的拍摄。相机中央是一个强大的处理器/存储器阵列，它能同时处理来自16个摄像头的图像信息，并把它们拼接成实时的360度全景视频——当然，你也可以按下快门，拍摄照片。上述全景成像设备两款采用十几个传统相机搭建成一套球体相机阵列采集360°全景，但存在成本高昂、同步难度高、相机间标定困难等缺点。Nikon出品的KeyMission360以照相机为中心，约360°视频功能同时从各个角度拍摄。捕捉用户正面的视野，以及他们无法看到的场景；insta360Nano为直板造型，采用前后双镜头设计，每颗镜头都是超广角210°，通过前后两颗超广角鱼眼镜头拍摄360°X360°图片/视频，再进行实时拼接，可拍摄3K分辨率(3040X1520)的全景视频。以上两种相机采用双镜头背靠背组合采集360°场景，但是存在采样率低，成像畸变严重等缺点。公开号为CN205453890U的技术专利申请公开了一种线扫相机全景成像装置，包括壳体；驱动电机，安装在壳体内；一端具有固定相机的支架，另一端具有平衡块；传动轴，通过传动轴承与壳体固定，一轴端与所述旋转平台卫浴之家和平衡块间的部分固定；传动齿轮组，安装于壳体且传动驱动电机的电机轴与所述传动轴；中央处理器，安装于壳体内，处理由相机输出的的图像信号以及控制驱动电机转动。该专利的缺点在于使用线扫相机必须要使用外部光源，在自然光的条件下是无法成像的，需要额外补充光源才可以，在使用中受到很大的限制。公开号为CN105959665A的专利技术专利申请公开了一种针对虚拟现实设备的全景3D视频生成方法。该方法包括：用广角相机阵列拍摄场景视频并经过拼接算法生成全景视频；用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频。通过实时检测人的头部位置，在全景视频帧中切割相应位置的图像作为左视点的视频；根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，这两幅图像拼接为左右3D视频，在虚拟现实设备中显示。该方法需要广角相机阵列及深度相机阵列两组拍摄设备，在实施过程中难以保证设备的一致性。全景视频与全景深度视频的注册问题也会限制最终的数据质量。
技术实现思路
为了解决上述问题，本专利技术提出了一种环绕式光场成像装置及方法，采取旋转式的设计，使用时间换取空间以调和设备复杂性与成像质量的矛盾。本专利技术相较于上述虚拟现实数据获取方式具有较低的成本和较高的成像质量。并且上述虚拟现实数据获取方式输出为全景图。本专利技术的具体技术方案如下：本专利技术的第一方面提出了一种环绕式混合光场成像装置，包括旋转台，还包括光场相机、传统相机、控制器；所述光场相机安装在所述旋转台上；所述传统相机安装在所述旋转台上；所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。优选的是，所述旋转台包括一个平面和一个转动装置。在上述方案中优选的是，所述转动装置带动所述平面转动。在上述方案中优选的是，所述转动装置为电动机、手动摇把和其他驱动平台转动的装置中至少一种。在上述方案中优选的是，所述转动的角度为水平环绕360°。在上述方案中优选的是，通过调节所述电动机的转速设定所述平面的旋转速度。在上述方案中优选的是，所述光场相机和所述传统相机以特定角度固定在所述旋转台上。在上述方案中优选的是，所述光场相机和所述传统相机在同一水平面上。在上述方案中优选的是，所述光场相机和所述传统相机的镜头均向外。在上述方案中优选的是，所述光场相机采集数据形成多个深度切片的图像。在上述方案中优选的是，所述光场相机采集到的图像为低分辨率图像。在上述方案中优选的是，所述多个深度切片的图像是指所述广场先机微镜头阵列可获取连续视角变化的多张图像，利用广场深度技术，可以得到场景高精度深度估计。在上述方案中优选的是，所述传统相机采集高分辨率图像。在上述方案中优选的是，所述控制器用于控制所述旋转台的开始旋转、停止旋转和调整转速中至少一种。在上述方案中优选的是，所述控制器还用于在所述旋转台旋转的同时，启动所述光场相机和传统相机进行拍摄。在上述方案中优选的是，所述控制器还用于在所述旋转台停止旋转的同时，停止所述光场相机和传统相机的拍摄。本专利技术的第二方面还提出了一种环绕式混合光场成像方法，包括对权利要求1中所述的环绕式混合光场成像装置的参数标定，包含以下步骤：步骤1：使用所述环绕式混合光场成像装置获取图像；步骤2：将获取的所述图像进行融合；步骤3：对获取的所述图像进行渲染；步骤4：生成最终图像。优选的是，所述参数标定包括普通相机参数标定、光场相机参数标定和旋转台参数标定中至少一种。在上述方案中优选的是，所述光场相机参数标定包括微透镜投影中心位置的标定和棋盘格标定内参数的标定。在上述方案中优选的是，所述内参数包括微透镜阵列到传感器的距离a、主透镜到微透镜阵列的距离D、系统光轴在传感器上的坐标cx,cy、主透镜焦距f、相机畸变系数k1,k2)、传感器像素尺寸p和微透镜投影中心usj,vsj中至少一种。在上述方案中优选的是，所述内参数的标定方法包括以下步骤：步骤a1：拍摄标定源数据，内参标定过程中需要拍摄标定图片，采取棋盘格做标定物，棋盘格上有K个角点，各个角点间距离为d毫米，使用所述光场相机在不同姿态下拍摄标定板，得到N张光场标定源图像，其中N>3且相机的各个姿态互相不平行；步骤a2：处理标定源数据，提取所述标定源图像上的若干个像点，所述像点坐标为(xijk,yijk)，该坐标表示第k个棋盘格角点，在第i个姿态中，在第j个微透镜下成像点坐标为(x,y)；步骤a3：建立方程计算角点射影变换参数，每个标定板角点将在若干个微透镜后成像，且只在每个微透镜后成唯一像，对于每个姿态下的每个角点可以建立方程：求解所述方程可得到与各个角点匹配的系数步骤a4：建立方程解算参数，使用下面的转换方程将h转换为更利于计算的形式得到h′，以标定板平面为世界坐标系，及所有角点Z坐标为0。角点的世界坐标系坐标与h′之间存在射影变换关系：其中X′＝[X,Y,1]T，s为任意尺度因子。变换矩阵可由如下公式表示：通过X′与h′求解G，并建立方程求解可以解算出cx,cy,α，然后依据下列公式，可以解算出每个姿态下的外参数r,t以及β,γ：r3＝r1×r2t3＝S最终，实际参数D,a,f可由下列公式解算：步骤a5：非线性优化，建立能量函数energyfunction:∑ijk||xijk-F(Xk,a,D,f,cx,cy,k1,k2,ri,ti)||使用LM最小化能量函数从而得到优化后内参数。在上述方案中优选的是，所述步骤1还包括以下子步骤：步骤本文档来自技高网...

【技术保护点】
一种环绕式混合光场成像装置，包括旋转台，其特征在于：还包括光场相机、传统相机和控制器；所述光场相机安装在所述旋转台上；所述传统相机安装在所述旋转上；所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。

【技术特征摘要】
1.一种环绕式混合光场成像装置，包括旋转台，其特征在于：还包括光场相机、传统相机和控制器；所述光场相机安装在所述旋转台上；所述传统相机安装在所述旋转上；所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。2.如权利要求1所述的环绕式混合光场成像装置，其特征在于：所述旋转台包括一个平面和一个转动装置。3.如权利要求2所述的环绕式混合光场成像装置，其特征在于：所述转动装置带动所述平面转动。4.如权利要求3所述的环绕式混合光场成像装置，其特征在于：所述转动装置为电动机、手动摇把和其他驱动平台转动的装置中至少一种。5.如权利要求4所述的环绕式混合光场成像装置，其特征在于：所述转动的角度为水平环绕360°。6.如权利要求5所述的环绕式...

【专利技术属性】
技术研发人员：丁志宇，
申请(专利权)人：丁志宇，
类型：发明
国别省市：广东,44