一种基于采集器的图像数据处理方法及三维全景VR采集器技术

本申请公开了一种基于采集器的图像数据处理方法及三维全景VR采集器，该图像数据处理方法包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的拍摄装置的垂直视差与其余拍摄装置的垂直视差进行最小化操作，完成对每个拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的相邻图像之间的立体视差完成相邻图像的拼接操作。根据本申请的一种基于采集器的图像数据处理方法及三维全景VR采集器，利用摄像头布局与设备控制实现快速采集三维环境数据，因此三维全景VR采集器结构精巧便于携带，可适用于各种生活生产场所的全景图像采集。

An image data processing method based on collector and a three dimensional panoramic VR collector

The invention discloses a data processing method and three-dimensional panoramic image acquisition based on VR acquisition, the image processing method includes the following steps: reading the image data acquired within a preset range, image feature points and shooting device on adjacent shots in tagging and matching; vertical parallax shooting device for vertical parallax adjacent with the rest of the shooting device to minimize the operation, to complete the calculation of the perspective transformation matrix for each shot device; further to complete the calculation of stereo disparity of optical flow between adjacent images, complete the splicing operation of adjacent images between adjacent images calculated by stereo disparity. According to the application of a method of data processing and 3D panoramic image acquisition based on VR acquisition, the use of camera layout and equipment control achieve rapid acquisition of 3D data, the three-dimensional panoramic VR collector structure compact easy to carry, suitable for panoramic image acquisition in various places of production and life.

【技术实现步骤摘要】
一种基于采集器的图像数据处理方法及三维全景VR采集器
本申请涉及图像数据处理
，特别是涉及一种基于采集器的图像数据处理方法及三维全景VR采集器。
技术介绍
全景展示技术是目前全球范围内迅速发展并逐步流行的一种视觉新技术。它给人们带来全新的真实现场感和交互式的感受，可广泛应用于三维电子商务，如在线的房地产楼盘展示、虚拟旅游、虚拟教育等领域，所显示场景即为真实场景，与传统的三维建模虚拟现实相比更具真实感，更为经济，通过鼠标拖动，使普通用户操作更为简便。目前，三维全景图像源自对真实场景的摄影捕捉，真实感强烈。现有技术中采用的拍摄方法是用一个相机绕固定的轴旋转一周拍摄一系列连续的图片，来产生合适的朝向以及具有一致深度的全景图，但是无法用于有运动物体的场景。还有比较主流的是单视场360°全景，通常使用两个或者更多的相机来获得360°的全景，但是这些全景图看起来比较“扁平”，没有三维立体感。如果想要获得3D-360全景视频就没那么容易了，因为相对于单视角全景视频，3D-360视频需要深度信息。现有技术在立体360渲染方面还存在不足，主要不足如下：涉及的数据量非常巨大。由于系统设备有十几个相机之多，而且为了保证最好的图像质量使用的是原始的未压缩的图像；要求精度高，留出出错的空间极小。对于单眼的2D的360S视频内容来说，一些小的拼接错误是可以容忍的，但是对于立体3D360视频来说，必须保证极高的精度达到绝对近乎完美的效果，否则会引起观看者产生眩晕等生理方面的不适感；要求处理速度高等问题。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的第一方面，提供了一种基于三维全景VR采集器的图像数据处理方法，包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的所述拍摄装置的垂直视差与其余所述拍摄装置的所述垂直视差进行最小化操作，完成对每个所述拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的所述相邻图像之间的所述立体视差完成相邻图像的拼接操作。可选地，还包括，对获取的所有图像进行正方形投影操作。可选地，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成所述拍摄装置的校正操作。可选地，采用张正友标定法对放置在标定板的多张图像进行标定来获取所述拍摄装置的所述内部参数与所述畸变系数。可选地，还包括，对相邻的所述拍摄装置之间的重叠区域，通过计算所述重叠区域的光流完成视差的计算。根据本申请的第二方面，提供了一种三维全景VR采集器，包括：上盖、下盖和拍摄装置，所述上盖与所述下盖相连接，所述上盖的顶端开设有第一通孔，所述下盖的底部开设有至少两个第二通孔，所述上盖和所述下盖的连接处等间距开设有第三通孔，所述拍摄装置包括第一拍摄装置和第二拍摄装置，所述第一拍摄装置包括顶部拍摄装置和底部拍摄装置，所述顶部拍摄装置设置在所述第一通孔内，至少两个所述底部拍摄装置设置在所述第二通孔内，所述第二拍摄装置设置在所述第三通孔内。可选地，还包括链接结构，所述链接结构设置在所述下盖的底端。可选地，还包括支撑杆，所述支撑杆通过所述链接结构设置在所述下盖的底端。可选地，还包括套筒，所述套筒设置在所述第一通孔、所述第二通孔和所述第三通孔内。可选地，所述上盖和所述下盖的形状为锥形。本申请的一种基于三维全景VR采集器的图像数据处理方法及三维全景VR采集器，由于三维全景VR采集器利用摄像头布局与设备控制实现快速采集三维环境数据，因此三维全景VR采集器结构精巧便于携带，可适用于各种生活生产场所的全景图像采集。进一步地，本申请的三维全景VR采集器通过投影成像、图像渲染等生成高质量高分辨率的全景数据，能够使数据格式便于在网络传输，适合在PC端和移动端上进行数据的输出。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请一个实施例的一种基于三维全景VR采集器的图像数据处理方法的流程示意图。图2是根据本申请一个实施例的一种三维全景VR采集器的主视图；图3是图2所示三维全景VR采集器的上盖的结构示意图；图4是图2所示三维全景VR采集器的下盖的结构示意图。具体实施方式根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。图1是根据本申请一个实施例的一种基于三维全景VR采集器的图像数据处理方法的流程示意图；包括以下步骤：S110，对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；S112，对相邻的拍摄装置的垂直视差与其余拍摄装置的垂直视差进行最小化操作，完成对每个拍摄装置透视变换矩阵的计算；S114，进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的相邻图像之间的立体视差完成相邻图像的拼接操作。进一步地，还包括，对获取的所有图像进行正方形投影操作。进一步地，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成拍摄装置的校正操作。进一步地，采用张正友标定法对放置在标定板的多张图像进行标定来获取拍摄装置的内部参数与畸变系数。进一步地，还包括，对相邻的拍摄装置之间的重叠区域，通过计算重叠区域的光流完成视差的计算。在一个实施例中，基于三维全景VR采集器的图像数据处理方法的步骤如下：转换RAWBayer数据到伽马校正后的RGB。主要包括：摄像头之间的颜色校准、暗角消除、Gamma和色调曲线、锐化(逆向卷积)、去马赛克图像复原。相机内参校正，用于去除镜头畸变并将图像重投影到极坐标系。通过光束平差之后相机之间的外部参数校正来补偿摄像头之间的方向偏差。对每对相邻的摄像头进行光流计算，用于计算左右眼之间的立体视差。基于光流的左眼和右眼视图，分别合成虚拟相机每个视角方位的新视图。最终合成左眼和右眼像素。具体而言，首先，相机输出RAWBayer格式的图像，三维全景VR采集器渲染算法中的图像信号处理部分利用gamma校正和颜色调整将RAW数据转换为标准的RGB图像，读取图像数据并对每张图做正方形投影，这些正方形投影的矩形结构可以覆盖整个球体；把原始输入图片投影为正方形时，需要对镜头引起的图像畸变做校正，三维全景VR采集器使用张正友标定法，对标定板拍摄多张图片来做标定，可以求得内参和畸变系数用于做畸变校正；三维全景VR采集器也对相机、镜头、支架系统的旋转、平移错位进行了校正。这些错位会引起垂直方向的视差(会引起重影，破坏3D效果)。为解决该问题，三维全景VR采集器首先对相邻相机拍摄的图片之间特征点匹配，然后联合最小化所有侧面相机的垂直视差(同一个物体在左右眼图像中垂直方向的距离差)，对每个相机计算出一个透视变换矩阵；三维全景VR采集器通过计算它们之间的光流来计算视差。光流用于视角插值，因此可以从虚拟相机中得到我们所需要的光线。至此，系统完成了侧面本文档来自技高网...

【技术保护点】
一种基于三维全景VR采集器的图像数据处理方法，其特征在于，包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的所述拍摄装置的垂直视差与其余所述拍摄装置的所述垂直视差进行最小化操作，完成对每个所述拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的所述相邻图像之间的所述立体视差完成相邻图像的拼接操作。

【技术特征摘要】
1.一种基于三维全景VR采集器的图像数据处理方法，其特征在于，包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的所述拍摄装置的垂直视差与其余所述拍摄装置的所述垂直视差进行最小化操作，完成对每个所述拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的所述相邻图像之间的所述立体视差完成相邻图像的拼接操作。2.根据权利要求1所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，还包括，对获取的所有图像进行正方形投影操作。3.根据权利要求2所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成所述拍摄装置的校正操作。4.根据权利要求3所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，采用张正友标定法对放置在标定板的多张图像进行标定来获取所述拍摄装置的所述内部参数与所述畸变系数。5.根据权利要求1所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于...

【专利技术属性】
技术研发人员：孙恩吉，张兴凯，时训先，石聪，
申请(专利权)人：中国安全生产科学研究院，
类型：发明
国别省市：北京,11