一种基于双重校准的全自动快速室内场景三维重建装置制造方法及图纸

一种基于双重校准的全自动快速室内场景三维重建装置，它涉及装置设计、位置粗校准、基于奇异值的关键点提取、局部收敛抑制、特征描述子的提取与匹配等方法。本装置为一键式重建，它解决了传统室内三维重建操作复杂的问题，是一款全自动，环境适应度高的重建装置。同时通过离散的数据进行场景重建，大大的减少了重建数据量，提高了系统的快速性。本装置的实现步骤为：一、装置设计；二、机体镜头粗校准；三、校准误差判断；四、机体镜头精校准；五、室内场景重建。本发明专利技术对装置进行镜头校准，通过步进电机实现全自动化，将获得的24帧数据根据校准数据融合，可快速的在显示端看到重建结果，适用于室内场景的自动化快速重建。

【技术实现步骤摘要】
一种基于双重校准的全自动快速室内场景三维重建装置
本专利技术属于逆向工程
，具体涉及一种基于双重校准的全自动快速室内场景三维重建装置的设计与校正。
技术介绍
随着计算机图形学和计算机视觉的迅速发展，三维重建技术的应用也进一步扩大。从最初的军用装备建模到现在的商用室内装潢建模，三维重建替代了二维图纸，可以更加准确、全面、便捷的对场景和物体进行数字化存储。在市场需求的推动下各式各样的重建装置与系统也层出不穷。在室内三维重建方面，有基于图像的三维视觉重建系统如单目、双目，也有基于激光雷达通过3D深度信息配合SLAM实现的三维视觉重建系统。目前的室内三维重建系统虽然根据传感器不同，使用不同的三维重构算法，但是采集方式多半是单点旋转多角度式采集，再对得到的离散数据进行相应处理，如matterport公司的Pro3DCamera等，其受限于固定的单帧视场，这种采集方式需要采集人员自行规划采集路径，自动化程度低且对采集人员的专业要求很高，场景的重建效果很大程度上取决于采集人员的经验，且采集占用场景时间长，这一点加强了光线变化甚至场景变化对重建结果的影响，在室内三维重构的大范围普及上不具有优势。本专利技术，一种基于双重校准的全自动快速室内场景三维重建装置，是一种全自动化、小数据量的快速室内全彩三维重建装置。利用环形排布的八组配套的深度传感器和相机结合步进电机获取三个高度360°范围内的空间深度数据和场景纹理，具有简便、快捷、使用门槛低、环境适应性强等优点。
技术实现思路
本专利技术的目的在于降低传统室内三维重建的复杂度，并提升室内重建的快速性。提供一种全自动快速的室内三维重建装置，通过双重校准的环形视场代替固定单帧视场，从而达到一次性采集水平视角360°的目的，同时本装置自带三个可调高度，通过自动调节高度扩大场景的采集范围。本专利技术的目的是通过以下技术方案实现的：设计一种八面体的采集装置并对八组镜头进行双重校准，实现视场融合得到环形视场三维数据，再通过步进电机调节高度扩大场景采集范围，将全24帧数据融合的结果经wifi传入显示设备，实现全空间重建。本装置实现主要分为几个步骤，具体步骤包括：步骤一：装置设计。装置分为采集模块和显示模块。采集模块由机体、调整台、升降杆和底座四部分组成。采集端机体外观为一正八面体（如图1），通过升降杆与底座固定。其中正八面体机体的每个垂直面上嵌入一个结构光深度摄像机和一个同分辨率彩色摄像机。为保证深度相机与彩色相机的充分利用，本装置选择视场相同的两种相机。同时正八面体采集装置上的深度相机水平扫射角应大于45°，以保证环形视场的连贯性。选择分辨率640×480，帧率30fps的深度/彩色相机，同时深度相机水平扫射角70°，垂直扫射角60°，检测范围0.5-4.5m。同时八边形机体内部还绑定有采集端信息处理器，用来记录初始标定的结果，并依照标定结果整合八台深度相机以及纹理照相机的数据流。将信息以全场景点云、合成纹理、纹理匹配文件三种形式经由无线网络传递给显示装置接收端。调整台内部一个步进电机与滚珠螺杆配合对高度进行自动精准调节，设定三个自动挡位对视场进行纵向扩展。同时调整台还保留有手动旋钮，用作机体旋转（偏航方向），可在校准镜头时使用。升降杆和底座用来支撑整个装置，升降杆内芯与调整台配合调节高度。显示模块具体包括数据接收模块、数据后处理模块、数据显示模块。可将采集装置数据保存至本地并进行进一步的处理。支持带有界面交互的彩色场景模型显示，同时开放原始数据查看导出。步骤二：机体镜头粗校准。为保证装置正常使用需对镜头进行校准。本专利技术所述室内重建装置通过八个深度、彩色摄像机获取的数据对镜头进行双重校准，流程图如图2。将校准结果作为装置内参存入相机，以此进行点云融合与纹理匹配，快速便捷的得到室内场景3D彩色模型。其中校准的准确性是保证本装置优于传统方法的关键。1）按照机位编号对深度、彩色数据进行存储。设定每个面上的一个深度摄像机（上）和一个彩色摄像机（下）为一个机位，采集装置共八个机位。将设备置于屋内中间位置开启设备，所需数据采集方式如图3，按照机位编号保存对应深度、彩色数据。对所需变量进行初始化，包括旋转变换R和平移变换T，最小化均方误差e(X，Y)，最小化均方误差变化量Δe(X，Y)等。矩阵初值为单位阵，数值量初始为0。采集第一次数据，点云与纹理照片各八帧记为D={1，2，3，4，5，6，7，8}，如图3中实线采集区所示，此组为主视角待校准组。调节调整台手动旋钮对机体偏航角进行调整，顺时针转动20°后固定。采集第二次数据，同样点云与纹理照片各八帧，为校准辅助组如图3中虚线采集区记作ΔD={1+，2+，3+，4+，5+，6+，7+，8+}。2）利用相机位置关系进行粗校准获取世界坐标系原点，以D组数据拍摄机位正八边形中心为重建中心调整D和ΔD的深度数据对应关系；以世界坐标系Z轴为中心，D组的1号机位为基准，根据相机物理结构属性对D和ΔD的深度数据进行机位视角还原。由于点云为真实场景3D信息，数据具有刚体的性质，两个点云之间的变换仅包括旋转变换R和平移变换T。粗对准参数包括(ψ0，x，y，z)，其中ψ0为偏航角也是初始旋转变换R0，(x，y，z)为拍摄点在世界坐标系中的位置为初始平移变换T0，得数据；步骤三：校准误差判断。对D和ΔD两组数据运算顺序进行调整，以D组数据1机位校准为例，首轮循环先对D组1与ΔD组1+进行运算，如附图4。二轮配准中应用D组1与ΔD组8+进行运算。确定配准顺序后对每对数据计算最小化均方误差e(X，Y)和误差变化量Δe(X，Y)。将两帧点云信息，分别用集合X=x1，x2，x3，···xm和Y=y1，y2，y3，···yn表示。将X的点依次带入下式，经Ri、Ti变换之后与当前xi距离最近的Y的点即为yi，计算e(X，Y)和Δe(X，Y)。通过Δe(X，Y)<b指标来判断迭代是否收敛，由于迭代数据特性在最初的迭代中都不会出现Δe(X，Y)<b情况。在多次循环后若仍未达到e(X，Y)>a的条件且Δe(X，Y)<b时，表示已经收敛到局部最优，为防止局部收敛的情况发生，对没有达到全局收敛要求的数据需要进行新的粗校准。在初步转换阵A的基础上追加随机扰动(Δφ，Δθ，Δψ，Δx，Δy，Δz)，其中Δφ为滚转扰动，Δθ为俯仰扰动，Δψ为偏航扰动，(Δφ，Δθ，Δψ)波动±0.1°。（Δx，Δy，Δz)为视点扰动，波动±0.01，对A添加扰动得粗校准初始数据A0，其中ψ=（ψ0+Δψ）：应返回步骤二重新迭代，直到出现全局最优。步骤四：机体镜头精校准。1）结合深度摄像机视场与拍摄点交角信息对深度、纹理信息进行交叠部分剪裁和关键点提取。依照拍摄辐射角裁剪纹理如附图3。根据SVD（SingularValueDecomposition）对裁剪后数据提取关键点，减少特征数据量：通过奇异值U和V代替数据总体Data。2）对数据关键点进行特征描述，将有用信息集合存储在向量{fi}里。特征描述子{fi}包含三部分信息：尺度、位置和方向。首先构造DOG尺度空间D(x)并对特征描述子进行精确定位，然后对方向赋值得到关键点描述。在灰度纹理上对图片进行DOG尺度空间本文档来自技高网...

【技术保护点】
1.一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于它包括如下步骤：步骤一：装置设计；步骤二：机体镜头粗校准；步骤三：校准误差判断；步骤四：机体镜头精校准；步骤五：室内场景重建。

【技术特征摘要】
1.一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于它包括如下步骤：步骤一：装置设计；步骤二：机体镜头粗校准；步骤三：校准误差判断；步骤四：机体镜头精校准；步骤五：室内场景重建。2.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤一为：1）装置分为采集模块和显示模块，采集模块由机体、调整台、升降杆和底座四部分组成，显示模块具体包括数据接收模块、数据后处理模块、数据显示模块；2）采集端机体外观为一正八面体，通过升降杆与底座固定，其中正八面体机体的每个垂直面上嵌入一个结构光深度摄像机和一个同分辨率彩色摄像机，同时八边形机体内部还绑定有采集端信息处理器，用来记录初始标定的结果，并依照标定结果整合八台深度相机以及纹理照相机的数据流；3）调整台内部一个步进电机与滚珠螺杆配合对高度进行自动精准调节，设定三个自动挡位对视场进行纵向扩展；4）显示模块可将采集装置数据保存至本地并进行进一步的处理，支持带有界面交互的彩色场景模型显示，同时开放原始数据查看导出。3.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤二为：1）按照机位编号保存对应深度、彩色数据，调节调整台手动旋钮对机体偏航角进行调节，获取数据D和ΔD；2）获取世界坐标系原点，以D组数据拍摄机位正八边形中心为重建中心调整D和ΔD的深度数据对应关系：3）对所需变量进行初始化，包括旋转变换R和平移变换T，最小化均方误差e(X，Y)，最小化均方误差变化量Δe(X，Y)等。4.根据权利要求1所述的一种基于双重校准的全自动快速...

【专利技术属性】
技术研发人员：姜宇，苏钰，金晶，沈毅，李文强，苏荣军，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23