一种基于视觉的水下场景三维点云重建方法及其系统技术方案

本发明专利技术公开了一种基于视觉的水下场景三维点云重建方法及其系统。该方法包括以下步骤：首先，架设基于视觉的水下场景三维点云重建系统；其次，采集图像数据并进行预处理；再次，确定旋转四元数适应度计算方法；然后，采用改进差分进化算法计算最佳旋转四元数；最后，进行场景重建和优化。本发明专利技术基于视觉的水下场景三维点云重建系统主要包括两个水下照相机、水下LED光源、电源线和数据线、计算机系统构成、固定装置等部分。本发明专利技术提出的基于视觉的水下三维重建方法和系统无需在水下设置任何辅助标定部件，与已有基于外部定标物的水下三维重建系统相比操作更加便捷，与已有不采用外部定标物的方法相比具有速度快、收敛性好的优势。

【技术实现步骤摘要】
一种基于视觉的水下场景三维点云重建方法及其系统
本专利技术属于电子信息学科学领域，特指一种基于视觉的水下场景三维点云重建方法及其系统。
技术介绍
水下可见光成像和三维重建在生物观察、机器人导航、海底可视化等领域具有广泛的应用。典型的水下成像系统中相机通常被放置在具有透明平面玻璃窗口的防水外壳中。由于光线在不同介质中的传播速度不同，因此水下成像过程中光线会在玻璃窗口上发生折射弯曲现象，导致水下图像产生明显的折射变形。研究表明水下折射变形呈现高度非线性且变形大小依赖于场景点的深度，因此水下图像成像过程不能采用传统的透视相机模型来描述。早期的水下三维重建方法直接忽略折射变形，或者采用焦距调节、镜头径向畸变近似方法来补偿折射变形。这类方法本质上采用透视相机模型模型来描述水下成像过程，T.Treibitz等在其论文(T.Treibitz，Y.Y.Schechner，H.Singh，Flatrefractivegeometry，in：CVPR，2008)中指出这种单视点(singleviewpoint，SVP)相机模型会导致较大的相机标定误差。为了更好的补偿折射变形，近年来学者提出采用折射相机模型对折射现象进行显式建模，目前折射相机模型标定和基于折射相机的三维重建方法仍然备受关注，基于图像的三维重建中的许多关键方法仍然并不成熟。大多数已有基于折射相机模型的三维重建方法的局限性在于，这些方法需要采用标定板或者需要辅助硬件设备实现水下成像系统标定。比如：A.Agrawal等在其论文(A.Agrawal，S.Ramalingam，Y.Taguchi，V.Chari，Atheoryofmulti-layerflatrefractivegeometry，in：CVPR，2012)中提出的水下标定方法需要借助维度已知的平面棋盘格水下标定板实现相机和折射交界面的估计。Y.Chang等在其论文(Y.Chang，T.Chen，Multi-view3dreconstructionforscenesundertherefractiveplanewithknownverticaldirection，in：ICCV，2011)中提出的水下相机标定方法需要借助惯性测量单元(inertialmeasurementunit，IMU)提供相机的旋转角数据。T.Yau等提出的方法(T.Yau，M.Gong，Y.-H.Yang，Underwatercameracalibrationusingwavelengthtriangulation，in：CVPR，2013)则需要采用一种包含122个LED灯的特殊定制标定设备实现水下相机标定。另一类更加灵活的基于折射相机模型的水下三维标定和重建方法是不需要附加标定物的方法。比如：A.Sedlazeck等在其论文(A.Sedlazeck，R.Koch，Calibrationofhousingparametersforunderwaterstereo-camerarigs，in：BMVC，2011)中提出的方法采用集束优化标定包含两个相机的水下成像系统，该方法的局限性在于其运行效率较低，运行时间通常需要达到小时级别。康来等提出的方法(L.Kang，L.Wu，Y.-H.Yang，Two-viewunderwaterstructureandmotionforcamerasunderflatrefractiveinterfaces，in：ECCV，2012)采用全局优化方法实现水下相机标定，其缺点在于需要手动选取稀疏匹配特征点集，因此降低了方法执行的自动化程度。综上所述，已有基于视觉的水下三维重建方法分为三类。第一类是简单的忽略折射变形或采用近似模型进行补偿，这类方法容易导致较大的标定误差；第二类是需要借助水下标定板或特殊标定设备实现水下相机标定，这类方法增加人工操作难度；第三类方法依靠集束优化或全局优化实现标定，其缺点在于运行效率低或自动化程度低。
技术实现思路
：针对上述现有技术存在的问题，本专利技术提出一种基于视觉的水下场景三维点云重建方法及其系统。本专利技术方法基于简化的折射相机模型，采用局部优化和全局优化相结合的方式实现自动化相机标定和水下场景三维点云重建，且本专利技术方法无需水下标定板和其他标定设备。为解决上述技术问题，本专利技术的技术方案是：本专利技术提供了一种基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。本专利技术所采用的水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机设置在防水外壳内部。具体地，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。本专利技术中所采用的水下LED光源有两个以上，其中至少有两个水下LED光源分布在待重建物体的左右两侧。本专利技术还提供了一种基于视觉的水下场景三维点云重建方法，包括以下步骤：S1、构建基于视觉的水下场景三维点云重建系统；基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成。所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体。两个水下照相机的主光轴之间的夹角介于0°～30°之间。所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源。两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。其中，水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。S2、图像数据采集和预处理S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像。S2.2已知两水下照相机的内部参数，根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形，记径向矫正后的图像为S2.3利用仿射不变性图像局部特征提取和匹配方法(该方法可以参见文献DavidG.Lowe，″Distinctiveimagefeaturesfromscale-invariantkeypoints，″InternationalJournalofComputerVision，60，2(2004)，pp.本文档来自技高网...

【技术保护点】
一种基于视觉的水下场景三维点云重建系统，其特征在于：包括置于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。

【技术特征摘要】
1.一种基于视觉的水下场景三维点云重建系统，其特征在于：包括置于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。2.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机设置在防水外壳内部。3.根据权利要求2所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。4.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：水下LED光源有两个以上，其中至少有两个水下LED光源分布在待重建物体的左右两侧。5.一种基于视觉的水下场景三维点云重建方法，其特征在于，包括以下步骤：S1、构建基于视觉的水下场景三维点云重建系统；基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示；其中，水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄；S2、图像数据采集和预处理S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像；S2.2已知两水下照相机的内部参数，根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形，记径向矫正后的图像为S2.3利用仿射不变性图像局部特征提取和匹配方法计算和的特征点匹配结果，然后根据距离比测试值按照由小到大的顺序对匹配结果排序，选取排名靠前N位的图像特征点匹配对其中，u1(j)＝(u1(j)，v1(j))T为图像中的特征点坐标，u2(j)＝(u2(j)，v2(j))T为图像I2中与u1(j)对应的特征点坐标，N为不小于64的整数，N越大后续标定过程耗时越长、标定结果也越精确；S2.4构建水下图像采集系统标定参数集合S＝{{P1}，{P2}，{n1}，{n2}，{D1}，{D2}}；其中，P1＝K1[I|0]为第一个水下照相机的3×4维投影矩阵，P2＝K2[R|(t；1)]为第二个水下照相机的3×4维投影矩阵；n1＝(0；0；1)为第一个水下照相机的平面透明玻璃窗口所在平面的法向量，n2＝R-1(0；0；1)为第二个水下照相机的平面透明玻璃窗口所在平面的法向量，两个水下照相机其平面透明玻璃窗口所在平面的点法式平面方程分别为n1U+D1＝0和n2U+D2＝0，其中：U表示三维空间点坐标；R为两个相机的3×3维相对旋转矩阵，t为第二个相机与第一个相机的3维相对平移列向量，K1和K2分别为第一个相机和第二个相机的3×3维内部标定矩阵，D1和D2为平面方程中的参数，由平面与原点之间的距离以及平面的法向量共同确定；S3、确定旋转四元数适应度计算方法对于任意给定的单位四元数q＝(w，x，y，z)T且||q||2＝1，按照如下步骤计算其适应度：S3.1根据单位四元数与旋转矩阵的转换关系，计算q对应的旋转矩阵Rm(q)；计算公式如下：S3.2构建如下全局优化问题Q：其中，P1＝K1[I|0]，P2＝...

【专利技术属性】
技术研发人员：康来，吴玲达，老松杨，魏迎梅，蒋杰，白亮，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43