一种基于位姿信息的水下视频图像复原与拼接方法技术

本发明专利技术公开了一种基于位姿信息的水下视频图像复原与拼接方法，该方法过程如下：通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；将水下视频图像的视频帧和位姿信息进行一一对应；利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原；结合位姿信息将复原后的关键帧划分为多个子模块；将子模块拼接成子模块图像后，再将多个子模块图像合成一张最终的全景图。本发明专利技术结合位姿信息，能快速得到清晰的水下全景图。

【技术实现步骤摘要】
一种基于位姿信息的水下视频图像复原与拼接方法
本专利技术涉及图像处理
，具体涉及一种基于位姿信息的水下视频图像复原与拼接方法。
技术介绍
网箱所在的水底底质、水位、水流、浮游藻类丰富程度等都会影响网箱养殖的容量。一个好的网箱选址可以为海水养殖提供优越的生存和生长条件,并且在一定程度内提高该水域的养殖容量。对近海浅水区域(一般水深为3到10米)使用无人船搭载水下摄影相机，进行水下视频拍摄后进行全景拼接，可以得到水下地形地貌，有利于辅助网箱选址，从而进行科学布局。水下视频图像由水下摄影相机获取，在对视频复原和拼接前，需要通过从视频中提取关键帧用以减少视频采集过程中产生的信息冗余，减少数据处理量。常见的关键帧提取方法有:基于采样、帧间差、累积帧间差、聚类和运动信息等方法。基于采样的关键帧提取方法速度块、实现简单，但是较依赖于采样间隔的设置，当间隔过小时，得到的关键帧之间存在较大的冗余，当间隔过大时，有可能得到的相邻关键帧之间没有重叠区域。基于聚类的关键帧提取方法存在对初始参数敏感和计算复杂度大的缺点。这些方法直接对视频进行关键帧提取，没本文档来自技高网...

【技术保护点】
1.一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述水下视频图像复原与拼接方法包括以下步骤：/nS1、通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；/nS2、将水下视频图像的视频帧和位姿信息进行一一对应；/nS3、利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；/nS4、采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原，得到复原后的关键帧；/nS5、结合位姿信息将复原后的关键帧划分为多个子模块；/nS6、将子模块拼接成子模块图...

【技术特征摘要】
1.一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述水下视频图像复原与拼接方法包括以下步骤：
S1、通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；
S2、将水下视频图像的视频帧和位姿信息进行一一对应；
S3、利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；
S4、采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原，得到复原后的关键帧；
S5、结合位姿信息将复原后的关键帧划分为多个子模块；
S6、将子模块拼接成子模块图像后，再将多个子模块图像拼接成一张最终的全景图。


2.根据权利要求1所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述水下视频图像采集装置包括相机模块和位姿信息记录模块，其中，所述相机模块，由相机、第一SD卡组成，相机用于拍摄水下视频图像，第一SD卡用于保存带有同步校准信号的水下视频图像；所述位姿信息记录模块，由主控制器、陀螺仪、GPS、水下超声测距传感器、信号灯以及第二SD卡组成，主控制器用于控制其他单元的工作，陀螺仪用于获取相机的姿态信息，GPS用于获取相机的位置信息，水下超声测距传感器用于获取相机距离水底的高度，信号灯用于给相机模块发送光信号，第二SD卡用于保存相机的位姿信息。


3.根据权利要求2所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S1过程如下：
首先启动相机模块开始拍摄水下视频图像，然后启动位姿信息记录模块，位姿信息记录模块在开始记录位姿信息之前，先控制信号灯给相机一个灯光信号1，然后开始记录位姿信息，此后每隔一段时间，控制信号灯给相机一个灯光信号2，并将当前位姿信息的Flag置为1。


4.根据权利要求1所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S2过程如下：
读取经过步骤S1获取的水下视频图像，以检测到含灯光的视频帧作为信号帧，以连续检测到一定数目的信号帧作为开始信号，以检测到的所有信号帧中的最后一帧作为对应第一条位姿信息的视频帧，此后依次将每一帧视频帧与每一条位姿信息进行一一对应；
其中，判断当前视频帧是否为信号帧的过程如下：把当前视频帧均匀分为上、下、左、右四个区域，分别统计每个区域中通道R的数值大于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2，以及通道G、B的数值小于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2；如果有一个区域中R、G、B三个通道的数值分布满足以上条件，则当前视频帧是信号帧；否则当前视频帧不是信号帧。


5.根据权利要求4所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S3过程如下：
S301、以对应第一条位姿信息的视频帧作为当前帧，以第一条位姿信息作为当前帧的位姿信息；
S302、判断当前帧的位姿信息的Flag是否为1，如果为1则执行步骤S303，如果不为1则执行步骤S305；
S303、判断当前帧是否为信号帧，如果是，则说明没有发生时间偏差，执行步骤S309，如果不是，则说明有发生时间偏差，执行步骤S304；
S304、分别往前和往后检测N帧，如果有检测到信号帧，则把该信号帧置为当前帧，执行步骤S309，如果没有检测到信号帧，则结束步骤S3；
S305、判断当前帧的翻滚角和俯仰角的绝对值是否小于阈值beta1，如果不小于阈值beta1则执行步骤S309，如果小于阈值beta1则执行步骤S306；
S306、判断关键帧缓存队列是否为空，如果为空则执行步骤S308，如果不为空则执行步骤S307；
S307、结合位姿信息计算当前帧和关键帧缓存队列里的最后一帧的重叠面积，并判断重叠面积与当前帧面积的比例是否在beta2范围内，如果在beta2范围内则执行步骤S308，如果不在beta2范围则执行步骤S309；
S308、将当前帧作为关键帧进行提取，然后存入关键帧缓存队列，执行步骤S309；
S309、判断是否还有下一视频帧和下一条位姿信息，如果有则读取下一视频帧作为当前帧，读取下一条位姿信息作为当前帧的位姿信息，重复执行步骤S302-步骤S309，如果没有则结束步骤S3。


6.根据权利要求5所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S307中计算重叠面积的过程如下：
S3071、将关键帧缓存队列里的最后一帧作为上一关键帧，以上一关键帧的拍摄位置作为坐标原点，以正西为X轴正方向，正北为Y轴正方向，正地为Z轴正方向建立坐标系，以水底平面为投影平面，结合位姿信息计算当前帧到上一关键帧的单应矩阵H，H为3×3的矩阵，计算公式如下：



其中，H1为上一关键帧到投影平面的单应矩阵，为H1的逆矩阵，H2为当前帧到投影平面的单应矩阵；
H1的计算公式如下：
H1＝KR1K-1(2)
其中，K为相机的内参数矩阵，通过相机标定得到，R1为3×3的旋转矩阵；



其中，f表示相机的焦距；dx和dy分别表示关键帧上每一个像素在坐标轴方向的物理尺寸，单位为mm/pixel；(u0，v0)为相机光轴与关键帧平面交点的坐标，位于关键帧的中心处；



其中，θ1、ψ1分别为上一关键帧拍摄时相机的翻滚角、俯仰角、航向角；
H2的计算公式如下：



其中，R2为3×3的旋转矩阵，I为单位矩阵，t为三维平移向量，d为坐标原点到水底平面的距离，n为水底平面的单位法向量，nT表示向量n的转置；



其中，θ2、ψ2分别为当前帧拍摄时相机的翻滚角、俯仰角、航向角；
t＝[x2-x1，y2-y1，z2-z1]T(7)
x2-x1＝(lon2-lon1)×111110×cos(lat1×π/180)(8)
y2...

【专利技术属性】
技术研发人员：丁泉龙，张权，韦岗，曹燕，王一歌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44