一种水下机器人实时电子稳像方法技术

一种水下机器人实时电子稳像方法，依次包括如下步骤：将获取的图像和对应获取的IMU姿态信息进行时间对准，并且确定时间关系；通过IMU单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计状态转移矩阵；利用前后帧图像之间的状态转移矩阵，计算得到图像帧间相关性关系；利用滤波方法分离机器人的实际运动信息和随机抖动信息，该方法灵活性高，计算复杂度低，能够实时稳像，并且降低了处理后的视频图像出现局部扭曲变形的问题，进一步提高稳像质量。

【技术实现步骤摘要】
一种水下机器人实时电子稳像方法
本专利技术涉及智能机器人、水下探测领域，具体涉及一种水下机器人实时电子稳像方法。
技术介绍
目前，随着科学技术的不断发展以及巨大市场的需求，人们对水下世界的探索欲望越来越强烈，直接促进了水下机器人技术的发展。水下机器人作为一个复杂的系统，集成了人工智能、水下目标的探测和识别、数据融合、智能控制以及导航和通信各子系统，是一个可以在复杂水下环境中执行各种军用和民用任务的智能化无人平台。由于水下机器人在海事研究和海洋开发中具有远大前景，在未来水下信息获取、精确打击和“非对称情报战”中也有广泛应用，因此水下机器人技术在世界各个国家中都是一个重要和积极的研发领域。现有的水下摄像方式大都为手持设备拍摄，这样拍摄出的视频时常会出现抖动现象，并且由于水下手持拍摄过程中考虑到拍摄中周期性潜水动作也会产生类似于波纹的周期性扰动存在。针对于专业情况下的水下拍摄，一般借助大型机械消抖装置，这样的装置一般成本高，并且体积大，不易携带。对于现有的水下机器人所搭载的摄像机所采集的画面存在抖动现象，严重的影响了拍摄出视频的质量。特别是，目前消费级水下机器人技术还处于起步阶段，急需能够有效应用在水下机器人上进行视频拍摄的方法。目前，采用图像处理方法的稳像方法包含实时应用情况和离线处理情况。在实时处理情况下，为了满足实时性的要求，一般只能分析图像帧间相关性在低维度(低自由度)的变换关系，处理后的视频图像局部会出现扭曲，变形问题。在离线处理情况下，一般提取比较复杂的图像特征，或者分块提取图像特征，然后估计高维度的变换关系，这样可以减少处理后的视频图像的局部扭曲问题，但是复杂度越高，提取图像特征时越容易受到噪声的影响，提取的运动状态具有的稳定性越差，且只能应用在离线处理情况，无法满足实时性的需求。此外，直接采用Kalman滤波算法，滑动均值滤波算法或其他平滑滤波算法来估计机器人的实际运动，不区分机器人不同运动状态，容易在机器人处于悬停状态时，消抖效果不理想；直接通过获取惯性测量单元IMU(InertialMeasurementUnit,IMU)传感器获取机器人的随机抖动信息，由于IMU测量的信息中本身就含有测量噪声，如果考虑到环境因素对传感器的影响，那么还可能受到环境噪声的影响，所以直接通过IMU模块获取运动状态的信息是不准确的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种水下机器人实时电子稳像方法，灵活性高，计算复杂度低，能够实时稳像，并且降低了处理后的视频图像出现局部扭曲变形的问题，进一步提高稳像质量。本专利技术提供了一种水下机器人实时电子稳像方法，依次包括如下步骤：(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R；(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态。(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，分离机器人的实际意图运动信息和随机抖动信息；(5)在各运动轴向上，根据滤波后的平滑曲线与原全局运行曲线在每帧的位移差，反向移动当前帧的位置，来抵消位移差。实现消抖的目的，最终对图像边沿进行剪切，消除每帧移动产生的空白区域。进一步地，步骤(1)中时间对准是通过在传感器采样的时刻以低采样率为时间参考，或对每次的采样时刻对采样信息贴上系统时间戳，对不同采样信息的时间以时间差最近原则来对齐不同的传感器信息。进一步地，所述步骤(2)中摆动信息为俯仰、滚转和航偏三个方向的摆动信息中的一种、两种或三种。进一步地，所述步骤(2)具体为：通过IMU单元检测机器人的旋转变换R，则有R＝θpitch·θroll，其中俯仰摆动为θpitch和翻滚俯仰摆动为θroll。进一步地，所述步骤(3)中包括获取运动估计方程，其中获取运动估计方程可表示为：X′＝R·X+d＝θpitch·θroll·X+d，其中d为平移量，X和X′分别为前后帧图像的状态量。进一步地，步骤(3)中计算得到图像帧间相关性关系采用基于灰度模块匹配的方法、基于位图统计的相关性计算方法、基于灰度统计的相关性计算方法、基于光流的相关性计算方法或基于特征的相关性计算方法。进一步地，所述基于灰度模块匹配的方法中的块匹配是基于已匹配的特征点为中心的模块。进一步地，所述基于灰度模块匹配的方法具体为：1)利用特征点检测算法检测左右图像传感器成像焦平面的图像特征点信息，通过特征点描述算子，利用特征点匹配算法进行特征点的匹配；2)通过已匹配的特征点之间的像素关系推导出特征点在相机坐标系下的三维坐标信息；3)通过匹配帧间特征点的投影焦平面的像素信息，构建以已匹配特征点为中心的块；4)通过帧间已匹配的块的匹配信息进一步修正基于像素级的特征点匹配误差；5)更新帧间已匹配特征点在投影焦平面的位置关系，并利用这种关系推导低维度的帧间图像信息的转换状态。进一步地，步骤(4)中滤波方法采用分段滤波，滑动均值滤波方法，加权滑动平均方法，限幅滤波方法或粒子滤波方法。进一步地，采用但不限于FAST特征点提取算法，也可采用SIFT，SURF，ORB特征点提取算法。BRIEF特征点描述算子。采用直接法匹配特征点。采用RANSAC算法去除误差较大的点，利用最优估计的方式估计帧间相对运动关系。进一步地，直接利用相对于初始帧的原全局位置曲线与平滑后的曲线，在每帧时的位移差，反向补偿原全局运动。为了减小相对于初始帧的全局累积计算和估计误差，可将整个处理视频样本均分为N段，在对每段视频进行消抖的的时候，使得相邻两段视频彼此具有M帧的重合部分，其中M理论上不大于每段的总帧数，对于重合部分采用加权求和的方式进行叠加。后段视频前M帧的权值为1/M,前段视频倒数M帧的权值与后段视频的每帧的权值相加为1，使得前段视频M帧的权值是均匀降低，后段视频M帧的权值是均匀增加。本专利技术的水下机器人实时电子稳像方法，可以实现：1)针对水下机器人悬停情况下和运动过程中(包括启停过度阶段)的稳像方法，也适用只针对其中一种情况下的稳像，灵活性高。2)通过获取低维图像帧间相关性和IMU传感器相融合的方式，计算复杂度低，实现了视频实时稳像处理。3)融合后的高维度帧间图像相关性估计具有较高的稳定性，降低了处理后的视频图像出现局部扭曲变形的问题。4)通过区分机器人静止和运动状态，能更好的采用滤波器分离机器人的实际运动和随机抖动，进一步提高稳像质量。附图说明图1为水下机器人实时电子稳像方法流程图。具体实施方式下面详细说明本专利技术的具体实施，有必要在此指出的是，以下实施只是用于本专利技术的进一步说明，不能理解为对本专利技术保护范围的限制，该领域技术熟练人员根据上述本
技术实现思路
对本专利技术做出的一些非本质的改进和调整，仍然属于本专利技术的保护范围。本专利技术提供了一种水下机器人实时电子稳像方法，应用在水下机器人装置中，该方法结合了基于惯性测量单元IMU的姿态测量方式和图像帧间相关性分析两种方式去估计水下机器人的全局抖动，通过分析图像帧间相关性关系，并采用状态转移矩阵表示这种帧间相关性进行快读有效的处理。考虑到通过机器人本文档来自技高网...

【技术保护点】
1.一种水下机器人实时电子稳像方法，其特征在于，依次包括如下步骤：(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R；(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态；(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，根据运动方程进行运动补偿和抖动消除；(5)在各运动轴向上，根据滤波后的平滑曲线与原全局运行曲线在每帧的位移差，反向移动当前帧的位置，来抵消位移差，实现消抖的目的，最终对图像边沿进行剪切，消除每帧移动产生的空白区域。

【技术特征摘要】
1.一种水下机器人实时电子稳像方法，其特征在于，依次包括如下步骤：(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R；(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态；(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，根据运动方程进行运动补偿和抖动消除；(5)在各运动轴向上，根据滤波后的平滑曲线与原全局运行曲线在每帧的位移差，反向移动当前帧的位置，来抵消位移差，实现消抖的目的，最终对图像边沿进行剪切，消除每帧移动产生的空白区域。2.如权利要求1所述的方法，其特征在于：步骤(1)中时间对准是通过在传感器采样的时刻以低采样率为时间参考，或对每次的采样时刻对采样信息贴上系统时间戳，对不同采样信息的时间以时间差最近原则来对齐不同的传感器信息。3.如权利要求1所述的方法，其特征在于：所述步骤(2)中摆动信息为俯仰、滚转和航偏三个方向的摆动信息中的一种、两种或三种。4.如权利要求1-3任一项所述的方法，其特征在于：所述步骤(2)具体为：通过IMU单元检测机器人的旋转变换R，则有R＝θpitch·θroll，其中俯仰摆动为θpitch和翻滚俯仰摆动为θroll。5.如权利要求1-3任一项所述的方法，其特征在于：所述步骤(3)中包括获取运动估计方程，其中获取运动估计方程可表示为：X′＝R·X+d＝θpitch·θroll·X+d，其中d为平移量，X和X′分别为前后帧图像的状态量，R为旋转变换。6.如权利要求1所述的方法，其特征在于：步骤(3)中计算得到图像帧间相关性关系采用基于灰度模块匹配的...

【专利技术属性】
技术研发人员：陶师正，利亚托亨利，安德烈亚斯维迪，
申请(专利权)人：深圳纳瓦科技有限公司，
类型：发明
国别省市：广东,44