水下磁测机器人对于磁异常处采样图像处理方法技术

本发明专利技术公开了一种水下磁测机器人对于磁异常处采样图像处理方法，包括如下步骤：S1、采集水下磁异常处的图像，并构建基础的磁性目标图像数据库；S2、基于超采样策略对数据库中的图像进行分辨率优化；S3、采用细化网络对生成高分辨率图像进一步优化处理；S4、使用可泛化辐射神经网络结合经步骤S2、S3优化后的高分辨率图像作为输入生产新视角图像。该方法利用计算机视觉中超采样算法，利用数张图像资源重建海洋目标对象的图像3d模型，提供多个新视角图像，提高对图像信息的利用率与实时交互能力，为水下磁测任务提供了有力的可视化工具。为水下磁测任务提供了有力的可视化工具。为水下磁测任务提供了有力的可视化工具。

【技术实现步骤摘要】
水下磁测机器人对于磁异常处采样图像处理方法


[0001]本专利技术涉及海洋探测及水下机器人
，具体指一种水下磁测机器人对于磁异常处采样图像处理方法。

技术介绍

[0002]随着海洋经济的发展以及流体力学、电磁学、新型材料科学、自动控制理论等学科的不断进步，探索海洋成为人类认识海洋、利用海洋资源、保护海洋环境成为必然之举。但由于海洋中环境的复杂性，使得在海底矿产资源探测效率低、海底线缆铺设及维修困难，从而不利于海洋产业的发展。目前利用水下机器人承担海洋工程作业任务，一定程度上解决了问题，但仍显不足，探测结果未能可视化、影响因子过于单一的问题使得在海底复杂环境中任务的完成度不高。
[0003]目前，计算机视觉在水下机器人探测海洋资源任务中作为一项辅助工具，例如近年来人工智能领域非常热门的NeRF的图像生成，能够在海洋探测任务中提高探测效率及准确率，但是随着探测深度的增加海洋环境的可见度急剧降低，而NeRF具有两大缺陷，使得这一辅助工具想要实现原有的辅助能力，其一是NeRF的生成图像的分辨率取决于输入图像的分辨率，这使得在水下光线差条件下所得到的图像并不具有能够辅助水下机器人工作的能力；其二是NeRF不具有泛化能力，针对每一个物体的一组图像需要进行重新训练，这使得其应用在海洋作业时不能实时交互，因此需要有所改进与提升。

技术实现思路

[0004]本专利技术的目的是，针对现有技术的不足，提出一种水下磁测机器人对于磁异常处采样图像处理方法，利用计算机视觉中超采样算法，利用数张图像资源重建海洋目标对象的图像3d模型，提供多个新视角图像，提高对图像信息的利用率与实时交互能力，为水下磁测任务提供了有力的可视化工具。
[0005]为了解决上述技术问题，本专利技术的技术方案为：
[0006]一种水下磁测机器人对于磁异常处采样图像处理方法，包括如下步骤：
[0007]S1、采集水下磁异常处的图像，并构建基础的磁性目标图像数据库；
[0008]S2、基于超采样策略对数据库中的图像进行分辨率优化，利用第一步中拍摄的一组图像作为输入，将图像中的每个像素上建立多条光线，从而在亚像素水平上施加多视角约束，结合多视角的图像完成对图像从低分辨率到高分辨率的提升；
[0009]S3、采用细化网络对生成高分辨率图像进一步优化处理，通过细化网络逐个补丁的细化策略，利用步骤S2优化后生成的高分辨率图像进行逐个补丁细化，通过补充图像细节，实现对图像的进一步优化，生成一张高分辨率的图像；
[0010]S4、使用可泛化辐射神经网络结合经步骤S2、S3优化后的高分辨率图像作为输入生产新视角图像。
[0011]本专利技术具有以下的特点和有益效果：
的含义是两个或两个以上。
[0023]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术中的具体含义。
[0024]本实施例提供一种水下磁测机器人对于磁异常处采样图像处理方法，该专利技术是考虑了轻量级摄像头在水下光线损失较强条件下拍摄图像分辨率受限，使得图像中的可用信息减少，采用超采样策略和细化网络，在亚像素水平上施加多视角约束，实现从低分辨率到高分辨率，使得图像中可提取的可用信息更多。采集的图像数据输入，通过epipolar几何提取特征块并使用transformer来处理数据，生成新视角图像，能够提高拍摄图像中可用信息的利用率。能够辅助海洋磁测任务的高效率完成，提高磁性目标探测的准确度，具体方法如下：
[0025]第一步：在数据采集层面。利用水下磁测机器人结构中的摄像头围绕探测到的磁异常处拍摄100图像(每张图像视角不同且均匀分布在磁异常处)，如图1所示，建立基础的磁性目标图像数据库。
[0026]第二步：基于超采样策略对数据库中的图像进行分辨率优化。利用第一步中拍摄的一组图像作为输入，将图像中的每个像素上建立多条光线，从而在亚像素水平上施加多视角约束，结合多视角的图像完成对图像从低分辨率到高分辨率的提升。
[0027]如图2所示，超采样策略将一个像素(实线)分割为多个子像素(虚线)，并为每个子像素绘制一条射线。因此，与普通的NeRF相比，场景中更多的3D点可以被对应和约束。
[0028]超采样后像素p的颜色可以用如下公式表示：
[0029]C(p)＝C(r(p))＝Comp(r
′
(p))(r
′
∈R(p))
[0030]其中R(p)表示训练图像中像素p的所有可能的射线的方向的集合，Comp是R(p)中包含的所有入射光线的辐射的组成的栅格化过程。理想情况下，训练射线方向从R(p)中采样，但是这一数据过于庞大，导致网络拟合的难度激增，因此在实际应用中，将一个像素均匀分割成一个s
×
s网格像素集合S(p)，则训练射线方向从R
′
(p)中选取。
[0031]R
′
(p)＝{r(j)|j∈S(p)}∈R(p)
[0032]因此，通过渲染子像素，可以获得一个sH
×
sW图像(输入为H
×
W图像)。
[0033]第三步：采用细化网络对生成高分辨率图像进一步优化处理。通过细化网络逐个补丁的细化策略，利用理想条件下拍摄的高分辨率图像对生成的高分辨率图像进行逐个补丁细化，从而实现对图像的进一步优化，生成一张高分辨率的图像。细化过程如图3所示：
[0034]细化模块从超采样和参考补丁产生的图像中编码合成补丁超采样的编码特征经过最大池化后，与补丁的编码特征连接，将解码生成细化补丁。
[0035]经过前两步之后我们可以明显看到，图片的分辨率有明显的提高，实现了降低图片的噪点，一定程度上增加了图片可用信息的比例。
[0036]第四步：使用可泛化辐射神经网络对结合第二步及第三步生成的图像簇作为输入生成新视角图像。模型(如图5所示)由三个模块组成，每个阶段有不同的变换神经网络。其
中，每个变换神经网络遵循ViT架构，该架构使用残余连接来交织层归一化(LN)、自我关注(SA)和多层感知器(MLP)。每层由LN
→
SA
→
LN
→
MLP组成。
[0037]1)视觉特征变换神经网络，该模块的输入是由视图k和第m个采样深度索引的一组面片线性嵌入和位置编码向量
[0038]首先将零层(输入)的特征连接定义为：
[0039][0040]该模块对每个深度样本重复，因此它对K个视图序列进行操作。
[0041][0042]2)Epipolar聚合器变换神经网络，此模块沿每条极线聚合信息，从而生成每个参考视图特征。此模块的输入是集合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下磁测机器人对于磁异常处采样图像处理方法，其特征在于，包括如下步骤：S1、采集水下磁异常处的图像，并构建基础的磁性目标图像数据库；S2、基于超采样策略对数据库中的图像进行分辨率优化；S3、通过细化网络逐个补丁的细化策略，利用步骤S2优化后生成的高分辨率图像进行逐个补丁细化，通过补充图像细节，实现对图像的进一步优化，生成一张高分辨率的图像；S4、使用可泛化辐射神经网络结合经步骤S2、S3优化后的高分辨率图像作为输入生产新视角图像。2.根据权利要求1所述的水下磁测机器人对于磁异常处采样图像处理方法，其特征在于，所述步骤S1中，采集图像时，利用水下磁测机器人结构中的摄像头围绕探测到的磁异常处拍摄100图像，每张图像视角不同且均匀分布在磁异常处。3.根据权利要求1所述的水下磁测机器人对于磁异常处采样图像处理方法，其特征在于，所述步骤S2中，超采样策略的具体方法为：将H
×
W图像中一个像素分割为多个子像素，并为每个子像素绘制一条射线，其中，H为图像高度，W为图像宽度；超采样后像素p的颜色可以用如下公式表示：C(p)＝C(r(p))＝Comp(r
′
(p)) (r
′
∈R(p))其中R(p)表示训练图像中像素p的所有可能的射线的方向的集合，Comp是R(p)中包含的所有入射光线的辐射的组成的栅格化过程；训练射线方向从R(p)中采样；将一个像素均匀分割成一个s
×
s网格像素集合S(p)，则训练射线方向从R
′
(p)中选取，其中R
′
(p)＝{r(j)|j∈S(p)}∈R(p)通过渲染子像素，可以获得一个sH
×
sW图像。4.根据权利要求1所述的水下磁测机器人对于磁异常处采样图像处理方法，其特征在于，所述步骤S3的具体方法如下：S3
‑
...

【专利技术属性】
技术研发人员：王孔涛，吴晟涛，王东睿，张一帆，杨一凡，章雪挺，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：