一种基于AUV的侧扫声呐图像域适应学习实时分割方法技术

本发明专利技术公开一种基于AUV的侧扫声呐图像域适应学习实时分割方法，对AUV搭载不同侧扫声呐传感器传输的数据流格式进行在线解码、融合，获得高分辨率侧扫声呐图像；然后将高分辨率侧扫声呐图像进行数据集制作；构建基于域适应学习的实时分割网络模型，进行离线训练，实时分割网络模型包括特征提取器、分类器和多尺度判别器；最后使用离线学习后的域适应分割模型对AUV的航线航行区域进行侧扫声呐图像实时分割预测。本方案提出基于域适应学习的实时语义分割技术，并将域对抗学习与实时语义分割算法融合，减轻昂贵数据收集过程，使得分割模型在有限的未标注训练样本条件下能达到高效、准确的目标识别效果，提高训练模型在不用应用场景下的适应性。

【技术实现步骤摘要】
一种基于AUV的侧扫声呐图像域适应学习实时分割方法
本专利技术属于侧扫声呐图像目标检测
，具体涉及一种基于AUV的侧扫声呐图像域适应学习实时分割方法。
技术介绍
在蕴含丰富海洋信息的侧扫声呐图像中自动提取海底目标，对于海洋环境感知及海洋科学研究具有重要意义。随着深度学习在各领域的广泛研究，人们不断将理论研究推广到实际产品落地。深度学习的引入提高了声呐图像分类、检测等应用的精度，并且在计算效率上不断提升，推动了实时应用的发展，但是将深度学习算法应用到侧扫声呐图像分割的研究较少。在实际海洋应用场景中，难以获得大量的标注样本，真实、复杂的海洋环境给图像分割算法的泛化性能带来了困难。对于海底目标的形态多样性，即同一海洋物体的差异性及不同海洋物体之间的相似性，对于基于深度学习的分割模型的泛化性能也是一个极大的挑战。而且，由于AUV搭载的嵌入式平台计算资源有限，对模型的复杂度和操作次数有较高的要求。因此，在实际海洋环境与深度学习技术结合的基础上，研究如何克服上述难点，对于推进AUV的智能性具有重要意义。传统的侧扫声呐图像分割方法主要为基于无监督侧扫声呐图像分割方法，存在的问题主要包括：1)分割时间较长，不能满足AUV特定平台实时性的要求；2)将声呐图像分为目标高亮区、目标阴影区和背景区域，不能提供目标的类别信息，因此后续还需要其他算法完成目标识别的步骤；3)无法分割复杂的海底纹理，例如沙纹或海草；这主要是由于图像强度不均匀，通常也归因于不正确的分割初始化。因此，在基于深度学习的侧扫声呐图像实时分割技术研究基础上，如果直接将在特定的数据集上训练的模型，应用到属于训练集的同一域(海域条件，传感器类型、频率，目标分布)图像时，准确性会很高。但是，如果将此模型用于不同条件下获取的图像，则由于图像之间的域位移，模型预测准确率急剧下降，因此本专利技术将解决基于深度学习的图像分割技术对于新场景适应性差等问题，以精准预测不同侧扫声呐传感器、不同海域条件下采集的同一海底目标。
技术实现思路
本专利技术为了提高准确率，并提高图像分割技术对于新场景适应性等问题，提出一种基于AUV的侧扫声呐图像域适应学习分割方法，以实现不同侧扫声呐传感器、不同海域条件下所采集海底目标的预测。本专利技术是采用以下的技术方案实现的：一种基于AUV的侧扫声呐图像域适应学习实时分割方法，包括以下步骤：步骤A、对AUV搭载不同侧扫声呐传感器传输的数据流格式通过UDP协议进行在线解码、融合，获得高分辨率侧扫声呐图像，侧扫声呐传感器传输的数据流格式包括sds格式声呐数据和xtf格式声呐数据；步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集；步骤C、构建基于域适应学习的实时分割网络模型，并对其进行离线训练，所述实时分割网络模型包括特征提取器、分类器和多尺度判别器；根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将带标签的sds格式声呐数据集作为源域数据集，将不带标签的xtf格式声呐数据集作为目标域数据集，输入至特征提取器，通过前向传播运算，得到源域声呐图像中海底目标的纹理、几何特征以及位置信息；分类器将提取的源域声呐图像特征进行像素级预测，根据预测结果与标签信息求得语义分割损失，反向传播更新优化特征提取器的参数；再通过多尺度判别器对来自特征提取器提取的源域及目标域图像特征进行判别，通过对抗训练优化特征提取器参数，以精准预测不同侧扫声呐传感器采集的同一海底目标；步骤D、使用离线学习后的域适应分割模型对AUV在预先设定的航线航行区域进行侧扫声呐图像实时分割预测。进一步的，所述步骤A中，对sds格式声呐数据解析时，通过获取sds包头的标志位来保存对应时间的海底扫测数据，过程如下：(1)接收sds格式声呐数据流，指针pp＝0；指针指向sds包头，pp＝pp+8；(2)判断头文件标志位是否为sonarTAG，若否，则判断头文件标志位是否为NAV，保存AUV当前经纬度数据；若是，则进行下一步；(3)进入sds声呐数据段，pp＝pp+16；(4)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。进一步的，所述步骤A中，对xtf格式声呐数据解析过程如下：(1)接收xtf格式声呐数据流，指针pp＝0；指针指向xtf帧头，pp＝pp+1024；(2)判断帧头是否为0xface，若否，pp＝pp+1，直到找到帧头；若是，保存AUV当前经纬度数据；(3)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。进一步的，所述步骤C具体通过以下方式实现：步骤C1：针对同一海底目标，将带标签Ys的sds格式数据集作为源域训练集Xs，训练数据集样本数为S＝{n1,n2,…,ns}，将无标签的xtf格式数据集作为目标域训练集Xt，训练数据集样本数为T＝{n1,n2,…,nt}；步骤C2：将源域训练集Xs和目标域训练集Xt送入特征提取器，包括初始模块、编码模块和解码模块，初始模块为编码模块提供更多图像特征，除去图像中的视觉冗余信息，编码模块用以实现侧扫声呐图像的特征提取，使用池化层逐渐减小输入数据的空间维度，解码模块则通过特征上采样到原始输入分辨率来逐渐恢复海底目标的细节；步骤C3：特征提取器的不同层级分别得到源域、目标域图像的低层特征Ps_l,Pt_l；源域、目标域图像高层特征Ps_h,Pt_h。步骤C4：特征提取器得到的源域图像高层特征信息作为分类器的输入，用来计算源域数据集中海底目标最终类别概率Ps，根据Ps和Ys求得平衡交叉熵Lseg，即语义分割损失，解决海底目标样本类别不均衡的问题，损失函数反向传播训练特征提取器；其中Xs，Ys图像大小为H×W,C为分割类别数，Ps＝G(Xs)为分割预测输出，αw为平衡因子其中αw∈[0，1]，Y-|、|Y+|分别代表背景及目标的真实标签值；步骤C5：设计多尺度判别器，包括判别器1和判别器2，判别器1的输入来自特征提取器的高层特征Ps_h,Pt_h，判别器2的输入来自特征提取器的低层特征Ps_l,Pt_l，每个判断器分别判断其输入特征信息是来自源域图像还是目标域图像；每个判别器由5个卷积层组成，除了最后一层，每个卷积层后面都使用批归一化和ReLU激活函数；最后一层添加一个上采样系数为16的向上采样层，以将输出重新缩放到输入映射的大小；步骤C6：设计基于域对抗学习实时分割方法的总损失函数L(Xs，Ys，Xt)＝Lseg(Xs，Ys)+λ1Ladv1(Xs，Xt)+λ2Ladv2(Xs，Xt)(4)其中λ1和λ2是权衡网络对抗权重的一个重要参数；进而得到网络训练的优化目标为：G*，D*＝argmaxDminGL(Xs，Ys，本文档来自技高网...

【技术保护点】
1.一种基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于，包括以下步骤：/n步骤A、对AUV搭载不同侧扫声呐传感器传输的数据流格式进行在线解码、融合，获得高分辨率侧扫声呐图像，侧扫声呐传感器传输的数据流格式包括sds格式声呐数据和xtf格式声呐数据；/n步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集；/n步骤C、构建基于域适应学习的实时分割网络模型，并对其进行离线训练，所述实时分割网络模型包括特征提取器、分类器和多尺度判别器；/n根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将带标签的sds格式声呐数据集作为源域数据集，将不带标签的xtf格式声呐数据集作为目标域数据集，输入至特征提取器，通过前向传播运算，得到源域声呐图像中海底目标的纹理、几何特征以及位置信息；/n分类器将提取的源域声呐图像特征进行像素级预测，根据预测结果与标签信息求得语义分割损失，反向传播更新优化特征提取器的参数；/n再通过多尺度判别器对来自特征提取器提取的源域及目标域图像特征进行判别，通过对抗训练优化特征提取器参数，以精准预测不同侧扫声呐传感器采集的同一海底目标；/n步骤D、使用离线学习后的域适应分割模型对AUV在预先设定的航线航行区域进行侧扫声呐图像实时分割预测。/n...

【技术特征摘要】
1.一种基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于，包括以下步骤：
步骤A、对AUV搭载不同侧扫声呐传感器传输的数据流格式进行在线解码、融合，获得高分辨率侧扫声呐图像，侧扫声呐传感器传输的数据流格式包括sds格式声呐数据和xtf格式声呐数据；
步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集；
步骤C、构建基于域适应学习的实时分割网络模型，并对其进行离线训练，所述实时分割网络模型包括特征提取器、分类器和多尺度判别器；
根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将带标签的sds格式声呐数据集作为源域数据集，将不带标签的xtf格式声呐数据集作为目标域数据集，输入至特征提取器，通过前向传播运算，得到源域声呐图像中海底目标的纹理、几何特征以及位置信息；
分类器将提取的源域声呐图像特征进行像素级预测，根据预测结果与标签信息求得语义分割损失，反向传播更新优化特征提取器的参数；
再通过多尺度判别器对来自特征提取器提取的源域及目标域图像特征进行判别，通过对抗训练优化特征提取器参数，以精准预测不同侧扫声呐传感器采集的同一海底目标；
步骤D、使用离线学习后的域适应分割模型对AUV在预先设定的航线航行区域进行侧扫声呐图像实时分割预测。


2.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤A中，对sds格式声呐数据解析时，通过获取sds包头的标志位来保存对应时间的海底扫测数据，过程如下：
(1)接收sds格式声呐数据流，指针pp＝0；指针指向sds包头，pp＝pp+8；
(2)判断头文件标志位是否为sonarTAG，若否，则判断头文件标志位是否为NAV，保存AUV当前经纬度数据；若是，则进行下一步；
(3)进入sds声呐数据段，pp＝pp+16；
(4)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。


3.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤A中，对xtf格式声呐数据解析过程如下：
(1)接收xtf格式声呐数据流，指针pp＝0；指针指向xtf帧头，pp＝pp+1024；
(2)判断帧头是否为0xface，若否，pp＝pp+1，直到找到帧头；若是，保存AUV当前经纬度数据；
(3)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。


4.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤C具体通过以下方式实现：
步骤C1：针对同一海底目标，将带标签Ys的sds格式数据集作为源域训练集Xs，训练数据集样本数为S＝{n1，n2，...，ns}，将无标签的xtf格式数据集作为目标域训练集Xt，训练数...

【专利技术属性】
技术研发人员：王淇，何波，
申请(专利权)人：青岛澎湃海洋探索技术有限公司，
类型：发明
国别省市：山东;37