本发明专利技术公开了一种水下机器人的孪生网络目标连续跟踪方法，对待跟踪目标进行目标检测，接着将检测出目标作为作为模板支路的输入，并将所跟踪的视频序列逐帧作为检测支路的输入，然后经过孪生网络进行特征提取，提取特征图作为输入经过两个卷积层扩展成为分类分支和回归分支，随后进行相似度打分，若分数＜阈值，则需要再次重新进行目标检测，若分数≥阈值，则认为跟踪成功，根据相邻帧移动位移判断预测帧移动方向，以前跟踪框几何中心点坐标为中心向外扩充为视频序列图像大小，前帧视频序列原图和扩充后的图的重叠部分为预测帧目标跟踪范围。本发明专利技术解决海流作用下水下目标跟踪正确率低的问题，并且降低了计算成本，提高水下目标跟踪的鲁棒性。水下目标跟踪的鲁棒性。水下目标跟踪的鲁棒性。
【技术实现步骤摘要】
一种水下机器人的孪生网络目标连续跟踪方法
[0001]本专利技术涉及一种水下机器人的孪生网络目标连续跟踪方法，尤其涉及一种适用于复杂海流环境下水下机器人的孪生网络目标连续跟踪方法，属于视觉目标跟踪领域。
技术介绍
[0002]随着国民生活水平的不断提升，人民对海鲜食品的需求不断增加，海产养殖产业也随之蓬勃发展。目前海产品的捕捞作业主要依靠潜水员手工抓取，但人工捕捞成本高、耗时长且销量低、且对海洋生态环境具有较大的破坏性，采用水下机器人进行海产品检测、定位及抓取对海产养殖的自动化发展至关重要。
[0003]目标跟踪是计算机视觉的一个重要分支，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。随着深度学习在图像分类和目标检测等计算机视觉任务中的成功应用，深度学习也开始大量应用于目标跟踪算法中。然而由于水下图像清晰度和对比度差、背景环境复杂多变、物体自身的运动以及被遮挡，不利于水下视频图像的进一步处理，造成目标特征提取困难并且影响目标定位的精度，使得水下目标跟踪的难度增加。基于以上问题提出了一种适用于水下机器人目标抓取的连续跟踪方法，在降低计算成本的同时保证了正确率，提高了目标跟踪的鲁棒性。
[0004]近些年关于视觉目标跟踪的研究中，大多数先进的方法都是基于都基于相关滤波器或深度学习。由于深度特征对目标拥有强大的表征能力，深度学习在目标检测和目标跟踪领域的应用逐渐广泛。在水下目标跟踪方面，已有的研究相对较少。专利文献“一种基于前视声纳的改进核相关滤波水下目标跟踪方法(申请号：CN201810870281.4)”对核相关滤波算法的水下目标跟踪方法进行了改进，提高了跟踪精度，但主要针对不同的训练基样本计算不同尺度的滤波器模型，这种方法增加的不同尺度的滤波器数量会带来计算量增大不能满足实时性需求，不能支持水下机器人实时的抓取工作。专利文献“一种基于深度学习和单目视觉的水下机器人目标跟踪方法(申请号：CN201910474803.3)”，涉及到基于深度学习神经网络来确定水下目标的方位和运动方向估计，但跟踪速度相对较慢，水下跟踪时易发生跟踪漂移现象，且水下目标抓取时受到手爪等遮挡的情形。专利文献“一种适用于水下机器人目标抓取的连续跟踪方法(申请号：CN201911408004.2)”涉及到基于核相关滤波跟踪算法对目标进行跟踪，但连续跟踪时采用传统的一定帧数后重新检测的方法，这种方法的计算成本相对较高，且相对耗时，不能满足目标跟踪快速且实时性的需求。
[0005]深度学习应用在水下目标跟踪上时存在一定问题，水下环境复杂，图像清晰度和对比度差，工作时易产生遮挡影响作业效果。
技术实现思路
[0006]针对上述现有技术，本专利技术要解决的技术问题是提供一种基于深度学习的适用于复杂海流环境下水下机器人的孪生网络目标连续跟踪方法，解决海流作用下水下目标跟踪
正确率低的问题，并且降低了计算成本，提高水下目标跟踪的鲁棒性。
[0007]为解决上述技术问题，本专利技术一种水下机器人的孪生网络目标连续跟踪方法，包括：
[0008]步骤一、对待跟踪的目标进行目标检测，然后以检测出的目标图像为模板图像，模板图像帧作为视频序列第一帧；
[0009]步骤二、采用完全没有填充的全卷积网络的孪生网络对模板图像和视频序列进行特征提取；
[0010]步骤三、采用区域候选网络的分类支路和回归支路对目标跟踪进行分类回归；
[0011]步骤四、对每帧视频序列跟踪边界框进行相似度打分，对边界框按相似度打分进行排名，使用非最大抑制NMS得到每帧视频序列对应最终跟踪边界框，若每帧视频序列对应最终跟踪边界框分数均大于给定阈值，则认为跟踪成功，无需进行重新跟踪，执行步骤五，否则，返回步骤三；
[0012]步骤五、根据前n+1帧视频序列，即第T
‑
n帧、第T
‑
n+1帧、
…
、第T帧，相邻两帧的跟踪框的几何中心点坐标在x轴方向和y轴方向平均位移变化，预测第T+1帧视频序列相对第T帧视频序列的移动方向，然后以第T帧跟踪框的几何中心点坐标为中心向外扩充为视频序列图像大小，第T帧视频序列原图和扩充后的图的重叠部分为第T+1帧目标跟踪范围。
[0013]进一步的，孪生网络分为权重参数相同的模板支路和检测支路，所述模板支路接收模板图像，输入记为z；检测支路接收检测序列当前帧的图像，输入记为x；模板图像和检测序列经过孪生网络后分别得到孪生网络特征图输出和
[0014]进一步的，步骤三具体为：
[0015]区域候选网络在训练阶段中采用Faster R
‑
CNN的loss函数，采用cross
‑
entropy loss作为分类支路的损失函数，采用smooth L1 loss作为回归支路的损失函数；
[0016]通过区域候选网络的两个卷积层将扩展成分类分支和回归分支和回归分支也被两个卷积层扩展成为分类分支和回归分支分类支路和回归支路分别对和的分类分支特征和回归分支特征进行卷积运算：
[0017][0018][0019]为分类支路的卷积运算结果，包含2k个通道向量，表示锚点对应原始图像的正激活和负激活；为回归支路的卷积运算结果，其包含4k个通道向量，表示锚点与真实值之间的距离。
[0020]进一步的，区域候选网络中，k＝5，回归支路的损失函数为：
[0021][0022]其中，
A
x
,A
y
,A
w
,A
h
是锚箱的中心点坐标、宽和高，T
x
,T
y
,T
w
,T
h
为真实框的中心点坐标、宽和高。
[0023]进一步的，步骤四所述相似度打分具体为：
[0024]每个边界框相似度分数pscore具体为：
[0025]pscore＝penalty
×
score
[0026]其中，score为分类支路得到的分数，penalty为惩罚函数；
[0027]惩罚函数penalty为：
[0028][0029]其中，k为一个超参数，r为生成边界框的高宽比，r
’
为上一帧的高宽比；s和s
’
分别代表当前帧和上一帧生成边界框的尺寸；
[0030]s的定义为：
[0031](w+p)
×
(h+p)βs2[0032]其中，w和h为生成边界框的宽和高度，p的意义为填充，
[0033]进一步的，步骤五具体为：
[0034]以视频图像左上角为原点建立坐标轴，向右为x轴正方向，向下为y轴正方向，记前n+1帧视频序列中，从第T
‑
n帧开始相邻两帧的跟踪框的几何中心点坐标沿x轴方向位移变化分别为Δx1，Δx2，
…
，Δx
n
，沿y轴本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种水下机器人的孪生网络目标连续跟踪方法，其特征在于，包括：步骤一、对待跟踪的目标进行目标检测，然后以检测出的目标图像为模板图像，模板图像帧作为视频序列第一帧；步骤二、采用完全没有填充的全卷积网络的孪生网络对模板图像和视频序列进行特征提取；步骤三、采用区域候选网络的分类支路和回归支路对目标跟踪进行分类回归；步骤四、对每帧视频序列跟踪边界框进行相似度打分，对边界框按相似度打分进行排名，使用非最大抑制NMS得到每帧视频序列对应最终跟踪边界框，若每帧视频序列对应最终跟踪边界框分数均大于给定阈值，则认为跟踪成功，无需进行重新跟踪，执行步骤五，否则，返回步骤三；步骤五、根据前n+1帧视频序列，即第T
‑
n帧、第T
‑
n+1帧、
…
、第T帧，相邻两帧的跟踪框的几何中心点坐标在x轴方向和y轴方向平均位移变化，预测第T+1帧视频序列相对第T帧视频序列的移动方向，然后以第T帧跟踪框的几何中心点坐标为中心向外扩充为视频序列图像大小，第T帧视频序列原图和扩充后的图的重叠部分为第T+1帧目标跟踪范围。2.根据权利要求1所述的一种水下机器人的孪生网络目标连续跟踪方法，其特征在于：所述孪生网络分为权重参数相同的模板支路和检测支路，所述模板支路接收模板图像，输入记为z；检测支路接收检测序列当前帧的图像，输入记为x；模板图像和检测序列经过孪生网络后分别得到孪生网络特征图输出和3.根据权利要求1所述的一种水下机器人的孪生网络目标连续跟踪方法，其特征在于：所述步骤三具体为：所述区域候选网络在训练阶段中采用Faster R
‑
CNN的loss函数，采用cross
‑
entropy loss作为分类支路的损失函数，采用smooth L1 loss作为回归支路的损失函数；通过区域候选网络的两个卷积层将扩展成分类分支和回归分支和回归分支也被两个卷积层扩展成为分类分支和回归分支分类支路和回归支路分别对和的分类分支特征和回归分支特征进行卷积运算：的分类分支特征和回归分支特征进行卷积运算：的分类分支特征和回归分支特征进行卷积运算：为分类支路的卷积运算结果，包含2k个通道向量，表示锚点对应原始图像的正激活和负激活；为回归支路的卷积运算结果，其包含4k个通道向量，表示锚点与真实值之间的距离。4.根据权利要求3所述的一种水下机器人的...
【专利技术属性】
技术研发人员：黄海，吴晗，韩鑫悦，周浩，梅洋，孙溢泽，王兆群，郭腾，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。