一种基于轻量模型的软体机械臂自由眼系统目标追踪方法技术方案

本发明专利技术涉及机械臂目标追踪技术领域，具体涉及一种基于轻量模型的软体机械臂自由眼系统目标追踪方法。该方法包括：将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；获取各跟踪目标的中心坐标；任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。本发明专利技术能够精确的对隧道内的所需追踪的目标进行追踪。踪的目标进行追踪。踪的目标进行追踪。

【技术实现步骤摘要】
一种基于轻量模型的软体机械臂自由眼系统目标追踪方法


[0001]本专利技术涉及机械臂目标追踪
，具体涉及一种基于轻量模型的软体机械臂自由眼系统目标追踪方法。

技术介绍

[0002]在地铁隧道建设中，经常会发生不同形式和不同程度的隧道与地下工程灾害，因此，对施工期和运营期的隧道进行高效的检测、监测和维护变得尤为重要。运营期地铁隧道的日常巡检主要包括对衬砌表观损伤(裂缝、渗漏、剥落)、隧道结构变形、接触网及钢轨的检测。但目前的日常巡检任务主要人工来完成，而人工多以主观经验判断，容易错检、漏检。而且传统的人工巡检工作效率低、成本高、风险大。
[0003]目前除了传统的借助依靠人工进行巡检之外，还可以通过智能巡检车执行巡检任务，但现有的利用智能巡检车进行巡检任务时，需要通过安装在智能巡检车上的机械臂顶端的摄像头识别目标，然后调节机械臂对识别的目标进行追踪。
[0004]在对目标进行识别的过程中，可以利用RFBNet模型对隧道壁上的目标进行识别，但是有些需要巡检的目标偏小，传统的RFBNet模型的识别效果并不好，会导致漏检和错检的情况，同时，传统的RFBNet模型还存在识别速度慢的问题；另外，在检测到目标后，需要调节机械臂使得安装在机械臂上的摄像头与识别到的目标正对，在调节机械臂的过程中，利用传统的PID控制算法机械臂需要调节的量时，并未考虑其他因素对于机械臂调节的影响，因此会有一定的偏差出现，导致对于机械臂的调节的误差变大，使得目标追踪不准确。

技术实现思路

[0005]为了解决上述技术问题，本专利技术的目的在于提供一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，所采用的技术方案具体如下：
[0006]本专利技术一个实施例提供了一种基于轻量模型的软体机械臂自由眼系统目标追踪方法：构建目标识别模型，替换目标识别模型的骨干网络和设计损失函数，获得优化目标识别模型；
[0007]按照时序获得隧道内各帧图像，将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；
[0008]基于第一帧和第二帧图像中所有目标的坐标并利用跟踪模型对每个目标进行跟踪，被跟踪到的目标记为跟踪目标，获取各跟踪目标的中心坐标；
[0009]任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；
[0010]根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。
[0011]优选地，替换目标识别模型的骨干网络，包括：
[0012]利用第一轻量级网络替换目标识别模型中的骨干网络；并删除第一轻量级网络中的第一个最大池化层。
[0013]优选地，设计损失函数，包括：
[0014]设计置信度损失和位置损失，置信度损失和位置损失组成损失函数，损失函数为：
[0015][0016]其中，L(x,c,l,g)表示损失函数；N表示匹配到默认框的数量；x表示输入样本；c表示置信度；l表示预测框；g表示真实框；α表示分类和回归的权重系数；
[0017]置信度损失为：
[0018][0019]其中L
conf
(x,c)表示置信度损失；表示第i个预测框预测类别p的概率值；表示第i个预测框预测类别p的置信度预测值；表示第i个预测框和类别p第j个真实框的匹配值，i表示预测框序号，j表示真实框序号，p表示类别序号；Pos表示正样本，Neg表示负样本；ω
p
表示类别p的权重，β表示正负样本之间的权重系数；
[0020]位置损失为：
[0021][0022]其中，L
loc
(x,l,g)表示位置损失；(x,l,g)表示位置损失；(x,l,g)表示位置损失；表示第i个预测框的中心点的横坐标，表示第i个预测框的中心点的纵坐标；表示第j个真实框的中心点的横坐标，表示j个真实框的中心点的纵坐标；表示第j个真实框的中心点的横坐标的编码值，表示j个真实框的中心点的纵坐标的编码值；表示第i个预测框的宽，表示第i个预测框的高；表示第j个真实框的宽，表示第j个真实框的高；表示第j个真实框的宽的编码值，表示第j个真实框的高的编码值；表示第i个先验框的宽，表示第i个先验框的高。
[0023]优选地，优化目标识别模型，还包括：
[0024]将目标识别模型的IoU(Intersection over Union)替换为GIoU(Generalized Intersection over Union)，优化目标识别模型中为GIoU。
[0025]优选地，获取各跟踪目标的中心坐标，包括：
[0026]将目标识别后的第一帧图像和第二帧图像输入跟踪模型，根据第一帧图像中识别到的目标初始化并创建跟踪器，并对所有目标标注ID；
[0027]根据第二帧图像中所有目标的坐标计算跟踪器所有目标与第二帧图像中识别到的目标的IOU，并得到能够匹配到目标的所有目标中各目标的IOU最大的唯一匹配，记为跟踪匹配对；利用跟踪匹配对中属于第二帧图像中目标更新卡尔曼滤波器，获取跟踪目标，并获取各跟踪目标的中心坐标。
[0028]优选地，设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度，包括：
[0029][0030]其中u(t)表示控制函数；e(t)表示一个维度上跟踪目标的中心与当前帧的图像中心点的坐标偏差；t表示离散的时间；K
p
、K
i
、K
d
、K
g
和K
f
分别为e(t)的比例参数、积分参数、微分参数、正弦参数和幂次参数；
[0031]将坐标偏差带入控制函数，获得软体机械臂的旋转角度和弯曲角度。
[0032]优选地，根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，包括：
[0033]所述软体机械臂采用欠驱绳驱方式，利用预设数量的钢丝绳控制所有软体机械臂所有关节，关节点处与软轴固定，钢丝绳以软轴为中心成90
°
间隔分布；
[0034]利用所述旋转角度和弯曲角度计算预设数量的钢丝绳的变化量，具体为：
[0035][0036]其中，L1、L2、L3和L4分别表示第一根钢丝绳、第二根钢丝绳、第三根钢丝绳和第四根钢丝绳的变化量；L0表示软体机械臂在直立状态下，两根钢丝绳的总长度；N表示中间节点数；表示每个节点的弯曲角度，tilt表示弯曲角度；h0表示相邻的两个节点之间的距离；的距离；表示旋转角度，d表示直立状态下两根绳索之间的距离。
[0037]优选地，按照时序获得隧道内各帧图像，还包括：
[0038]获取软体机械臂初始的旋转角度，根据所述初始的旋转角度对隧道内各帧图像进行处理，得到每帧隧道内图像的正立图像。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，该方法包括：构建目标识别模型，替换目标识别模型的骨干网络和设计损失函数，获得优化目标识别模型；按照时序获得隧道内各帧图像，将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；基于第一帧和第二帧图像中所有目标的坐标并利用跟踪模型对每个目标进行跟踪，被跟踪到的目标记为跟踪目标，获取各跟踪目标的中心坐标；任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。2.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述替换目标识别模型的骨干网络，包括：利用第一轻量级网络替换目标识别模型中的骨干网络；并删除第一轻量级网络中的第一个最大池化层。3.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述设计损失函数，包括：设计置信度损失和位置损失，置信度损失和位置损失组成损失函数，损失函数为：其中，L(x,c,l,g)表示损失函数；N表示匹配到默认框的数量；x表示输入样本；c表示置信度；l表示预测框；g表示真实框；α表示分类和回归的权重系数；置信度损失为：其中L
conf
(x,c)表示置信度损失；表示第i个预测框预测类别p的概率值；表示第i个预测框预测类别p的置信度预测值；表示第i个预测框和类别p第j个真实框的匹配值，i表示预测框序号，j表示真实框序号，p表示类别序号；Pos表示正样本，Neg表示负样本；ω
p
表示类别p的权重，β表示正负样本之间的权重系数；位置损失为：
其中，L
loc
(x,l,g)表示位置损失；(x,l,g)表示位置损失；(x,l,g)表示位置损失；表示第i个预测框的中心点的横坐标，表示第i个预测框的中心点的纵坐标；表示第j个真实框的中心点的横坐标，表示j个真实框的中心点的纵坐标；表示第j个真实框的中心点的横坐标的编码值，表示j个真实框的中心点的纵坐标的编码值；表示第i个预测框的宽，表示第i个预测框的高；表示第j个真实框的宽，表示第j个真实框的高；表示第j个真实框的宽的编码值，表示第j个真实框的高的编码值；表示第i个先验框的宽，表示第i个先验框的高。4.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述优化目标识别...

【专利技术属性】
技术研发人员：佟立国，邹建伟，庞占军，卢智勇，王雪纯，郝彦超，符铁亮，胡雪岩，齐俭，王广成，孙海涛，蒋伟，张国友，
申请(专利权)人：中铁九局集团有限公司，
类型：发明
国别省市：