【技术实现步骤摘要】
本专利技术涉及电力系统的维修、维护、装配领域，尤其涉及一种应用于带电作业场景下的机械臂抓取电线进行穿孔的方法。
技术介绍
1、目前，国家电网经常需要对设备进行维修、维护和装配等作业，而作业环境存在无法断电操作的情况，即带电作业场景，且带电作业场景经常会有高压电流或高压电压，比如：高压开关柜的维修保养、输电线路的检修、变压器的维护、电容器组的维修、发电机的维修和电力电缆接头的维修等带电工作场景。
2、而在电力系统中，传统的作业手法都是让工作人员穿戴绝缘防护设备并使用绝缘工具来直接接触电气设备进行维修、维护、保养作业，而这种作业的危险性极大，稍有不慎，极易发生致伤、致残甚至致死的作业事故，对工作人员的生命安全造成极大的威胁，同时接触电器设备也容易造成设备的损坏。
3、随着工业设施建设的快速发展，带电作业的需求越来越多，无论是为了工作人员的生命安全着想，还是从解决问题的效率出发，人工作业显然已经远远不能满足带电作业需求，幸而随着科技技术的不断进步，大量工/作业用机械臂已经实际应用在了各种工作场景中，不过现有技术下的这些工/作业用机械臂通常是设置在生产车间里的固定流水线，通过预先设定的程序，机械臂对固定的位置进行重复抓取等一系列操作，无法应用于带电场景下电线穿孔等特定任务的需求，故对于变化多样的特定带电作业场景下使用机械臂来抓取电线穿孔这种类型的操作尚未开发，而且由于需要穿孔的小孔位置的不确定性以及各种电器设备孔径大小的不确定性，故对机械臂的要求更高，目前尚未有近似技术方案。
4、综上所述，目前需要一
技术实现思路
1、为了解决上述的带电作业场景需要穿孔的小孔位置的不确定性以及各种电器设备孔径大小的不确定性的问题，从要求提高作业效率和安全性的方向上出发，本专利技术提供了一种带电作业场景下的机械臂抓取电线穿孔方法，本专利技术采用目标检测和目标跟踪算法进行电线和绝缘物体的实时检测和定位，通过图像分割网络技术，可以实现对电线像素级别的分割，进而确定抓取点位，提高抓取成功率。
2、本专利技术的一种带电作业场景下的机械臂抓取电线穿孔方法，包括机械臂、深度相机、电线和绝缘物体，其具体步骤如下所述：
3、1)构建在带电场景下绝缘物体引导机械臂穿孔的模型网络结构，具体如下：
4、本步骤中的模型网络结构分为目标检测模块和目标跟踪模块两部分，具体为：对绝缘物体进行目标检测，将其识别与定位，并将检测到绝缘物体的那一帧作为首帧，从该首帧开始进入目标跟踪模块，实现绝缘物体对机械臂的引导；
5、2)确定机械臂、深度相机、电线以及绝缘物体的相对位置关系，对机械臂、深度相机、电线以及绝缘物体的相对位置关系进行了相应的布置；
6、3)使用图像分割网络实时检测电线并进行抓取，具体如下：
7、使用图像分割网络实时检测电线并进行抓取时为了能够提高抓取电线的成功率，对目标电线抓取点位做了进一步的处理，具体公式如下：
8、p＝{pi}，pi∈b，b(xi，yi)≠0
9、
10、式中：b为经图像分割网络得到的二值图像，b(xi，yi)为坐标(xi，yi)在该二值图像上的像素值，i为当前坐标索引，p为输出的非零像素坐标集合，pi表示集合中的第i个点的坐标，t是经过手眼标定得出的变换矩阵，d是坐标(x，y)所对应的深度值；
11、4)使用步骤1)的模型网络结构实时检测绝缘物体，并通过绝缘物体引导机械臂运动到指定小孔位置进行插入。
12、根据本专利技术的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块由特征提取层、共享卷积层、池化层、relu激活函数、特征融合层以及跳跃连接组成，其中，特征提取层包括3次连续串行的卷积和池化操作，大小均为3x3，而特征融合层包括3路并行的卷积操作，每一路又包括3次卷积核大小相同的连续串行卷积操作，其中每一路并行卷积操作的卷积核大小分别为1x1、2x2和3x3。
13、根据本专利技术的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块的具体操作为：
14、将待检测图片送入特征提取层提取出高维特征表示，然后经过共享卷积层、池化层和relu激活函数的处理，其中，共享卷积层用于参数共享，从而减少模型的参数量和计算量，接着经过特征融合模块将融合后的特征再进行一次共享卷积层、池化层和relu激活函数的处理，得到更加精准的特征分布，最后在两次共享卷积层之间加入跳跃连接，以便利用低级别的细节特征和高级别的语义特征之间的关系提高模型的表达能力和性能。
15、上述的特征融合模块，一方面为了进一步强化多尺度特征，提升特征的表达能力，另一方面为了促进信息的传力和梯度的流动，从而解决梯度消失和梯度爆炸问题，促进梯度在网络中的有效传播，提高网络的训练和收敛速度。
16、根据本专利技术的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标跟踪模块的具体操作为：
17、在首帧中使用目标检测结果初始化卡尔曼滤波器的状态估计和协方差，然后使用卡尔曼滤波器的预测步骤预测下一帧中绝缘物体的位置，紧接着使用匈牙利算法将当前帧中的目标检测结果与预测的绝缘物体的位置进行关联，建立起与绝缘物体的跟踪对应关系，之后使用卡尔曼滤波器的更新步骤，通过融合目标检测结果和预测的绝缘物体的位置，实时更新绝缘物体的状态估计和协方差，最后重复进行预测、关联和更新步骤，实现对绝缘物体的连续跟踪。
18、步骤1)的构建在带电场景下绝缘物体引导机械臂穿孔的模型网络结构，其优势在于有效结合了目标检测和目标跟踪的优点，既可以在静态场景下准确检测绝缘物体，又能在动态场景下实时跟踪并引导机械臂的运动。目标检测模块具备丰富的特征提取能力和多尺度信息融合能力，能够准确识别绝缘物体，而目标跟踪模块则通过卡尔曼滤波器实现对绝缘物体位置的连续预测和更新，确保机械臂始终朝向正确的目标位置运动，这种结合的方式使得整个穿孔过程更加稳健和可靠。
19、由于是在带电工作场景中，机械臂需要在高压带电状态下进行电线穿孔操作，因此必须保证操作的安全性和准确性，步骤1)的模型网络结构采用了目标检测模块和目标跟踪模块的结合。首先，通过目标检测模块对绝缘物体进行识别和定位，即检测出绝缘物体在图像中的位置和边界框。应注意，在带电场景下，绝缘物体可能存在模糊、变形等情况，因此目标检测模块需要具备较高的鲁棒性和准确性，能够在复杂背景下准确地定位绝缘物体。
20、根据本专利技术的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤2)中的对机械臂、深度相机、电线以及绝缘物体的相对位置关系进行了相应的布置，其具体为，机械臂为可活动的多段式结构，其一端设置在固定平台处，另一端则设置有抓取电线的线夹，深度相机共有两处，一处设置在机械本文档来自技高网...
【技术保护点】
1.一种带电作业场景下的机械臂抓取电线穿孔方法，包括机械臂、深度相机、电线和绝缘物体，其具体步骤如下所述：
2.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块由特征提取层、共享卷积层、池化层、Relu激活函数、特征融合层以及跳跃连接组成，其中，特征提取层包括3次连续串行的卷积和池化操作，大小均为3x3，而特征融合层包括3路并行的卷积操作，每一路又包括3次卷积核大小相同的连续串行卷积操作，其中每一路并行卷积操作的卷积核大小分别为1x1、2x2和3x3。
3.如权利要求要求1或权利要求2所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块的具体操作为：
4.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标跟踪模块的具体操作为：
5.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤2)中的对机械臂、深度相机、电线以及绝缘物体的相对位置关系进行了相应
6.如权利要求要求5所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的设置在机械臂末端的抓取电线的线夹处的位置的深度相机，负责实时感知电线的位置和姿态信息，通过深度相机来防止带电场景下的电线存在的扭曲、变形或部分遮挡情况，准确获取电线的姿态信息，机械臂抓取电线的线夹根据实际情况进行适应性抓取，该深度相机通过深度传感技术可以获取电线的三维信息，包括其空间坐标、姿态和形状，从而为机械臂提供准确的抓取目标。
7.如权利要求要求5所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的通过使用相机支架固定于机械臂运动范围之外的位置的深度相机，在带电场景下绝缘物体需要在保持绝缘状态的前提下引导机械臂的运动，确保机械臂和电线之间的安全距离，该处的深度相机允许操作人员在远离带电环境的情况下，通过图像实时引导机械臂的运动轨迹。
8.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤3)的使用图像分割网络实时检测电线并进行抓取，该公式具体含义为，图像分割网络的训练依赖于大规模标记的数据集，通过学习特征和像素之间的关联，可以在未标记的图像中准确地预测目标的位置，对于电线抓取任务，在训练阶段，网络首先通过大量标记的电线图像数据，学习电线的特征和分割模式，使其能够在图像中准确地定位电线，而在实时检测阶段，步骤2)中的深度相机捕获的图像将被送入图像分割网络，网络会对图像进行处理，并输出一个二值图像，该二值图像将电线区域和背景区域明确分割出来，通过分析这个二值图像，可以获得电线的抓取点位信息。
9.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤4)中的通过绝缘物体引导机械臂运动到指定小孔位置进行插入，其具体为，通过绝缘物体引导机械臂运动到指定小孔位置进行插入的关键是根据绝缘物体的中心点坐标实时计算逆解，即，根据目标点位坐标求出机械臂各个关节需要转动的角度。
10.如权利要求要求9所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，考虑到不同机械臂关节角度的转动范围以及实际应用场景下的工作空间的区别，在第一次绝缘物体引导机械臂运动到指定小孔位置的过程中，将此次运动过程中机械臂末端运动点位记录下来，以便下次机械臂可以自行运动到指定小孔位置而不再需要重复的人为引导过程。
...【技术特征摘要】
1.一种带电作业场景下的机械臂抓取电线穿孔方法，包括机械臂、深度相机、电线和绝缘物体，其具体步骤如下所述：
2.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块由特征提取层、共享卷积层、池化层、relu激活函数、特征融合层以及跳跃连接组成，其中，特征提取层包括3次连续串行的卷积和池化操作，大小均为3x3，而特征融合层包括3路并行的卷积操作，每一路又包括3次卷积核大小相同的连续串行卷积操作，其中每一路并行卷积操作的卷积核大小分别为1x1、2x2和3x3。
3.如权利要求要求1或权利要求2所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标检测模块的具体操作为：
4.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤1)中的目标跟踪模块的具体操作为：
5.如权利要求要求1所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的步骤2)中的对机械臂、深度相机、电线以及绝缘物体的相对位置关系进行了相应的布置，其具体为，机械臂为可活动的多段式结构，其一端设置在固定平台处，另一端则设置有抓取电线的线夹，深度相机共有两处，一处设置在机械臂末端的抓取电线的线夹处的位置，用于观察及配合其抓取电线，而另一个深度相机则通过使用相机支架固定于机械臂运动范围之外的位置，该处的深度相机用于人工操作绝缘物体的位置来引导机械臂的运动。
6.如权利要求要求5所述的一种带电作业场景下的机械臂抓取电线穿孔方法，其特征在于，所述的设置在机械臂末端的抓取电线的线夹处的位置的深度相机，负责实时感知电线的位置和姿态信息，通过深度相机来防止带电场景下的电线存在的扭曲、变形或部分遮挡情况，准确获取电线的姿态信息，机械臂抓取电线的线夹根据实际情况进行适应性抓取，该深度相机通过深度传感技术可以获取电线的三维...
【专利技术属性】
技术研发人员：陈海宾，金淼，曹祎，王晋，童涛，殷小东，俞磊，张军，甄昊涵，卢冰，陈习文，汪泉，姜春阳，赵乾丞，王斯琪，王欢，王旭，聂高宁，杜博伦，周玮，余也凤，郭子娟，齐聪，付济良，郭鹏，高克俭，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。