【技术实现步骤摘要】
本专利技术涉及一种基于双目视觉的金具识别与定位方法，属于双目视觉定位。
技术介绍
1、由于国家电网建设的推进，以金具为代表的配电网部件大修的数量增加，加上地理环境复杂、天气情况多变等原因，这使得以往人工维修的方式越来越危险，人力维修已无法适应当前的复杂条件。在传统的配网作业中，操作人员使用高压作业工具与设备接触，不仅劳动量大、危害系数高、工作条件较差，还容易造成人身事故。所以，为了进一步提高供电安全性和带电作业效益，保障作业人员的安全，降低工作强度，提升带电作业的智能化程度，开发一自动识别金具并实现定位的方法有着非常重大的价值。
2、双目视觉作为机器视觉一个重要的组成部分，近年来发展迅速。通过双目相机采集包含特定目标的二维图像，然后使用人工智能技术和图像处理技术对图像信息进行分析处理，从而获得目标的类别信息、轮廓信息等，最后通过左右两幅图像的像素匹配关系与三角测量原理，计算出目标的三维空间信息。这样，便实现了基于双目视觉系统的目标定位。
技术实现思路
1、为了解决现有技术存在的问题，本专利技术提供一种基于双目视觉的金具识别与定位方法，能够自动识别并定位金具的位姿状态，极大地提高了作业效率。。
2、本专利技术所要解决的技术问题是通过以下技术方案实现的：
3、第一方面，本专利技术提供一种基于双目视觉的金具识别方法，包括以下步骤：
4、a、双目相机采集金具图像，并对双目图像进行图像预处理。
5、b、预处理图像，进行畸变校正，消除
6、c、利用校正后的图像，输入到mask rcnn网络中进行识别与分割，输出二值化掩膜结果。
7、结合第一方面，进一步的，所述对双目图像进行图像处理包括：
8、自然环境下金具易受到强光照射，采用直方图均衡化算法提升图像的对比度，使得像素值均匀分布；
9、采用图像锐化方法，加强图像中识别目标的边缘与轮廓细节。
10、结合第一方面，进一步的，所述将校正后的图像，输入到mask rcnn网络中进行识别与分割，输出二值化掩膜结果。包括：
11、将金具的彩色图像输入mask rcnn网络进行特征提取，其中mask rcnn网络的主干网络采用resnet50网络，resnet50网络生成五个特征层，将其中的三到五层作为fpn层的输入，通过经过fpn层获取特征图后得到金具候选框以及其对应的掩膜置信度。选取置信度0.5作为二值化掩膜的阈值。
12、第二方面，本专利技术提供一种基于双目视觉的金具定位方法，包括以下步骤：
13、a、利用二值化后的金具掩膜轮廓提取同一平面的3个关键点与极线匹配。
14、b、利用上述匹配后的关键点坐标分别转换到相机坐标系下的三维坐标。
15、c、利用上述的三维坐标确定金具所在平面，并根据金具的机械尺寸进行建模，获取金具在空间中的位姿状态。
16、结合第二方面，进一步的，利用二值化后的金具掩膜轮廓提取同一平面的3个关键点与极线匹配。包括：
17、根据金具的形态特征，分别提取金具的左、右、下方边界线点集；
18、提取左右边界线点集的方法为：提取金具掩膜轮廓的最小外接矩形，根据最小外接矩形顶点和掩膜重心像素点之间的关系可以判断金具目标在图像中的位置形态，即确定了固定的扫描起始点位置。然后便可以按照最小外接矩形的宽和高所表示的方向向量逐像素扫描金具轮廓的二值图像，当像素点出现0到255或者255到0的跳变时即可将发生跳变的像素点坐标作为左右边界线点集；
19、提取下方边界线点集的方法为：采用与步骤s42相垂直的方向逐像素扫描金具轮廓的二值图像，当像素点出现0到255或者255到0的跳变时即可将发生跳变的像素点坐标作为下边界线点集；
20、当金具的4个顶点区域存在少量遮挡时，上述步骤仍然适用；
21、过滤上述步骤提取的点集中误提取的点；
22、采用最小二乘法通过左、右、下方的点集分别拟合直线，拟合直线方程为：
23、
24、i的取值范围为1，2，3，直线方程yl_i、yr_j分别代表了双目左右图中一个金具目标轮廓的三条边界线(顺序为左右下)，根据拟合的直线方程来计算关键点坐标。选取双目左图金具较短的左边界线的中点为关键点pl1，较长的右边界线的三分之一点为关键点pl2，下边界线与右边界线的交点为关键点pl3。
25、基于极线约束的原理来计算右图中金具目标的对应关键点pr1、pr2，而关键点pr3则是通过求解边界线的交点来获得的。
26、结合第二方面，进一步的，利用上述的三维坐标确定金具所在平面，并根据金具的机械尺寸进行建模，获取金具在空间中的位姿状态。包括：
27、已知转换后的金具关键点三维坐标p1、p2、p3位于同一平面上，可根据点法式方程求解法向量和该平面的平面方程。再根据金具的机械尺寸求解金具各角点的坐标，以及与该平面平行的另一个面上关键点的三维坐标，从而实现对金具的建模，获取金具在空间中的位姿状态。
本文档来自技高网...【技术保护点】
1.一种基于双目视觉的金具识别与定位方法，其特征在于，为了减小复杂环境的干扰，在金具左、右、下方贴上白边，使用双目相机识别金具并定位金具的关键点坐标，获取金具在空间中的位姿状态；
2.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于：
3.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于；
4.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于：
5.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于：
6.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于：
【技术特征摘要】
1.一种基于双目视觉的金具识别与定位方法，其特征在于，为了减小复杂环境的干扰，在金具左、右、下方贴上白边，使用双目相机识别金具并定位金具的关键点坐标，获取金具在空间中的位姿状态；
2.根据权利要求1所述的一种基于双目视觉的金具识别与定位方法，其特征在于：
3.根据权利要求1所述的一种基...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。