一种多目融合的图像语义目标检测方法及系统技术方案

本发明专利技术公开了一种多目融合的图像语义目标检测方法及系统，包括：对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；将所述机器人作业目标的图像分别输入到训练好的图像语义分割模型，得到左右目图像中不同设备的轮廓信息；分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。本发明专利技术实现作业目标的像素级分割与身份识别，基于神经网络的图像语义分割模型识别目标的三维位置，进一步利用机械臂上的摄像机提取更加精确的目标位置，实现机械臂的精准作业。业。业。

【技术实现步骤摘要】
一种多目融合的图像语义目标检测方法及系统


[0001]本专利技术涉及电力巡检机器人目标检测
，尤其涉及一种多目融合的图像语义目标检测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]自上世纪七十年代起，国内外先后开展了电力机器人的研究，在发电、输电、变电、配电、用电领域，均有相关成果，尤其是在变电领域，变电站巡检机器人、室内轨道巡检机器人等已经大规模推广应用，有力保障了电网设备安全稳定运行。随着电力机器人持续深化应用，暴露了机器人在应用过程中智能化程度弱、环境适应性差、作业能力低等问题，亟需突破机器人精准作业关键机器人，研制作业目标精确定位、机械臂作业精确控制的作业机器人系统，构建安全高效的电力设备智能运检体系。
[0004]现有技术中，电力机器人普遍存在如下技术问题：
[0005](1)机器人携带机械臂进行作业，大多基于双目视觉的作业伺服系统指导机械臂进行工作，这种机械臂作业系统由于受到双目图像设备定位精度、机械误差的影响，导致机械臂末端停靠位置与实际作业位置产生误差，影响机械臂作业的质量。
[0006](2)传统的双目视觉伺服系统未获得图像中设备的语义信息，通常依靠设备类型及结构等先验信息确认待作业设备的类型。对于图像中占比较小的目标，采用单一的左右目图像立体匹配进行目标三维重建，影响小目标最终的空间定位精度。

技术实现思路

[0007]有鉴于此，本专利技术提出了一种多目融合的图像语义目标检测方法及系统，构建作业机器人多目视觉与多传感器融合的空间作业感知体系，开发多特征目标视觉伺服系统，提升作业空间中目标的定位精度，实现机器人对作业场景的全面感知与精准作业。
[0008]根据本专利技术实施例的第一个方面，公开了一种多目融合的图像语义目标检测方法，包括：
[0009]对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
[0010]将所述机器人作业目标的图像分别输入到训练好的图像语义分割模型，得到左右目图像中不同设备的轮廓信息；
[0011]分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
[0012]作为进一步地方案，还包括：机器人对所述目标进行作业时，控制机械臂末端到达所述目标位置处，利用随臂移动的摄像机获取所述目标的图像信息，采用颜色、纹理、边缘多图像特征检测方法进行目标中心点、边缘信息的检测，得到机械臂末端作业的精确位置。
[0013]作为进一步地方案，还包括：在对当前目标执行作业任务的同时，获取下一个目标
的三维坐标信息，以在当前目标作业完成后，直接进行下一个目标的作业任务。
[0014]作为进一步地方案，机器人的机械臂末端设有压力传感器和超声雷达传感器，以避免机械臂与设备碰触，确保机械臂末端对目标作用力效果。
[0015]根据本专利技术实施例的第二个方面，公开了一种多目融合的图像语义目标检测系统，包括：
[0016]图像获取模块，用于对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
[0017]设备轮廓提取模块，用于将所述机器人作业目标的图像分别输入到训练好的图像语义分割模型，得到左右目图像中不同设备的轮廓信息；
[0018]目标位置计算模块，用于分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
[0019]根据本专利技术实施例的第三个方面，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的多目融合的图像语义目标检测方法。
[0020]根据本专利技术实施例的第四个方面，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的多目融合的图像语义目标检测方法。
[0021]与现有技术相比，本专利技术的有益效果是：
[0022](1)本专利技术创新性提出多目融合的图像语义目标检测算法，构建多目视觉与多传感器融合的空间作业感知体系，基于神经网络的图像语义分割模型识别目标的三维位置，进一步利用机械臂上的摄像机提取更加精确的目标位置，解决了机械臂作业系统由于受到双目图像设备定位精度的影响存在作业位置偏差的问题，实现了作业目标的像素级分割与身份识别，提升了作业空间中目标的定位精度，避免了小目标空间定位精度不高对机械臂作业位置的影响。
[0023](2)本专利技术构建多目视觉与多传感器融合的空间作业感知体系，开发多特征目标视觉伺服系统，提升作业空间中目标的定位精度，实现机器人对作业场景的全面感知与精准作业。
[0024](3)本专利技术创新性提出基于分类类别权重系数的主导训练类别确定方法，构建图像语义分割模型，增加代表某类的权重因子和代表指定某类的类别编号两个参数来确定类别和当前类别的系数，通过系数来控制当前类别在反向传播中的重要性，解决了不平衡样本会导致训练模型轻视样本数目较少的类别的问题，实现不平衡样本下的精确训练，提升了图像语义分割模型的识别准确度，避免了不平衡样本的训练过程对检测结果的影响。
[0025]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0026]图1为根据本专利技术实施例中的多目融合的图像语义目标检测方法流程图。
具体实施方式
[0027]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0028]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0029]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0030]实施例一
[0031]根据本专利技术实施例，提供了一种多目融合的图像语义目标检测方法，参照图1，包括如下步骤：
[0032]步骤S101：对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
[0033]具体地，利用黑白棋盘作为标定模板，对双面相机进行标定，首先对左右目图像进行畸变校正与单目标定，然后利用单目标定的外参数计算得到双目相机的外参数，即左右相机相互间旋转矩阵和平移矩阵。
[0034]步骤S102：将所述机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目融合的图像语义目标检测方法，其特征在于，包括：对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；将所述机器人作业目标的图像分别输入到训练好的图像语义分割模型，得到左右目图像中不同设备的轮廓信息；分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。2.如权利要求1所述的一种多目融合的图像语义目标检测方法，其特征在于，还包括：机器人对所述目标进行作业时，控制机械臂末端到达所述目标位置处，利用随臂移动的摄像机获取所述目标的图像信息，采用颜色、纹理、边缘多图像特征检测方法进行目标中心点、边缘信息的检测，得到机械臂末端作业的精确位置。3.如权利要求2所述的一种多目融合的图像语义目标检测方法，其特征在于，还包括：在对当前目标执行作业任务的同时，获取下一个目标的三维坐标信息，以在当前目标作业完成后，直接进行下一个目标的作业任务。4.如权利要求1所述的一种多目融合的图像语义目标检测方法，其特征在于，对双目相机参数进行标定，具体包括：用黑白棋盘作为标定模板，对双面相机进行标定，首先对左右目图像进行畸变校正与单目标定，然后利用单目标定的外参数计算得到双目相机的外参数，即左右相机相互间旋转矩阵和平移矩阵。5.如权利要求1所述的一种多目融合的图像语义目标检测方法，其特征在于，对于图像语义分割模型的训练过程包括：构建目标图像样本库；利用样本库图像构建不同目标的训练集，并采用基于MaskRcnn的图像语义分割算法训练得到目标语义分割模型，以实现图像中不同目标的分割，得到目标轮廓与类别信息。6.如权利要求5所述的一种多目融合的图像语义目标检测方法，其特征在于，所述构建目标图像样本库的过程具体包括：利用双目相机获取机器人作业目标的图像，利用...

【专利技术属性】
技术研发人员：张召峰，亓鹏，孙庆森，武同宝，刘焕聚，谢雨濛，张旭，王万国，王振利，刘斌，
申请(专利权)人：国网智能科技股份有限公司，
类型：发明
国别省市：