本发明专利技术提出了一种基于双目视觉的实训平台快速安装调试方法，包括如下步骤：双目立体视觉快速标定；利用改进的轻量化yolo v5网络对实训平台上各个模块进行定位，并利用立体匹配方法获取目标区域的点云；实训平台各个模块的点云配准；针对基准实训平台的各个模块的位置进行误差调试。通过双目立体视觉定位系统对实训平台各个模块进行高精度快速识别和定位得出实训平台上各个模块的三维位姿信息，并对调试过程中的各个模块进行实时位置纠偏信息反馈，指导调试人员的安装误差，从而提高实训平台的调试效率、缩短调试时间、降低调试成本、达到快速出货的目的。达到快速出货的目的。达到快速出货的目的。
【技术实现步骤摘要】
一种基于双目立体视觉的实训平台快速调试方法
[0001]本专利技术涉及计算机
，具体涉及一种基于双目立体视觉的实训平台快速调试方法。
技术介绍
[0002]随着智能制造产业的快速发展，产线需要更多机器人调试操作员工，高等职业院校、社会实训机构等需要大量的实训平台设备来训练这些企业员工。实训平台模块较多，在生产过程中，由于各个模块相对位置组装不精准导致调试周期较长，无法将机器人预制程序或者PLC预制程序直接拷入平台进行直接运行。
[0003]因此调试各个模块的安装位置至关重要，现有的调试方法主要有几种：一是调试工程师使用尺子测量各个模块的位置，这种方法时间长、精度低，且调试效果由于调试工程师的个体差异具有较大差别。
[0004]二是通过单目机器视觉进行调试，但单目机器视觉只能解决平面上各个模块的平移和旋转问题，无法得到各个模块整体三维位姿的偏移误差，而且由于景深问题，如果各个模块距离单目相机高低差别很大的话，单目相机无法进行精准成像，从而定位不准确。
[0005]三是通过双目视觉进行定位调试，现有双目视觉定位主要还是对单一物体的定位，当应用在具有多个模块的实训平台上时，会由于模块之间互相遮挡导致定位不准确从而影响调试结果。
技术实现思路
[0006]针对现有技术的不足，本专利技术提出一种基于双目视觉的实训平台快速安装调试方法，能够快速对实训平台各个模块进行高精度快速识别并定位得出实训平台上各个模块的三维位姿信息，对调试过程中的各个模块进行实时位置纠偏信息反馈，指导调试人员的安装误差，从而提高实训平台调试效率、缩短调试时间、降低调试成本。
[0007]本专利技术的技术方案是这样实现的：一种基于双目立体视觉的实训平台快速调试方法，包括以下步骤：双目标定，对双目视觉系统中的单目相机相对位置进行标定矫正；在Yolo v5网络中加入双注意力模型，设计轻量化Yolo v5网络；制作实训平台模块位置数据集，所述模块位置数据集包括通过双目视觉系统拍摄的实训平台的第一特征图和第二特征图；将所述实训平台模块位置数据集输入所述轻量化Yolo v5网络，定位所述实训平台上各个模块的目标区域；通过立体匹配方法对所述目标区域进行特征点提取操作，以获取第一特征点集和第二特征点集；通过欧氏距离匹配操作对第一特征点集和第二特征点集进行特征点匹配，从而得到匹配点对，对所述匹配点对进行极性约束判定；
根据三角成像原理，使用特征匹配点对计算公式则可计算出所述目标区域的待配点云；对所述待配点云进行点云配准操作，配准后的点云与预设置的模板点云对比，获取各个安装模块的偏移误差，将所述偏移误差导入可视化软件中，以输出指导调试信息。
[0008]优选地，所述双目标定中，还包括所述双目视觉系统中的左、右单目相机拍摄一系列棋盘格标定板图像并拟合出左、右单目相机的内部参数和外部参数；所述双目视觉系统中的左、右单目相机拍摄一系列棋盘格标定板图像；用Harris角点检测方法寻找所述棋盘格标定板图像中的角点信息；根据所述角点信息拟合出左、右单目相机的内部参数和外部参数；将所述左、右单目相机采集到的图像通过内参矩阵进行相机坐标转换，通过旋转矩阵相乘，得到所述左、右单目相机新的坐标系。通过左右相机的去畸变操作对左右相机进行畸变矫正，并对图像进行左、右单目相机的极线验证。
[0009]优选地，所述双注意力模型包括通道注意力模块以及位置注意力模块；将所述双注意力模型加入Yolo v5网络的backbone和neck中，以获得所述轻量化Yolo v5网络。
[0010]优选地，使用截断ICP方法对所述待配点云进行配准操作，所述待配点云呈升序排列并取前半的所述待配点云最小；利用截断率来选择符合要求的匹配点对；利用广义最小二乘法来解匹配点集之间的刚体变换；利用所述刚体变换更新所述截断率；利用更新后的截断率选择符合要求的匹配点对。
[0011]优选地，截断ICP求解刚性变换的步骤包括构建残差度量函数；利用K
‑
D树加速遍历求出所述模板点云和所述待配点云的最邻近点对；利用截断系数求出满足要求的最邻近点对；使用SVD法根据满足要求的最邻近点对求出刚性变换。
[0012]优选地，所述立体匹配方法为通过SURF特征点算子进在所述目标区域进行搜索，以获得所述第一特征点集和第二特征点集。
[0013]优选地，所述设计轻量化Yolo v5网络包括采集实训平台俯视样本图数据集构建样本数据集，通过所述样本数据集训练所述轻量化Yolo v5网络。
[0014]优选地，所述通道注意力模块为是一个Residual+Attention的结构，对特征图A分别做Reshape与Transpose，分别得到特征图R1和特征图RT1，将特征图R1和特征图RT1相乘通过softmax得到通道注意力特征图X，将特征图X和特征图A进行乘积再乘尺度系数再将其进行Reshape，变为原来的形状，最后与特征图A相加得到输出特征图E。
[0015]优选地，所述位置注意力模块是一个Residual+Attention的结构，特征图A分别通过3个卷积核进行卷积得到3个特征图B、特征图C、特征图D，然后将特征图B进行Reshape和Transpose与特征图C 进行Reshape后的矩阵进行乘积，并进行softmax得到特征图S，把特征图S与特征图D进行 Reshape后的矩阵进行乘积再乘尺度系数后进行Reshape，变为原来的形状，最后与特征图A相加得到最后的输出特征图E。
[0016]优选地，所述实训平台模块位置数据集包括：拍摄所述模块的随机摆放位置的照片；以及拍摄所述实训平台上机器人采取不同姿态的照片。
[0017]与现有技术相比，本专利技术具有以下优点。
[0018]本专利技术通过双目视觉系统对实训平台上各个模块进行高精度快速识别，并通过 Yolo v5 网络进行模块的定位，并进行点云生成、点云配准等操作，得出实训平台上各个模块的三维位姿信息，通过该信息与基准版本的三维位姿信息对比，输出用于纠偏的各个模块的指导调试信息，便于调试人员调整，从而提高实训平台的调试效率、缩短调试时间、降低调试成本。
[0019]由于实训平台上模块种类繁多，各个模块之间经常存在遮挡问题，为使得目标特征提取更加准确，在定位各个模块时，使用轻量化Yolo v5网络在yolov5模型中添加双注意力模块以解决遮挡问题，物体位置信息在具有遮挡的情况下依然保证底层特征信息不丢失，在不加重网络计算量的同时依然保证推理速度和准确性。
附图说明
[0020]为了更清楚地说明本专利技术实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术一种基于双目立体视觉的实训平台快速调试方法的流程示意图；图2为本专利技术实施方式中轻量化Yolo v本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双目立体视觉的实训平台快速调试方法，其特征在于，包括以下步骤：双目标定，对双目视觉系统中的单目相机相对位置进行标定矫正；在Yolo v5网络中加入双注意力模型，设计轻量化Yolo v5网络；制作实训平台模块位置数据集，所述模块位置数据集包括通过双目视觉系统拍摄的实训平台的第一特征图和第二特征图；将所述实训平台模块位置数据集输入所述轻量化Yolo v5网络，定位所述实训平台上各个模块的目标区域；通过立体匹配方法对所述目标区域进行特征点提取操作，以获取第一特征点集和第二特征点集；通过欧氏距离匹配操作对第一特征点集和第二特征点集进行特征点匹配，从而得到匹配点对，对所述匹配点对进行极性约束判定；根据三角成像原理，使用特征匹配点对计算公式计算出所述目标区域的待配点云；对所述待配点云进行点云配准操作，配准后的点云与预设置的模板点云对比，获取各个安装模块的偏移误差，将所述偏移误差导入可视化软件中，以输出指导调试信息。2.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法，其特征在于，所述双目标定中，还包括：所述双目视觉系统中的左、右单目相机拍摄一系列棋盘格标定板图像；用Harris角点检测方法寻找所述棋盘格标定板图像中的角点信息；根据所述角点信息拟合出左、右单目相机的内部参数和外部参数；将所述左、右单目相机采集到的图像通过内参矩阵进行相机坐标转换，通过旋转矩阵相乘，得到所述左、右单目相机新的坐标系，通过左右相机的去畸变操作对左右相机进行畸变矫正，并对图像进行左、右单目相机的极线验证。3.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法，其特征在于：所述双注意力模型包括通道注意力模块以及位置注意力模块；将所述双注意力模型加入Yolo v5网络的backbone和neck中，以获得所述轻量化Yolo v5网络。4.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法，其特征在于：使用截断ICP方法对所述待配点云进行配准操作，所述待配点云呈升序排列并取前半的所述待配点云最小；利用截断率来选择符合要求的匹配点对；利用广义最小二乘法来解匹配点集之间的刚体变换；利用所述刚体变换更新所述截断率；利用更新后的截断率选择...
【专利技术属性】
技术研发人员：李博，郑泽胜，朱万锦，杨丹媚，
申请(专利权)人：广州易道智慧信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。