一种基于视觉定位的煤矿井下机械臂抓取控制方法技术

本发明专利技术公开了一种基于视觉定位的煤矿井下机械臂抓取控制方法，包括钻杆装卸机械臂、加速度传感器、钻杆库、RGBD双目相机和数据处理中心；本发明专利技术将采集到的视觉图像导入基于MAE神经网络中，通过MAE自动掩码机制使得整个神经网络更加注重整体信息，从而实现图像增强的效果来在包含浮沉雾气等复杂背景中实现对钻杆的精准识别定位；通过将机械臂上的加速度传感器输出的机械臂抓取信息和基于MAE神经网络输出的位置信息输入基于GRU的神经网络，根据每次机械臂抓取的情况对位移与姿态进行自适应调整，使得机械臂在长期工作中能够始终保持良好的精度，提高工作效率。提高工作效率。提高工作效率。

【技术实现步骤摘要】
一种基于视觉定位的煤矿井下机械臂抓取控制方法


[0001]本专利技术涉及一种机械臂抓取定位系统，具体为一种基于视觉定位的煤矿井下机械臂抓取控制方法，属于煤矿开采


技术介绍

[0002]煤炭是人类主要使用的能源之一，我国的煤炭储存量大，在我国的能源消费结构中，煤碳消费量仍处于主体地位。击地压是一种特殊的矿山压力显现形式，在开采过程中因为冲击地压会产生许多危害，而且随着我国煤矿开采深度和强度的加大，冲击地压发生频次和破坏强度也不断增大，严重威胁煤矿的安全生产。钻孔卸压是预防冲击地压的有效方法，但是目前的卸压工作需要人员参与，劳动强度大、危险性高。实现钻孔卸压无人化作业愈发成为应对冲击地压灾害的重要措施。钻杆装卸作为钻孔卸压作业的关心流程，其无人化愈发成为应对冲击地压灾害的重要措施。
[0003]前传统的钻杆装卸通常选择将钻杆放置在固定位置，且需要人工操作钻杆装卸流程，从而导致钻杆装卸效率低下且具有一定的安全隐患。钻杆的准确定位和机械臂的运动精度将直接决定钻杆自动装卸的效率。
[0004]传统视觉定位已经应用在了众多其他工业领域，但其应用场合往往位于工业流水线上，工作环境稳定，工作背景简单，很容易实现较好的工业效果，但是因为井下雾气浮尘等特殊的工作环境，使得视觉系统在井下的应用很难达到理想精度，同时基于机械臂在运动过程中会不断累积定位误差，在长期作业后可能影响钻杆自动装卸流程，两者误差的不断叠加将直接影响钻孔泄压作业的安全性和工作效率。

技术实现思路

[0005]本专利技术的目的就在于为了解决上述至少一个技术问题而提供一种基于视觉定位的煤矿井下机械臂抓取控制方法，本专利技术提出了一种MAE
‑
GRU神经网络模型，利用MAE网络模型的实现在井下雾气浮尘等特殊的工作环境实现对钻杆的精准定位，同时将MAE网络模型输出的位置信息同加速度传感器输出的位置信息导入GRU网络模型，通过实时判断误差值与预先设定阈值的大小来对机械臂位姿进行实时纠正，从而实现钻杆装卸流程长时间高精度作业。
[0006]本专利技术通过以下技术方案来实现上述目的：一种基于视觉定位的煤矿井下机械臂抓取控制方法，包括
[0007]钻杆装卸机械臂，其为六轴机械臂，且所述钻杆装卸机械臂的后端通过旋转底座与防冲钻孔机器人连接，所述钻杆装卸机械臂的前端设有用于装卸钻杆的抓手；
[0008]加速度传感器，其通过获取机械臂的横滚角、俯仰角、角速度以及加速度的姿态参数，以解算出机械臂的实际位置，为机械臂误差校准提供数据，所述加速度传感器设置有若干个，并分别安装的所述钻杆装卸机械臂每节的两侧，每一节所述钻杆装卸机械臂的机械臂上的两个加速度传感器通过相互抵消误差的影响以提高输出信号的信噪比；
[0009]钻杆库，其固定于防冲钻孔机器人上用于存放钻杆，且所述钻杆库位于钻杆装卸机械臂的前侧；
[0010]RGBD双目相机，用于采集实时视频数据，并独立于所述钻杆装卸机械臂设置，所述RGBD双目相机安装于钻杆库上方，且RGBD双目相机的最佳视角完全覆盖钻杆库；
[0011]数据处理中心，其基于FPGA的运算单元实现对视频流数据的流水线处理和并行计算，并通过接收RGBD双目相机所采集的实时视频数据来获取钻杆空间位置信息，所述数据处理中心包括完成MAE和GRU神经网络的预训练和实际工作时的计算，所述数据处理中心的MAE神经网络具体包括编码器、解码器、定位算法，所述数据处理中心的GRU神经网络具体包括输入，重置门，更新门，候选记忆和输出；
[0012]所述数据处理中心具体调节方法包括以下步骤：
[0013]步骤S1：搭建基于MAE
‑
GRU神经网络：将Transformer和GRU两个模块耦合在一起；
[0014]步骤S2：基于MAE的神经网络预训练：多次采集某一时刻RGBD双目相机的井下视频数据，视频帧数默认取30帧，分辨率为1080
×
720，将采集的视频制作成样本集导入到基于MAE的神经网络中完成模型预训练；
[0015]步骤S3：将采集的RGBD视频流传输到数据处理中心，通过基于MAE的神经网络输出视觉定位的钻杆空间位置信息并制作样本集，通过输入样本数据得到一个GRU神经网络；
[0016]步骤S4：将包含钻杆空间位置信息的样本集导入搭建好的GRU神经网络，设置误差阈值T；
[0017]步骤S5：在t时刻，将实时采集的RGBD输入基于MAE的神经网络中，完成图像增强并输出钻杆的三维坐标信息S1，机械臂根据钻杆的三维坐标信息S1数进行抓取操作；
[0018]步骤S6：根据加速度传感器反馈的数字信号反向解算出机械臂完成抓取任务时的三维坐标信息S2；
[0019]步骤S7：将视觉定位的钻杆的三维坐标信息S1和机械臂抓取时的三维坐标信息S2作差，取得此时的误差值T
t
，同时将此时GRU网络的误差输出X
t
设置为误差值T
t
，先将误差输出X
t
和设置的误差阙值T进行比较，若误差值小于所设误差阈值，继续采集下一次抓取时刻t+1的误差数据T
t+1
，将T
t+1
与之前产生的误差进行误差累计获得累积误差输出X
t+1
，将所获得的误差输出X
t+1
与所设置的误差阙值T进行比较；
[0020]步骤S8：重复步骤S4，直至所产生的累积误差输出X
t+n
大于所设误差阈值T，则结束该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影响，机械臂在工作过程中产生的误差会不断累积，通过设置误差阈值使得误差始终保持在不影响钻杆抓取操作的范围内。
[0021]作为本专利技术再进一步的方案：构成所述数据处理中心MAE神经网络的编码器结构具体包括：
[0022]①
将RGBD双目相机采集的井下视频数据转换为图片并制作样本集，将输入的图片按60*60划分成块，设置掩码率75％；
[0023]②
给每一个图像块增加其对应的位置信息后组成向量，使用线性变换矩阵对向量进行线性映射；
[0024]③
将向量序列随机打乱后，去掉最后一个元素，此时取向量前25％的元素，前25％的元素同时保留其对应的位置信息和特征信息，后75％的元素仅保留对应的位置信息后进
行掩码操作；
[0025]④
获得向量信息后将其传入Transformer Encoder进行特征提取。
[0026]作为本专利技术再进一步的方案：构成所述数据处理中心MAE神经网络的解码器结构具体包括：
[0027]①
通过线性投影，将编码器输出维度转换为解码器输入维度；
[0028]②
通过Reshuffle将之前随机打乱的图片向量恢复到原来的顺序，更新其位置信息的向量；
[0029]③
获得向量信息后将其传入T本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征在于：包括钻杆装卸机械臂(1)，其为六轴机械臂，且所述钻杆装卸机械臂(1)的后端通过旋转底座与防冲钻孔机器人连接，所述钻杆装卸机械臂(1)的前端设有用于装卸钻杆的抓手；加速度传感器(2)，其通过获取机械臂的横滚角、俯仰角、角速度以及加速度的姿态参数，以解算出机械臂的实际位置，为机械臂误差校准提供数据，所述加速度传感器(2)设置有若干个，并分别安装的所述钻杆装卸机械臂(1)每节的两侧，每一节所述钻杆装卸机械臂(1)的机械臂上的两个加速度传感器(2)通过相互抵消误差的影响以提高输出信号的信噪比；钻杆库(4)，其固定于防冲钻孔机器人上用于存放钻杆，且所述钻杆库(4)位于钻杆装卸机械臂(1)的前侧；RGBD双目相机(3)，用于采集实时视频数据，并独立于所述钻杆装卸机械臂(1)设置，所述RGBD双目相机(3)安装于钻杆库(4)上方，且RGBD双目相机(3)的最佳视角完全覆盖钻杆库(4)；数据处理中心，其基于FPGA的运算单元实现对视频流数据的流水线处理和并行计算，并通过接收RGBD双目相机(3)所采集的实时视频数据来获取钻杆空间位置信息，所述数据处理中心包括完成MAE和GRU神经网络的预训练和实际工作时的计算，所述数据处理中心的MAE神经网络具体包括编码器、解码器、定位算法，所述数据处理中心的GRU神经网络具体包括输入，重置门，更新门，候选记忆和输出；所述数据处理中心调节方法包括以下步骤：步骤S1：搭建基于MAE
‑
GRU神经网络：将Transformer和GRU两个模块耦合在一起；步骤S2：基于MAE的神经网络预训练：多次采集某一时刻RGBD双目相机(2)的井下视频数据，视频帧数默认取30帧，分辨率为1080
×
720，将采集的视频制作成样本集导入到基于MAE的神经网络中完成模型预训练；步骤S3：将采集的RGBD视频流传输到数据处理中心，通过基于MAE的神经网络输出视觉定位的钻杆空间位置信息并制作样本集，通过输入样本数据得到一个GRU神经网络；步骤S4：将包含钻杆空间位置信息的样本集导入搭建好的GRU神经网络，设置误差阈值T；步骤S5：在t时刻，将实时采集的RGBD输入基于MAE的神经网络中，完成图像增强并输出钻杆的三维坐标信息S1，机械臂根据钻杆的三维坐标信息S1数进行抓取操作；步骤S6：根据加速度传感器(2)反馈的数字信号反向解算出机械臂完成抓取任务时的三维坐标信息S2；步骤S7：将视觉定位的钻杆的三维坐标信息S1和机械臂抓取时的三维坐标信息S2作差，取得此时的误差值T
t
，同时将此时GRU网络的误差输出X
t
设置为误差值T
t
，先将误差输出X
t
和设置的误差阙值T进行比较，若误差值小于所设误差阈值，继续采集下一次抓取时刻t+1的误差数据T
t+1
，将T
t+1
与之前产生的误差进行误差累计获得累积误差输出X
t+1
，将所获得的误差输出X
t+1
与所设置的误差阙值T进行比较；步骤S8：重复步骤S4，直至所产生的累积误差输出X
t+n
大于所设误差阈值T，则结束该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影响，机械臂在工作过程中产生的误差会不断累积，通过设置误差阈值使得误差始终保持在不影响
钻杆抓取操作的范围内。2.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征在于：构成所述数据处理中心MAE神经网络的编码器结构具体包括：
①
将RGBD双目相机(2)采集的井下视频数据转换为图片并制作样本集，将输入的图片按60*60划分成块，设置掩码率75％；
②
给每一个图像块增加其对应的位置信息后组成向量，使用线性变换矩阵对向量进行线性映射；
③
将向量序列随机打乱后，去掉最后一个元素，此时取向量前25％的元素，前25％的元素同时保留其对应的位置信息和特征信息，后75％的元素仅保留对应的位置信息后进行掩码操作；
④
获得向量信息后将其传入Transformer Encoder进行特征提取。3.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征在于：构成所述数据处理中心MAE神经网络的解码器结构具体包括：
①
通过线性投影，将编码器输出维度转换为解码器输入维度；
②
通过Reshuffle将之前随机打乱的图片向...

【专利技术属性】
技术研发人员：刘新华，贺之彬，华德正，康明霞，张忠森，格热戈尔茨，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：