【技术实现步骤摘要】
复杂光照条件下基于视触融合的机械臂自主移动抓取方法
[0001]本专利技术属于机器人控制
，具体涉及复杂光照条件下基于视触融合的机械臂自主移动抓取方法。
技术介绍
[0002]近年来，随着传感器技术、导航技术及深度学习技术的快速发展，机器人技术也取得了长足的进步，其中移动机械臂技术也逐渐广泛应用在自动巡检、农业采摘、仓储分拣等领域。移动机械臂具有自主导航、自主作业能力，相比传统的工业机械臂有更高的灵活性和机动性，能在复杂环境中代替人类自主完成一定的任务。
[0003]在相关技术中，难点往往在于目标物体的识别与定位；近几年深度学习得到了快速的发展，涌现出越来越多轻量级、鲁棒性强、分类性能优秀的网络模型。一般在拥有足够的训练样本的情况下，容易获得满足作业要求的网络结构，但是性能依旧会受到使用场景的环境影响，尤其是光照条件。而在后续的作业中，场景环境变化可能较大，同时需要较为精准的目标物体定位，以便进行进一步的操作，如抓取目标物体、旋转开关、分合闸刀等。因此如何复杂光照条件下准确获得目标物体的实际空间位置进行精准操作...
【技术保护点】
【技术特征摘要】
1.复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其特征在于：在复杂光照条件下，融合基于视觉的可见光与深度信息和物体的触觉信息，完成从对物体模糊识别到精度识别抓取的过程，其具体步骤为：步骤S1：在复杂光照条件下，引入受光照变化影响小的深度信息，结合可见光信息，识别目标物体的大致位置，发送控制指令；步骤S2：移动平台接收到指令后，并将物体的坐标系转到所述移动平台坐标系，移动平台导航到目标物体附近；步骤S3：再次启动移动平台上的深度相机获取目标物体的位姿信息，并将物体的坐标转到机械臂基坐标系，控制机械臂移动到目标物体附近；步骤S4：启动机械臂末端的深度相机获取目标物体的位姿信息，并将物体的坐标系转到机械臂基坐标系，控制机械臂移动到目标点；步骤S5：根据机械臂末端六维力传感器与外界环境的接触力信息，调整机械臂位姿；步骤S6：利用机械爪指尖的传感器采集触觉信息，融合视觉信息选取目标物体的最佳抓取位姿，并判定最佳的抓取力；步骤S7：根据确定的抓取位姿与抓取力，完成对目标物体的精度抓取。2.根据权利要求1所述的复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其特征在于，所述步骤S1、S2、S3、S4中获取目标物体的位姿信息包括以下步骤：(a)将所获深度帧依次进行抽取滤波、空间滤波、时间滤波、孔填充过滤，提高深度数据质量并降低噪声水平，所获深度帧根据红外立体声原理获得，能有效降低光照的影响；(b)将深度相机所获得深度图像I
Depth
与彩色图像I
RGB
对齐；(c)利用轻量级神经网络获得预选取物体的类别与区域ROI；(d)提取深度图像I
Depth
ROI区域深度信息特征获得深度显著图D
S
；(e)提取可见光图像I
Visual
亮度与纹理特征获得可见光显著图V
S
；(f)将D
S
、V
S
加权获得融合的显著性图，突出目标区域并减弱光照的影响；加权获得融合的显著性图，突出目标区域并减弱光照的影响；为可见光图像对应区域内基于亮度的区域显著度、为深度图像对应区域内基于深度的区域显著度；(g)根据获得显著性图再次对目标物体进行精准分割和定位，获取图像质心坐标；(h)将所获二维质心坐标转为实际的三维空间坐标，其转换公式如下：(h)将所获二维质心坐标转为实际的三维空间坐标，其转换公式如下：(h)将所获二维质心坐标转为实际的三维空间坐标，其转换公式如下：
f
x
,f
y
表示图像的焦距，ppx,ppy为投影中心的坐标，为目标点的三维坐标、C
x
、C
y
为质心的横纵坐标。3.根据权利要求1所述的复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其特征在于，所述步骤S5利用六维力传感器测量机械臂与环境的接触力，通过误差计算修正调整机械臂末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳。4.根据权利要求1所述的复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其特征在于，所述步骤6采用3个24维电容式传感器阵列采集触觉信息，并融合视觉信息判断物体最佳抓取点与抓取力大...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。