一种基于力传感器感知与补偿的不规则物体堆叠方法技术

本发明专利技术公开了一种基于力传感器感知与补偿的不规则物体堆叠方法，包括以下步骤：1、机器人移到抓取区域，手眼相机获取场景点云；2、利用颜色阈值分割法和轮廓检测算法，获得最大物体点云；3、对步骤2的最大物体点云进行抓取规划，机器人执行抓取动作；4、机器人携带物体运行辨识轨迹，记录六维力传感器数据以及TCP数据；5、运行负载位置辨识算法，得到负载质心在夹爪坐标系中的位置；6、机器人移到堆叠区域，手眼相机获取场景高度图，获取最高区域中心坐标；7、向步骤6的最高区域中心坐标补偿负载质心位置，机器人运行到补偿后的堆叠位置；8、重复步骤1到步骤7，直至抓取场景中没有目标物体为止。本发明专利技术可实现不规则物体的稳定堆叠。叠。叠。

【技术实现步骤摘要】
一种基于力传感器感知与补偿的不规则物体堆叠方法


[0001]本专利技术涉及物体堆叠
，尤其涉及一种基于力传感器感知与补偿的不规则物体堆叠方法。

技术介绍

[0002]设施建造是一项复杂且多步骤的机器人操控任务，包含机器人抓取，规划和控制等多个内容。地外天体探测是人类对月球及更远的天体或空间环境开展的探测活动。复杂环境下利用不规则自然物体进行堆叠建造是天体探测的关键任务之一。另外，近些年来，对安全、廉价和可持续建筑的需求日益增长，使得机器人进行设施建造成为一个活跃的研究领域。开发一种自动建造方法，环境是沙地这种无人场景，操控的物体是形状不规则的石块。机器人进行自动堆叠建造设施，可以用于地外或施工现场等非结构化环境。
[0003]目前，现有的物体堆叠建造工作大部分集中在物品码垛和料框堆叠等领域。经检索现有专利文献，比如专利(公开号CN114359402A)公开了一种料框的堆叠控制方法，所述方法利用TOF相机获得待堆叠料框和已堆叠料框的点云信息，由此得到两个料框的位置信息，实现料框的准确堆叠。专利(公开号CN112123342B)公开了一种测控方法来抓取和堆叠物体，该专利所述方法需要较多测距传感器和相机来寻找基准面，以此控制机器人将末端基板运动到与物体表面平行，或待堆叠物体表面与已堆叠物体表面平行的姿态。所述方法可以很好地实现精准堆叠任务，但测控成本较高，步骤较多，对堆叠物体要求表面平整，最好是立方体，这不利于无人系统执行任务。上述大多数是结构化的场景，即使是非结构化的场景中，堆叠的物体往往是确定的、规则形状的立方体或圆柱体。
[0004]神经网络经常用于非结构化场景中物体的抓取，对于形状不规则的物体，神经网络回归得到的抓取点可能会出现在物体的棱角处。抓取过程中，周围的环境会扰动物体的位置，物体的质心在夹爪坐标系中的位置是未知的。针对这种不确定性，专利(公开号CN115502985A)公开了一种基于力传感器信息的方法，所述方法在已知物体质心偏移的情况下，释放物体重新进行抓取，调整物体位置。该方法略显麻烦，调整也具有一定不确定性，且是规则物体。
[0005]近年来，强化学习和基于人演示的方法都尝试对非结构场景中的物体进行堆叠，但基本都没有考虑抓取不确定性对堆叠任务产生的影响，并且都是采用积木块等规则物体。
[0006]因此，针对上述问题和要求，本领域的技术人员致力于开发一种基于力传感器的不规则物体堆叠方法，以解决上述问题。该方法步骤简单，易于布置，行之有效，可以实现非结构化场景中不规则物体的稳定堆叠，降低不确定性对建造任务的影响。

技术实现思路

[0007]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是机器人抓取不确定性导致物体在夹爪中的位置信息未知，对堆叠等设施建造任务造成影响的问题。
[0008]为实现以上目的，本专利技术提供了一种基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，包括以下步骤：
[0009]步骤1：机器人移动到抓取区域，手眼相机获取场景点云；
[0010]步骤2：利用颜色阈值分割法和轮廓检测算法，筛选获得场景中最大物体点云；
[0011]步骤3：对步骤2的所述最大物体点云进行抓取规划，机器人执行抓取动作；
[0012]步骤4：机器人携带物体运行辨识轨迹，记录六维力传感器数据以及TCP(Tool Center Point末端法兰面中心)数据；
[0013]步骤5：运行负载位置辨识算法，并变换得到负载质心在夹爪坐标系中的位置；
[0014]步骤6：机器人移动到堆叠区域，手眼相机获取场景高度图，使用深度优先搜索算法获得最高区域中心坐标；
[0015]步骤7：向步骤6的所述最高区域中心坐标补偿负载质心位置，机器人以伺服模式运行到补偿后的堆叠位置；
[0016]步骤8：重复步骤1到步骤7，直至抓取场景中没有目标物体为止。
[0017]进一步地，在步骤1中，将所述手眼相机获得的深度图像，按照以下公式转换为在世界坐标系中表示的点云数据；
[0018][0019][0020][0021][0022]式中，P
C
是点云在相机坐标系中的表示，P
W
是点云在世界坐标系中的表示，c
x
、c
y
、f
x
、f
y
和scale是相机内参，是相机坐标系相对世界坐标系的齐次变换矩阵。
[0023]进一步地，在步骤2中，利用HSV(Hue色相、Saturation饱和度、Value色调)阈值分割法，对所述手眼相机所获得的彩色图像进行分割，得到物体mask(掩码，一般用于对图像部分或全部区域进行遮挡)；对所述物体mask进行滤波、膨胀、腐蚀和边缘轮廓提取操作，得到最大物体的mask；以所述最大物体的mask对步骤1中的所述场景点云进行筛选，得到所述最大物体点云。
[0024]进一步地，在步骤3中，所述最大物体点云经过抓取网络规划，得到一个抓取姿态，所述机器人按照所述抓取姿态执行抓取动作。
[0025]进一步地，在步骤4中，计算机上运行的机器人控制节点通过机器人控制柜的无线局域网实现通讯，所述机器人控制节点用于控制所述机器人实现运动。
[0026]进一步地，设置信息采集及处理节点用于实时读入所述六维力传感器数据和所述TCP数据；所述六维力传感器数据和所述TCP数据均由所述机器人控制节点从所述机器人控制柜中取出并发布。
[0027]进一步地，在步骤5中，所述信息采集及处理节点采集到的原始数据和负载质心之
间的关系如下式：
[0028][F
x0 F
x0 F
x0
‑
mg]T
＝(A
T
A)
‑1A
T
F
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0029][r
x r
y r
z M
x0 M
y0 M
z0
]T
＝(B
T
B)
‑1B
T
M
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0030]式中，m是负载质量，[F
x0 F
y0 F
z0 M
x0 M
y0 M
z0
]T
是六维力传感器的零漂，[r
x r
y r
z
]T
是负载质心在力传感器坐标系中的坐标，g是重力加速度；
[0031]A和B是由旋转矩阵和单位矩阵组成的3N
×
4和3N
×
6回归矩阵；所述旋转矩阵为机器人基坐标系在力传感器坐标系中的表示，如以下公式所示；所述N是记录的数据的组数；F和M是记录的力传感器数据排列成的3N维列向量；
[0032][0033][0034]式中，R
ij
是R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，包括以下步骤：步骤1：机器人移动到抓取区域，手眼相机获取场景点云；步骤2：利用颜色阈值分割法和轮廓检测算法，筛选获得场景中最大物体点云；步骤3：对步骤2的所述最大物体点云进行抓取规划，机器人执行抓取动作；步骤4：机器人携带物体运行辨识轨迹，记录六维力传感器数据以及TCP数据；步骤5：运行负载位置辨识算法，并变换得到负载质心在夹爪坐标系中的位置；步骤6：机器人移动到堆叠区域，手眼相机获取场景高度图，使用深度优先搜索算法获得最高区域中心坐标；步骤7：向步骤6的所述最高区域中心坐标补偿负载质心位置，机器人以伺服模式运行到补偿后的堆叠位置；步骤8：重复步骤1到步骤7，直至抓取场景中没有目标物体为止。2.如权利要求1所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，在步骤1中，将所述手眼相机获得的深度图像，按照以下公式转换为在世界坐标系中表示的点云数据；点云数据；点云数据；点云数据；式中，P
C
是点云在相机坐标系中的表示，P
W
是点云在世界坐标系中的表示，c
x
、c
y
、f
x
、f
y
和scale是相机内参，是相机坐标系相对世界坐标系的齐次变换矩阵。3.如权利要求1所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，在步骤2中，利用HSV阈值分割法，对所述手眼相机所获得的彩色图像进行分割，得到物体mask；对所述物体mask进行滤波、膨胀、腐蚀和边缘轮廓提取操作，得到最大物体的mask；以所述最大物体的mask对步骤1中的所述场景点云进行筛选，得到所述最大物体点云。4.如权利要求1所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，在步骤3中，所述最大物体点云经过抓取网络规划，得到一个抓取姿态，所述机器人按照所述抓取姿态执行抓取动作。5.如权利要求1所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，在步骤4中，计算机上运行的机器人控制节点通过机器人控制柜的无线局域网实现通讯，所述机器人控制节点用于控制所述机器人实现运动。6.如权利要求5所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，设置信息采集及处理节点用于实时读入所述六维力传感器数据和所述TCP数据；所述六维力传感器数据和所述TCP数据均由所述机器人控制节点从所述机器人控制柜中取出并发布。
7.如权利要求6所述的基于力传感器感知与补偿的不规则物体堆叠方法，其特征在于，在步骤5中，所述信息采集及处理节点采集到的原始数据和负载质心之间的关系如下式：[F
x0 F
x0 F
x0
ꢀ‑
mg]
T
＝(A
...

【专利技术属性】
技术研发人员：吴建华，周翔宇，熊振华，盛鑫军，朱向阳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：