【技术实现步骤摘要】
机械臂位姿预测方法、装置、存储介质及电子设备
本公开涉及机器人
，具体地，涉及一种机械臂位姿预测方法、装置、存储介质及电子设备。
技术介绍
机器人抓取在工业场景以及在家庭场景，都有着十分巨大的应用价值。在工业场景中，抓取机器人可以分拣商品，解放人力；家庭机器人可以为行动障碍人员或老年人端茶倒水等。目前，预测机械臂位姿的方法基于二维图像，使用卷积神经网络等预测机械臂上大量三维特征点在二维图像上的位置，再基于重投影误差，使用最小二乘法估计机械臂的各个关节点的位置和角度。然而，这些方法受二维图像纹理影响大，且基于二维图像预测三维点的投影点的误差也较大，因此，导致机械臂位姿的预测精度低。
技术实现思路
本公开的目的是提供一种机械臂位姿预测方法、装置、存储介质及电子设备，解决了机械臂位姿预测精度低的问题。为了实现上述目的，第一方面，本公开提供一种机械臂位姿预测方法，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度，所述方法包括：获取所述机械臂的三基色图像和所述机...
【技术保护点】
1.一种机械臂位姿预测方法，其特征在于，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度，所述方法包括：/n获取所述机械臂的三基色图像和所述机械臂对应的三维点云；/n提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；/n将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；/n将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量；/n根据每个所述关节点相对于每个所述三维点的偏移量，得到与每...
【技术特征摘要】
1.一种机械臂位姿预测方法，其特征在于，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度，所述方法包括：
获取所述机械臂的三基色图像和所述机械臂对应的三维点云；
提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；
将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；
将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量；
根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；
针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
2.根据权利要求1所述的方法，其特征在于，根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标包括：
根据每个所述关节点相对于每个所述三维点的偏移量，得到K簇预测三维点云，其中，K表征所述机械臂的关节个数；
对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标。
3.根据权利要求2所述的方法，其特征在于，对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标包括：
针对每簇所述预测三维点云，将该簇预测三维点云包括的所有三维点的平均值作为与该簇预测三维点云对应的关节点的三维坐标。
4.根据权利要求1所述的方法，其特征在于，获取机械臂的三基色图像包括：
获取第一图像采集装置采集得到的机器人的原始三基色图像；
对所述原始三基色图像进行分割，得到机械臂所处区域的三基色图像。
5.根据权利要求4所述的方法，其特征在于，获取所述机械臂对应的三维点云包括：
获取第二图像采集装置采集得到的机器人的原始深度图像；
根据所述三基色图像在所述原始三基色图像的位置，在所述原始深度图像中提取深度图像；
根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云。
6.根据权利要求5所述的方法，其...
【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：达闼机器人有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。