物体抓取方法技术

本发明专利技术提供了一种物体抓取方法

【技术实现步骤摘要】
物体抓取方法、装置、机器人、可读存储介质和芯片


[0001]本专利技术涉及计算机领域，具体而言，涉及一种物体抓取方法
、
一种物体抓取装置
、
一种机器人
、
一种可读存储介质和一种芯片
。

技术介绍

[0002]相关技术中，在物体抓取的过程中，进行抓取姿态识别时，通常需要在空间中标注物体的抓取姿态，采用仿真标注或人工标注的时间较长，无法进行及时分析和抓取
。

技术实现思路

[0003]为了解决或改善上述技术问题至少之一，本专利技术的一个目的在于提供一种物体抓取方法
。
[0004]本专利技术的另一个目的在于提供一种物体抓取装置
。
[0005]本专利技术的另一个目的在于提供一种机器人
。
[0006]本专利技术的另一个目的在于提供一种可读存储介质
。
[0007]本专利技术的另一个目的在于提供一种芯片
。
[0008]为实现上述目的，本专利技术第一方面提供了一种物体抓取方法，包括：获取待抓取物体所处环境的场景信息；根据场景信息确定与待抓取物体对应的第一点云信息；根据第一点云信息确定对待抓取物体进行抓取的多个抓取姿态；在多个抓取姿态中确定目标姿态，且控制机械臂对待抓取物体根据目标姿态进行抓取
。
[0009]根据本专利技术提供的物体抓取方法，在进行物体抓取之前，需要先获取待抓取物体所处环境的场景信息
。
这些信息可能包括物体位置
、
姿态
、
大小以及周围物体的位置等
。
通过对获取到的场景信息进行处理，可以得到与待抓取物体对应的第一点云信息
。
可以理解，点云是一组三维坐标点的集合，可以用于表示物体的形状和位置等信息
。
根据第一点云信息，可以确定多个可能的抓取姿态，这些抓取姿态可能包括机械臂末端执行器的位置和姿态等信息，用于控制机械臂进行抓取
。
最终，从多个可能的抓取姿态中选择一个最佳的目标姿态，用于控制机械臂进行抓取
。
这个过程通常考虑物体的位置
、
姿态以及与周围物体的关系等因素，在确定了目标姿态后，就可以通过控制机械臂末端执行器的运动，将机械臂移动到合适的位置，并调整姿态等参数，最终完成对待抓取物体的抓取操作
。
总体来说，这个物体抓取方法是利用机器人视觉和智能控制技术，结合点云信息处理和姿态调整等技术，实现对待抓取物体的自动化抓取
。
[0010]需要强调的是，本申请在进行姿态计算时，是直接利用物体点云的
3D
几何信息去实现的，无需在
3D
空间中进行标注物体的抓取姿态，极大地节省了标注的人力和仿真机器的物力
。
[0011]另外，本专利技术提供的上述技术方案还可以具有如下附加技术特征：
[0012]在一些技术方案中，可选地，获取待抓取物体所处环境的场景信息，具体包括：通过三维相机获取当前所处环境的场景信息，场景信息中包括场景的图像信息和深度信息，
图像信息和深度信息是进行配准后的信息
。
[0013]在该技术方案中，三维相机可以同时获取场景中物体的彩色图像和深度图像
。
彩色图像提供了物体的外观信息，深度图像则提供了物体的距离信息
。
这些信息可以用于后续的点云处理和物体姿态估计等操作
。
[0014]进一步地，三维相机通常通过红外线或激光等技术来获取深度信息，能够在不同光照条件下快速准确地获取场景中物体的位置和形状等信息
。
[0015]总之，通过使用三维相机获取当前场景的图像信息和深度信息，可以为后续的物体抓取操作提供重要的参考依据
。
[0016]需要补充的是，利用三维相机获取到的图像信息和深度信息是已经完成配准的，以便于后续直接利用该信息进行分析
。
配准是将图像信息和深度信息进行对齐和校准，以确保它们在相同的坐标系下
。
这样，可以通过像素坐标在图像中找到对应的深度值，从而获得物体在三维空间中的准确位置
。
配准可以通过相机的内参矩阵
、
外参矩阵和深度传感器的参数等进行计算和校准
。
[0017]在一些技术方案中，可选地，根据场景信息确定与待抓取物体对应的第一点云信息，具体包括：根据三维相机的内参矩阵
、
图像信息和深度信息确定第一点云信息
。
[0018]在该技术方案中，在确定第一点云信息时，需要先获取相机的内参矩阵，并根据场景信息确定与待抓取物体对应的第一点云信息，内参矩阵是用于描述相机的参数矩阵，它包含了相机的焦距
、
主点坐标
、
畸变系数等信息，可以将相机采集到的图像坐标转换为摄像头坐标系下的真实世界坐标
。
利用相机获取到的图像信息和深度信息，可以通过三维点云重建算法得到场景中的点云信息
。
然后，基于这些点云信息，可以使用物体识别和目标检测等技术确定待抓取物体在点云中的位置和姿态等信息
。
针对不同的物体形状和大小，可能需要采用不同的点云处理算法，例如全局匹配算法
、
局部模型重建算法等
。
最终，通过将相机采集到的图像坐标映射到点云中，可以得到与待抓取物体对应的第一点云信息
。
在得到与待抓取物体对应的第一点云信息后，可能需要进行一些点云滤波等操作，将无关的点云或噪声点云去除，以便进一步确定抓取姿态和目标姿态等参数
。
总之，通过获取相机的内参矩阵并根据场景信息确定与待抓取物体对应的第一点云信息，可以为后续的点云处理和物体抓取操作提供重要的数据基础
。
[0019]在一些技术方案中，可选地，根据三维相机的内参矩阵
、
图像信息和深度信息确定第一点云信息，包括：获取目标检测网络模型和分割网络模型；通过目标检测网络模型和分割网络模型对图像信息进行识别，确定第一区域的坐标信息；根据第一区域的坐标信息确定对应于第一区域的深度信息；根据内参矩阵将第一区域的深度信息转换为第一点云信息
。
[0020]在该技术方案中，在确定第一点云信息时，首先，需要获取适用于目标检测和分割任务的网络模型
。
这些模型可以用于在图像中检测和定位待抓取物体，并提供物体的边界框或像素级的分割结果
。
使用所获取的目标检测网络模型和分割网络模型，对输入的图像信息进行处理
。
目标检测模型可以检测出待抓取物体的位置，而分割模型可以将物体像素分割出来形成物体的区域
。
根据目标检测结果或分割结果，获取待抓取物体的第一区域的坐标信息
。
第一区域可以是物体的边界框或分割区域
。
根据第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种物体抓取方法，其特征在于，包括：获取待抓取物体所处环境的场景信息；根据所述场景信息确定与所述待抓取物体对应的第一点云信息；根据所述第一点云信息确定对所述待抓取物体进行抓取的多个抓取姿态；在多个所述抓取姿态中确定目标姿态，且控制机械臂对所述待抓取物体根据所述目标姿态进行抓取
。2.
根据权利要求1所述的物体抓取方法，其特征在于，所述获取待抓取物体所处环境的场景信息，包括：通过三维相机获取当前所处环境的场景信息，所述场景信息中包括场景的图像信息和深度信息，所述图像信息和所述深度信息是进行配准后的信息
。3.
根据权利要求2所述的物体抓取方法，其特征在于，所述根据所述场景信息确定与所述待抓取物体对应的第一点云信息，包括：根据所述三维相机的内参矩阵
、
所述图像信息和所述深度信息确定所述第一点云信息
。4.
根据权利要求3所述的物体抓取方法，其特征在于，根据所述三维相机的内参矩阵
、
所述图像信息和所述深度信息确定所述第一点云信息，包括：获取目标检测网络模型和分割网络模型；通过所述目标检测网络模型和所述分割网络模型对所述图像信息进行识别，确定第一区域的坐标信息；根据所述第一区域的坐标信息确定对应于所述第一区域的深度信息；根据所述内参矩阵将所述第一区域的深度信息转换为第一点云信息
。5.
根据权利要求2所述的物体抓取方法，其特征在于，还包括：对所述第一点云信息进行过滤，确定过滤后的第二点云信息；所述确定过滤后的第二点云信息包括：获取至少一个粒度几何过滤结构，每个所述粒度几何过滤结构包括异常过滤算法和聚类算法；根据所述异常过滤算法去除所述第一点云信息中的异常点云，且根据所述聚类算法对过滤后的所述第一点云信息进行聚类；确定聚类后的最大簇的点云信息作为所述第二点云信息
。6.
根据权利要求5所述的物体抓取方法，其特征在于，所述粒度几何过滤结构的数量为多个，每个所述粒度几何过滤结构中的点云与周围邻域的半径距离不同
。7.
根据权利要求6所述的物体抓取方法，其特征在于，还包括：在所述粒度几何过滤结构的数量为多个的情况下，确定多个所述粒度几何过滤结构的应用顺序；根据所述应用顺序排列多个所述粒度几何过滤结构，其中，在先应用的所述粒度几何过滤结构的邻域距离小于在后应用的所述粒度几何过滤结构的邻域距离
。8.
根据权利要求5所述的物体抓取方法，其特征在于，所述根据所述第一点云信息确定对所述待抓取物体进行抓取的多个抓取姿态，具体包括：基于几何分割结构对所述第二点云信息进行分割，确定目标点云；
确定所述目标点云的数量小于停...

【专利技术属性】
技术研发人员：唐剑，赵震，徐志远，车正平，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：