【技术实现步骤摘要】
本专利技术属于计算机视觉领域，特别涉及一种2d图像与3d点云结合的机械臂目标抓取检测系统及方法。
技术介绍
1、近年来，在机械臂抓手部分集成视觉识别系统，通过计算机视觉技术，实现对物品的识别和抓取已成为主流应用技术。它提高了机械臂抓手的精度和稳定性，增加了产品质量和生产效率。但是，机械臂抓手在进行精细制造或装配等操作时，需要达到相对高的抓取精度，然而在某些情况下，机械臂抓手的精度并不能满足要求。这将导致产品质量不稳定、生产效率低下等问题。
2、此外，基于二维(2d)图像的抓取检测虽然已广泛应用于机械臂视觉抓取，但是2d图像是三维空间的投影，无法完全反映待抓取目标的三维空间信息，而采用三维(3d)点云的抓取检测可以直接获取目标物体的三维空间信息。然而，直接使用深度相机获取的全部3d点云进行识别与抓取检测使得运算量过于庞大，无法适用于有实时性要求的抓取检测任务。因此，提出一种2d图像与3d点云结合的机械臂目标抓取检测系统及方法。首先对待抓取目标使用2d图像检测，利用2d图像得到的检测框在深度相机采集的全部3d点云中分割出目标区域，然后使用经典的点云处理算法去除目标以外的其他点云，最后将目标点云输入到根据点云几何特征的预训练基于点云的抓取姿态检测(pointnetgpd)网络得到夹爪的抓取位姿。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点和不足，提出一种2d图像与3d点云结合的机械臂目标抓取检测系统及方法。
2、为了达到上述目的，本专利技术所提供的技
3、一种2d图像与3d点云结合的机械臂目标抓取检测系统及方法，所述系统包括深度相机、客户端、服务器端和机械臂；
4、所述深度相机用于实时采集目标物体的rgb图像及深度图像，将图像发送给客户端；
5、所述客户端用于接收深度相机发送的rgb图像及深度图像，使用所述深度图像数据转化为三维(3d)点云数据，将所述rgb图像数据及所述3d点云数据发送给服务器端，并且接受来自服务器端的目标3d点云抓取位置信息，以及将目标3d点云抓取位置信息转化为机械臂抓取姿态信息，发送给机械臂；
6、所述服务器端用于接收客户端发送的rgb图像数据及3d点云数据；用于构建单发多框检测(ssd)网络的训练数据集，利用所述数据集对改进的ssd网络进行训练，获得目标物体的二维(2d)检测模型，再利用所述2d检测模型在所述rgb图像得到目标物体的2d检测框及2d检测框的识别结果；用于将2d检测框转化为3d截锥体，利用所述3d截锥体在所述3d点云数据截取部分区域点云；用于利用随机采样一致性(ransac)算法及欧式聚类分割算法对所述部分区域点云进行处理得到目标3d点云；利用最近点迭代(icp)点云配准得到目标3d点云位姿并补全目标3d点云；用于构建基于点云的抓取姿态检测(pointnetgpd)网络的训练数据集，利用所述数据集对改进的pointnetgpd网络进行训练，得到目标3d点云夹取位置的3d检测模型，并采用所述检测模型以及所述目标3d点云位姿得到在目标3d点云的夹取位置；用于发送所述目标3d点云的夹取位置给客户端；
7、所述机械臂，用于接收客户端发送的所述机械臂抓取姿态并执行；
8、所述的一种2d图像与3d点云结合的机械臂目标抓取检测系统使用的一种2d图像与3d点云结合的机械臂目标抓取检测方法，包括以下步骤：
9、步骤1：采集包含目标物体的rgb图像；
10、步骤2：构建ssd网络的训练数据集；
11、步骤3：对ssd网络进行改进，包括：利用正态分布曲线优化ssd先验框的尺度参数；
12、步骤4：利用所述数据集对改进的ssd网络进行训练，获得目标物体的2d检测模型；
13、步骤5：利用所述2d检测模型在所述rgb图像得到目标物体的2d检测框及2d检测框的识别结果；
14、步骤6：采集包含目标物体的3d点云；
15、步骤7：利用所述2d检测框转化得到3d截锥体，利用所述3d截锥体在所述3d点云数据截取部分区域点云；
16、步骤8：利用ransac算法及欧式聚类分割算法对所述部分区域点云进行处理得到目标3d点云；
17、步骤9：采集所述目标3d点云；
18、步骤10：构建pointnetgpd网络的训练数据集；
19、步骤11：对pointnetgpd网络进行改进，包括：利用icp点云配准改进pointnetgpd的抓取候选采样模块；
20、步骤12：利用所述数据集对改进的pointnetgpd网络进行训练，获得目标3d点云夹取位置的3d检测模型；
21、步骤13：利用所述检测模型以及所述目标3d点云位姿得到在目标3d点云的夹取位置。
22、进一步地，在步骤3中，改进后的ssd网络的先验框尺度参数计算公式如下：
23、其中
24、f(x)＝n(μ,σ)
25、其中，k表示特征图的层级，ssd网络共有6个层级不同尺度的特征图，因此k属于1至6的整数，sk*表示改进后的对应层级的ssd先验框尺度参数；sk表示改进前的对应层级的ssd先验框尺度参数；f(x)为满足正态分布n(μ，σ)曲线的函数；μ为正态分布的均值，其等于目标物体在rgb图像的像素数量与rgb图像的总像素数量之比；σ为正态分布的标准差，可根据实际情况进行调整；
26、进一步地，在步骤11中，改进的pointnetgpd抓取候选采样模块，其工作流程包括以下步骤：
27、步骤11.1：读取所述目标3d点云及所述2d检测框的识别结果；
28、步骤11.2：根据所述2d检测框的识别结果选择根据目标先验3d形状制作的完整3d点云；
29、步骤11.3：利用icp点云配准算法将所述目标3d点云与所述完整3d点云进行点云配准；
30、步骤11.4：利用对应目标的所述完整3d点云替换所述目标3d点云；
31、步骤11.5：利用所述完整3d点云的先验位姿信息得到3d点云位姿；
32、步骤11.6：利用所述3d点云位姿与夹爪位姿的几何约束在对应目标的所述完整3d点云上进行抓取点采样；
33、步骤11.7：将抓取候选采样输出到pointnetgpd抓取质量评价网络。
34、进一步地，所述的根据目标先验3d形状制作的完整3d点云的方法为：根据目标的先验3d形状信息制作计算机辅助设计(cad)模型，将cad模型利用工具软件转化为对应目标的完整3d点云，并手动标注3d点云的位姿信息。
35、进一步地，所述的3d点云位姿与夹爪位姿的几何约束，其公式如下：
36、a1＝λv1
37、
38、
39、|v0a0|<ε
40、其中，a1表示夹爪坐标系垂直于夹爪二指构成平面的方向向量，a2表示本文档来自技高网...
【技术保护点】
1.一种2D图像与三维3D点云结合的机械臂目标抓取检测系统及方法，其特征在于，所述系统包括深度相机、客户端、服务器端和机械臂；
2.根据权利要求1所述的2D图像与3D点云结合的机械臂目标抓取检测系统的2D图像与3D点云结合的机械臂目标抓取检测方法，其特征在于，所述方法包括以下步骤：
3.根据权利要求2所述的2D图像与3D点云结合的机械臂目标抓取检测方法，其特征在于，步骤3所述的改进的SSD网络的先验框尺度参数计算公式如下：
4.根据权利要求2所述的2D图像与3D点云结合的机械臂目标抓取检测方法，其特征在于，步骤11所述的改进的PointNetGPD抓取候选采样模块，其工作流程包括以下步骤：
5.根据权利要求4所述的2D图像与3D点云结合的机械臂目标抓取检测方法，其特征在于，所述的根据目标先验3D形状制作的完整3D点云的方法为：根据目标的先验3D形状信息制作计算机辅助设计(CAD)模型，将CAD模型利用工具软件转化为对应目标的完整3D点云，并手动标注3D点云的位姿信息。
6.根据权利要求4所述的2D图像与3D点云结合的机械
7.根据权利要求6所述的2D图像与3D点云结合的机械臂目标抓取检测方法，其特征在于，所述的3D点云位姿与夹爪位姿的几何约束，其特征在于所使用的夹爪位姿为二指夹爪位姿。
...【技术特征摘要】
1.一种2d图像与三维3d点云结合的机械臂目标抓取检测系统及方法，其特征在于，所述系统包括深度相机、客户端、服务器端和机械臂；
2.根据权利要求1所述的2d图像与3d点云结合的机械臂目标抓取检测系统的2d图像与3d点云结合的机械臂目标抓取检测方法，其特征在于，所述方法包括以下步骤：
3.根据权利要求2所述的2d图像与3d点云结合的机械臂目标抓取检测方法，其特征在于，步骤3所述的改进的ssd网络的先验框尺度参数计算公式如下：
4.根据权利要求2所述的2d图像与3d点云结合的机械臂目标抓取检测方法，其特征在于，步骤11所述的改进的pointnetgpd抓取候选采样模块，其工作流程包括以下步骤...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。