一种基于结构光三维机器视觉引导的抓取方法及系统技术方案

本发明专利技术公开了基于结构光三维机器视觉引导的抓取方法及系统，方法包括：获取目标物体的目标点云；获取包含目标物体的工作场景的二维图像，进而根据二维图像的深度信息确定工作场景的三维点云；对三维点云和目标点云进行三维点对特征模板匹配，获得目标点云到三维点云的变换矩阵；基于变换矩阵确定目标物体的第一位姿信息，结合抓取设备的第二位姿信息，通过蒙特卡洛树搜索法确定抓取目标，进而执行抓取流程。本发明专利技术能够提升结构光三维机器视觉识别物体的速度，并提高抓取效率。本发明专利技术实施例能够高效引导物体抓取，可广泛应用于数据处理技术领域。术领域。术领域。

【技术实现步骤摘要】
一种基于结构光三维机器视觉引导的抓取方法及系统


[0001]本专利技术涉及数据处理
，尤其是一种基于结构光三维机器视觉引导的抓取方法及系统。

技术介绍

[0002]结构光三维机器视觉引导抓取系统是一种应用于机器人
的先进系统，通过结合结构光投射和三维机器视觉技术，实现了高精度的目标识别和抓取操作。该系统在自动化生产、仓储物流等领域具有广泛的应用前景。该技术利用结构光投射仪将编码的光线投射到目标物体上，并通过相机捕捉物体表面上的光线变化，从而还原出物体的三维形状。通过三维机器视觉技术，可以实现对目标物体的准确识别、形状重建和位置定位。还可以获得目标物体的高精度形状和位置信息，为后续的抓取操作提供精确的引导。
[0003]然而，现有的结构光三维机器视觉抓取系统在以下方面仍存在些困难，难以适应多种环境。例如，环境光的干扰：结构光投射过程中，环境光的干扰可能会影响到系统的准确性和稳定性。环境光的干扰会导致光线的变化或噪声，进而影响到目标物体的形状重建和识别过程。并且，在抓取过程之前，对三维点云的分析通常需要处理大量的三维点云数据，并进行复杂的算法计算和分析。这会导致系统的处理速度较慢，难以满足实时抓取操作的要求。特别是在高速抓取、动态场景或快速变化的环境中，系统需要更快的处理速度和实时性，以确保抓取操作的成功和稳定性。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种基于结构光三维机器视觉引导的抓取方法及系统，能够高效引导物体抓取。
[0005]一方面，本专利技术的实施例提供了一种基于结构光三维机器视觉引导的抓取方法，包括：
[0006]获取目标物体的目标点云；
[0007]获取包含目标物体的工作场景的二维图像，进而根据二维图像的深度信息确定工作场景的三维点云；
[0008]对三维点云和目标点云进行三维点对特征模板匹配，获得目标点云到三维点云的变换矩阵；
[0009]基于变换矩阵确定目标物体的第一位姿信息，结合抓取设备的第二位姿信息，通过蒙特卡洛树搜索法确定抓取目标，进而执行抓取流程。
[0010]可选地，获取目标物体的目标点云，包括：
[0011]从结构光相机获取目标物体的第一点云数据；
[0012]将第一点云数据中与目标物体不相干点云剔除，得到目标点云。
[0013]可选地，获取包含目标物体的工作场景的二维图像，进而根据二维图像的深度信息确定工作场景的三维点云，包括：
[0014]从结构光相机获取包含目标物体的工作场景的二维图像；
[0015]基于结构光三维成像原理，确定二维图像的深度信息，生成深度图；
[0016]根据深度图，生成工作场景的第二点云数据；
[0017]对第二点云数据进行图像预处理，得到工作场景的三维点云；其中，图像预处理包括降采样和滤波降噪。
[0018]可选地，对三维点云和目标点云进行三维点对特征模板匹配，获得目标点云到三维点云的变换矩阵，包括：
[0019]基于点云中每个点与点云中其它点之间的相对位置和法向量之间的关系，确定点云中每个点的点对特征；其中，点对特征包括三维点云中每个点的第一点对特征和目标点云中每个点的第二点对特征；
[0020]对各个第一点对特征与各个第二点对特征进行向量配对，获得三维点云和目标点云各点之间的匹配得分；
[0021]根据目标点云中每个点与三维点云中所有点的匹配得分的总和，确定目标点云中每个点在三维点云中的目标匹配点，获得目标点云与三维点云的匹配点对；
[0022]基于匹配点对，构建旋转矩阵和平移向量；
[0023]对旋转矩阵和平移向量进行奇异值分解，并通过收敛迭代获得目标旋转矩阵和目标平移向量；
[0024]根据目标旋转矩阵和目标平移向量确定目标点云到三维点云的变换矩阵。
[0025]可选地，基于点云中每个点与点云中其它点之间的相对位置和法向量之间的关系，确定点云中每个点的点对特征，包括：
[0026]基于点云中点i与点j之间的相对位置，确定相对位置向量；并获取点i的第一法向量和点j的第二法向量；进而确定相对位置向量和第一法向量的第一夹角，并确定第一法向量和第二法向量的第二夹角；
[0027]根据相对位置向量、第一夹角和第二夹角，确定点i和点j的点对特征；
[0028]其中，点对特征的表达式为：
[0029]f
ij
＝(v
ij
,cosθ,sinθ,cosφ,sinφ)
[0030]式中，f
ij
表示点i和点j的点对特征，v
ij
表示点i和点j的相对位置向量，θ表示第一夹角，φ表示第二夹角。
[0031]可选地，对旋转矩阵和平移向量进行奇异值分解，并通过收敛迭代获得目标旋转矩阵和目标平移向量，包括：
[0032]基于目标点云所有点累加求和的平均值确定第一质心，并基于三维点云所有点累加求和的平均值确定第二质心；
[0033]基于第一质心和第二质心，对旋转矩阵和平移向量进行奇异值分解，基于分解结果简化获得目标函数；
[0034]其中，目标函数的表达式为：
[0035][0036]式中，q
′
i
＝q
i
‑
μ
q
，q
i
表示三维点云中的点i，μ
q
表示第二质心；p
′
i
＝p
i
‑
μ
p
，p
i
表示目
标点云中的点i，μ
p
表示第一质心；R表示旋转矩阵；t表示平移向量；
[0037]基于目标函数，通过收敛迭代获得目标旋转矩阵和目标平移向量。
[0038]可选地，通过蒙特卡洛树搜索法确定抓取目标，包括：
[0039]以第二位姿信息作为根节点，并以第一位姿信息作为子节点；
[0040]将子节点进行扩展，根据扩展结果确定目标节点；
[0041]基于目标节点抓取与放置的空间信息确定目标节点的抓取价值；
[0042]通过启发函数评估抓取价值，进而获得更新信息；
[0043]在子节点的扩展的路径，反向传播更新信息，进行节点信息更新；依次根据扩展结果的各个节点作为目标节点，然后返回基于目标节点抓取与放置的空间信息确定目标节点的抓取价值这一步骤，直至达到预设的搜索次数或时间限制；
[0044]基于更新后各节点的抓取价值确定抓取目标。
[0045]另一方面，本专利技术的实施例提供了一种基于结构光三维机器视觉引导的抓取系统，包括：
[0046]第一模块，用于获取目标物体的目标点云；
[0047]第二模块，用于获取包含目标物体的工作场景的二维图像，进而根据二维图像的深度信息确定工作场景的三维点云；
[0048]第三模块，用于对三维点云和目标点云进行三维点对特征模板匹配，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构光三维机器视觉引导的抓取方法，其特征在于，包括：获取目标物体的目标点云；获取包含所述目标物体的工作场景的二维图像，进而根据所述二维图像的深度信息确定所述工作场景的三维点云；对所述三维点云和所述目标点云进行三维点对特征模板匹配，获得所述目标点云到所述三维点云的变换矩阵；基于所述变换矩阵确定所述目标物体的第一位姿信息，结合抓取设备的第二位姿信息，通过蒙特卡洛树搜索法确定抓取目标，进而执行抓取流程。2.根据权利要求1所述的一种基于结构光三维机器视觉引导的抓取方法，其特征在于，所述获取目标物体的目标点云，包括：从结构光相机获取目标物体的第一点云数据；将所述第一点云数据中与所述目标物体不相干点云剔除，得到所述目标点云。3.根据权利要求1所述的一种基于结构光三维机器视觉引导的抓取方法，其特征在于，所述获取包含所述目标物体的工作场景的二维图像，进而根据所述二维图像的深度信息确定所述工作场景的三维点云，包括：从结构光相机获取包含所述目标物体的工作场景的二维图像；基于结构光三维成像原理，确定所述二维图像的深度信息，生成深度图；根据所述深度图，生成所述工作场景的第二点云数据；对所述第二点云数据进行图像预处理，得到所述工作场景的三维点云；其中，所述图像预处理包括降采样和滤波降噪。4.根据权利要求1所述的一种基于结构光三维机器视觉引导的抓取方法，其特征在于，所述对所述三维点云和所述目标点云进行三维点对特征模板匹配，获得所述目标点云到所述三维点云的变换矩阵，包括：基于点云中每个点与点云中其它点之间的相对位置和法向量之间的关系，确定点云中每个点的点对特征；其中，所述点对特征包括所述三维点云中每个点的第一点对特征和所述目标点云中每个点的第二点对特征；对各个所述第一点对特征与各个所述第二点对特征进行向量配对，获得所述三维点云和所述目标点云各点之间的匹配得分；根据所述目标点云中每个点与所述三维点云中所有点的所述匹配得分的总和，确定所述目标点云中每个点在所述三维点云中的目标匹配点，获得所述目标点云与所述三维点云的匹配点对；基于所述匹配点对，构建旋转矩阵和平移向量；对所述旋转矩阵和所述平移向量进行奇异值分解，并通过收敛迭代获得目标旋转矩阵和目标平移向量；根据所述目标旋转矩阵和所述目标平移向量确定所述目标点云到所述三维点云的变换矩阵。5.根据权利要求4任一项所述的一种基于结构光三维机器视觉引导的抓取方法，其特征在于，所述基于点云中每个点与点云中其它点之间的相对位置和法向量之间的关系，确定点云中每个点的点对特征，包括：
基于点云中点i与点j之间的相对位置，确定相对位置向量；并获取点i的第一法向量和所述点j的第二法向量；进而确定所述相对位置向量和所述第一法向量的第一夹角，并确定所述第一法向量和所述第二法向量的第二夹角；根据所述相对位置向量、所述第一夹角和所述第二夹角，确定所述点i和所述点j的点对特征；其中，所述点对特征的表达式为：f
ij
＝(v
ij
,cosθ,sinθ...

【专利技术属性】
技术研发人员：彭凌西，林锦辉，刘浩怀，唐春明，彭绍湖，
申请(专利权)人：广州大学，
类型：发明
国别省市：