一种智能机器人的知识驱动3D视觉检测方法技术

本发明专利技术提出一种智能机器人的知识驱动3D视觉检测方法，包括步骤:（1）基于初始螺母CAD种子模型，在模拟器中生成训练数据集；（2）生成数据污损增强数据集；（3）3D点云数据，在模拟器里自动标注真实正确标签，获得生成数据集以及实例标签；（4）将获得的数据集及实例标签分别作为输入和输出训练3D空洞卷积神经网；（5）预测输出得到在知识驱动3D满贴面归一化目标物体单位正方体空间的表示；（6）通过和线下比较提前学到的归一化空间表示实现密集关联映射，完成物体缺失部分的补全。本发明专利技术实现了模型匹配迁移学习，在智能机器人工业打磨应用场景中，补全实际物体相机采集的点云的缺失问题。补全实际物体相机采集的点云的缺失问题。

【技术实现步骤摘要】
一种智能机器人的知识驱动3D视觉检测方法


[0001]本专利技术涉及一种用于工业智能机器人操控位置与姿态感知的知识驱动3D视觉检测方法，涉及智能制造与机器视觉领域。

技术介绍

[0002]在智能制造数字工厂环境中，有大量智能机器人参与生产操作的应用需求，随着生产环节与生产场景过程复杂度越来越高，以及对生产工艺智能化要求的逐步提高，现有基于传统工业机器人的解决方案往往不能适应多变的和多样化的生产操控需求，迫切需要机器人能够更智能、更灵巧、应用更灵活。尤其在小批量多场景条件下，结合3D深度相机对环境实时检测感知做出决策规划，智能适应环境变化柔性协作完成生产任务是目前亟待解决的问题。
[0003]机器人操作通常需要确定与下游任务协同的恰当抓取，一个重要的应用领域是工业打磨，机器人在抓取物体后需要执行约束条件，即确保合适的抓取不能影响下游任务，既不能抓到打磨件需要被打磨的部位，也要确保抓握姿势不遮挡打磨件的待打磨部位与打磨带的充分接触；同时还需要在物体抓取和运输过程中保持稳定。所以最初的正确抓取是后续自动智能打磨的关键，而在抓取前对目标打磨件的3D视觉检测、感知与建模，形成完备的综合抓取策略就尤为重要。
[0004]现有无模型方法通过直接对原始点云观察结果进行操作，训练一个抓取评估网络，对抓取方案排名。也有基于抓取姿势预测网络，在给定条件下输出抓取得分。然而仅能计算稳定未考虑后续下游工业打磨任务。结合任务约束的方法有的框架预测观察点云分割，缺陷在于假设人工标注数据可用于监督学习导致生成成本太高，也有通过仿真试验实现自我交互来学习，但通常涉及单一物品场景，并且仍然需要大量人工标注，所以无法广泛应用，且泛化性能也不太理想。

技术实现思路

[0005]本专利技术所要解决的技术问题是：为了更好的实现了模型匹配迁移学习，在智能机器人工业打磨应用场景中，采用知识驱动3D满贴面归一化目标物体单位正方体空间表示方法，补全实际物体相机采集的点云的缺失问题。
[0006]本专利技术为解决上述技术问题采用以下技术方案：
[0007]本专利技术提出一种智能机器人的知识驱动3D视觉检测方法，包括以下步骤：
[0008]步骤1、基于初始螺母CAD种子模型，在模拟器中生成训练数据集；
[0009]步骤2、对得到的数据集进行数据污损，包括对成堆螺母3D模型进行随机深度偏移，引入噪声因子，得到数据污损增强数据集
[0010]步骤3、对数据污损增强数据集回到模拟器环境采用相机视角拍照，采集RGB图像的深度图，将深度图进一步转化为3D点云数据在模拟器里自动标注真实正确标签，包括实例分割的标签以及知识驱动3D满贴面归一化目标物体单位正方体空间
表示实例标签
[0011]步骤4、将数据污损增强数据集以及实例标签分别作为输入和输出训练一个3D空洞卷积神经网络，即：知识驱动归一化网络用于在测试或推理阶段对输入点云的预测；
[0012]步骤5、推理阶段：将真实世界相机采集到的实际物体点云输入到知识驱动归一化网络预测输出得到在知识驱动3D满贴面归一化目标物体单位正方体空间的表示；
[0013]步骤6、基于线下知识驱动数据集的归一化目标物体单位正方体空间表示，通过和线下比较提前学到的归一化空间表示实现密集关联映射，完成物体缺失部分的补全。
[0014]经过上述步骤，完成智能机器人在抓取目标打磨件前的3D视觉检测、感知与建模，进一步形成综合抓取策略。
[0015]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0016]1、相比于现有的方法，本专利技术更好的实现了模型匹配迁移学习，在智能机器人工业打磨应用场景中，采用知识驱动3D满贴面归一化目标物体单位正方体空间表示方法，补全实际物体相机采集的点云的缺失问题。
[0017]2、本专利技术所提出的框架仅在模拟中进行训练，并且无需任何再训练就可以泛化到真实世界，利用域随机化双向对齐和领域不变性，在类别级规范空间中建模，在工业打磨真实场景的复杂噪声环境中生成的新数据集，相比现有其他方法更具鲁棒性，算法模型泛化性能更优。
具体实施方式
[0018]下面对本专利技术的技术方案做进一步的详细说明：
[0019]本
技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0020]本专利技术提出一种智能机器人的知识驱动3D视觉检测方法，包括以下步骤：
[0021]步骤1、基于初始螺母CAD种子模型，在模拟器中生成训练数据集，模拟器根据设定参数仿真生成螺母3D模型，通过多次运行试验得到符合需求的训练数据集D。
[0022]步骤2、对得到的数据集进行数据污损，包括对成堆螺母3D模型进行随机深度偏移，人为引入了一些噪声因子，使得模拟器生成数据集的深度图以及点云逼近现实世界，因为通过模拟器得到的模型是完美的，而数据需要在真实世界中测试，本步骤用以解决仿真到现实的鸿沟问题，得到数据污损增强数据集
[0023]步骤3、生成堆之后的数据污损增强数据集回到模拟器环境采用相机视角拍照，采集RGB图像，深度图，深度图进一步转化为3D点云数据在模拟器里自动标注(模拟器在生成过程中就已经同步标签数据了)真实正确标签，包括实例分割的标签以及“知识驱动3D满贴面归一化目标物体单位正方体空间表示”实例标签
[0024]步骤4、在上述步骤获得的生成数据集以及实例标签分别作为输入和输出训练一个3D空洞卷积神经网络，称为知识驱动归一化网络，表示为用于在测试或推理阶段对输入点云的预测。
[0025]步骤5、推理阶段，真实世界相机采集到的实际物体点云(设为表示点数，6表示3个位置X，Y，Z坐标和3个法向量分量)输入到知识驱动归一化网络预测输出得到在知识驱动3D满贴面归一化目标物体单位正方体空间的表示，用来代表，输出与输入是逐点一一对应的也是结构。
[0026]步骤6、由于相机采集到的点云只是相机这个视角可见部分，所以步骤5得到的也只是物体部分点云描述，所以本专利技术基于线下知识驱动数据集的归一化目标物体单位正方体空间表示，通过和线下比较提前学到的归一化空间表示实现密集关联映射，完成物体缺失部分的补全，从而完成先验知识的迁移操作。
[0027]在步骤1中生成训练数据集的具体方法如下：
[0028](1)设置初始螺母3D模型，设计具有基本结构的螺母CAD模型作为种子，用于后续步骤生成这样堆的时候，从中随机采样一些不同的模型。
[0029](2)在模拟器中的空中随机生成n个螺母，每个螺母分别处在不同高度和不同的初始位姿朝向，其中n的取值范围是[10，20]的自然数，即n∈N，取值规则遵循均匀分布，共计取值50个，即在构造数据集的完整试验中n是一个50维向量，其向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能机器人的知识驱动3D视觉检测方法，其特征在于，包括以下步骤：步骤1、基于初始螺母CAD种子模型，在模拟器中生成训练数据集；步骤2、对得到的数据集进行数据污损，包括对成堆螺母3D模型进行随机深度偏移，引入噪声因子，得到数据污损增强数据集步骤3、对数据污损增强数据集回到模拟器环境采用相机视角拍照，采集RGB图像的深度图，将深度图进一步转化为3D点云数据在模拟器里自动标注真实正确标签，包括实例分割的标签以及知识驱动3D满贴面归一化目标物体单位正方体空间表示实例标签步骤4、将数据污损增强数据集以及实例标签分别作为输入和输出训练一个3D空洞卷积神经网络，即：知识驱动归一化网络用于在测试或推理阶段对输入点云的预测；步骤5、推理阶段：将真实世界相机采集到的实际物体点云输入到知识驱动归一化网络预测输出得到在知识驱动3D满贴面归一化目标物体单位正方体空间的表示；步骤6、基于线下知识驱动数据集的归一化目标物体单位正方体空间表示，通过和线下比较提前学到的归一化空间表示实现密集关联映射，完成物体缺失部分的补全。2.根据权利要求1所述的一种智能机器人的知识驱动3D视觉检测方法，其特征在于，步骤1中，模拟器根据设定参数仿真生成螺母3D模型，通过多次运行试验得到符合需求的训练数据集D。3.根据权利要求1所述的一种智能机器人的知识驱动3D视觉检测方法，其特征在于，在步骤1中生成训练数据集的具体方法如下：步骤101、设置初始螺母3D模型，设计具有基本结构的螺母CAD模型作为种子；步骤102、在模拟器中的空中随机生成n个螺母，每个螺母分别处在不同高度和不同的初始位姿朝向，其中n的取值范围是[10,20]的自然数，即n∈N，取值规则遵循均匀分布，共计取值50个，即在构造数据集的完整试验中n是一个50维向量，其向量元素是取值10到20的自然数，表示为n＝{n1,n2,
…
,n
50
},n
i
∈N,i＝1,2,
…
,50；步骤103、释放随机生成n个螺母，做自由落体运动下落到其正下方承接框容器里面，通过设计微分方程模型来满足螺母的运动符合真实世界物理定律；步骤104、采用仿真到现实的领域随机化方法，包括调整相机姿态，物体初始化姿态随机泛化，物体表面物理摩擦力范围参数适配，螺母刚体弹性系数微调；步骤105、随机初始化空中螺母的高度设定为距离落地点20厘米到50厘米的高度范围，螺母高度值服从均匀分布；每个螺母的位姿朝向由3个参数，为相对于世界坐标系的三个坐标轴X,Y,Z的旋转角度α,β,γ决定，其中取值范围α∈[0,360),β∈[0,180),γ∈[0,360)，角度α,β,γ取值服从均匀分布；步骤106、在上述约束条件以及参数设定基础上，依次选取n＝{n1,n2,
…
,n
50
}中的取值，每个取值运行一次释放这些数量螺母的试验以构建物体堆放数据集，其中n
i
,i＝1,2,
…
,25个螺母的释放是依次逐个单独释放，前一个螺母落到下方承接框容器里面稳定后，再释
放下一个螺母；步骤107、依次重复运行步骤105、106，共计运行试验25次，得到螺母数分别为n1,n2,
…
,n
25
的试验结果数据集，分别编号为D1,D2,
…
,D
25
；步骤108、依次选取n＝{n
26
,n
27<...

【专利技术属性】
技术研发人员：曹东，
申请(专利权)人：无锡东如科技有限公司，
类型：发明
国别省市：