一种散料堆场移动机器人3D环境感知方法技术

本发明专利技术提供了一种散料堆场移动机器人3D环境感知方法，属于环境感知技术领域。解决了当前基于学习在3D环境感知中存在的不足的问题。其技术方案为：系统部署，针对现场工作环境，对相机和传感器进行选型；散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；3

【技术实现步骤摘要】
一种散料堆场移动机器人3D环境感知方法


[0001]本专利技术涉及环境感知
，尤其涉及一种散料堆场移动机器人3D环境感知方法。

技术介绍

[0002]露天大型散料堆料的作业及盘库的一项十分重要的工作。料场占地大，种类繁多且料堆摆放不规则，人工作业困难，无法满足当前抓料的巨大需求。而在复杂的非结构化环境中充分观察环境信息是智能机器面临的一个重要挑战，机器的感知能力会直接影响其在任务中的表现，仅依靠单一类型的传感器感知环境很难满足当前复杂的工作需求。此外，装配任务中的传统编程方法需要技术水平高、工作经验丰富的技术人员完成大量的代码编译和参数部署。这不仅需要时间和精力，也限制了生产线的灵活性。结构化环境中的传统编程方法已不能满足需要频繁升级的需求。因此，利用基于学习的方法训练机器独立获得工作技能的研究越来越多，经过训练的机器可以自主地与环境交互，完成工作。
[0003]目前，基于学习的3D环境感知方法取得了诸多研究进展，但是仍然普遍存在一些技术上的不足，从而限制了这些3D环境感知方法在实际工程中的大规模应用。这些不足主要体现在以下几个方面。
[0004](1)部分3D环境感知方法仅仅依靠视觉进行感知，可以获得非常高分辨率的感知结果，但是无法直接获得物体的深度；
[0005](2)部分3D环境感知方法虽然利用基于学习的方法提升了机器的环境感知能力，但是由于其深度神经网络结构复杂冗余，往往需要部署大量的参数，这就需要技术人员花费大量的时间进行编程部署；
[0006](3)3D环境感知方法对多样化负责环境感知困难，通常对语义信息进行定性感知，对对距离、结构等几何信息的定量感知却不尽人意。

技术实现思路

[0007]本专利技术的目的在于提供一种散料堆场移动机器人3D环境感知方法。
[0008]为了实现上述专利技术目的，本专利技术采用技术方案具体为：
[0009]一种散料堆场移动机器人3D环境感知方法，包括：
[0010]Step1、系统部署，针对现场工作环境，对相机和传感器进行选型；
[0011]Step2、散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；
[0012]Step3、3
‑
D环境建模，使用ICP算法来拟合预扫描的三维物体模型并估计其姿态；
[0013]Step4、触觉信息与视觉信息结合训练，通过视觉特征预测对准调整动作，再根据力与力矩信息判断出点状态，从而选择对准调节动作作出视觉预测标签，最后视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。
[0014]所述step1中对相机和传感器的选型参考视觉、像素和精度要求的因素。
[0015]所述step2中处理分割对象的副本，将分割和聚合的点云分割成适当数量的对象。然后在算法的模型拟合阶段对每个聚类进行独立处理。
[0016]所述step3中通过对点云进行三维均匀平均网格滤波，可以得到点云在三维空间中的一致分布。
[0017]所述step3中解决点云噪声问题，使其收敛到一个精确的姿态。
[0018]所述step4中基于自监督深度强化学习的组合感知方法中，智能体首先通过视觉特征预测对准调整的动作；然后根据力和力矩信息判断触点状态，接触状态选择对准调整动作，并作为视觉预测标签；视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。最后，随着迭代训练的增加，智能体将学会组合感知的抓取技能。
[0019]与现有技术相比，本专利技术的有益效果为：
[0020]1、本专利技术通过散料料场盘库等相关作业的自动执行，减少现场作业人员，同时提高了料场盘库的准确性与实时性，实现了料场作业的无人化高效运行。
[0021]2、本专利技术使用了将触觉感知与视觉感知相结合的自监督深度强化学习方法，在训练过程中不需要人工干预，大大降低了数据收集的难度和成本，实现了采集与训练过程的有效统一。
[0022]3、本专利技术中视觉感知和触觉感知建立了映射关系，使移动机器能够很好地感知环境信息的变化,同时对位置、类型等不同信息进行感知。
附图说明
[0023]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0024]图1为本专利技术散料堆场移动机器人3D环境感知方法流程示意图。
[0025]图2为本专利技术构建的3D环境感知模型训练过程示意图。
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0027]实施例1
[0028]一种散料堆场移动机器人3D环境感知方法，包括：
[0029]Step1、系统部署，针对现场工作环境，对相机和传感器进行选型；
[0030]Step2、散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；
[0031]Step3、3
‑
D环境建模，使用ICP算法来拟合预扫描的三维物体模型并估计其姿态；
[0032]Step4、触觉信息与视觉信息结合训练，通过视觉特征预测对准调整动作，再根据力与力矩信息判断出点状态，从而选择对准调节动作作出视觉预测标签，最后视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。
[0033]所述step1中对相机和传感器的选型参考视觉、像素和精度要求的因素。
[0034]所述step2中处理分割对象的副本，将分割和聚合的点云分割成适当数量的对象。
然后在算法的模型拟合阶段对每个聚类进行独立处理。
[0035]所述step3中通过对点云进行三维均匀平均网格滤波，可以得到点云在三维空间中的一致分布。
[0036]所述step3中解决点云噪声问题，使其收敛到一个精确的姿态。
[0037]所述step4中基于自监督深度强化学习的组合感知方法中，智能体首先通过视觉特征预测对准调整的动作；然后根据力和力矩信息判断触点状态，接触状态选择对准调整动作，并作为视觉预测标签；视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。最后，随着迭代训练的增加，智能体将学会组合感知的抓取技能。
[0038]实施例2
[0039]在实施例1的基础上，
[0040]Step1：系统部署
[0041]本专利技术选取的视觉系统从多个视角接收RGB
‑
D图像，输出6D姿态和分割的点云，供机器完成抓料任务。摄像机紧凑集成在6自由度工业机械手ABB IRB1600id的末端执行器中，并指向指尖，以提供关于抓取或吸力成功的反馈。选择相机RealSense F200 RGB
‑
D，因为它的深度范围(0.2m
‑
1.2m)适合近距离操作，而且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种散料堆场移动机器人3D环境感知方法，其特征在于，所述方法包括：Step1、系统部署，针对现场工作环境，对相机和传感器进行选型；Step2、散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；Step3、3
‑
D环境建模，使用ICP算法来拟合预扫描的三维物体模型并估计其姿态；Step4、触觉信息与视觉信息结合训练，通过视觉特征预测对准调整动作，再根据力与力矩信息判断出点状态，从而选择对准调节动作作出视觉预测标签，最后视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。2.根据权利要求1所述的一种散料堆场移动机器人3D环境感知方法，其特征在于，所述step1中对相机和传感器的选型参考视觉、像素和精度要求的因素。3.根据权利要求1所述的一种散料堆场移动机器人3D环境感知方法，其特征在于，所述step2中处理分割...

【专利技术属性】
技术研发人员：何晓峰，
申请(专利权)人：南通长石科技有限公司，
类型：发明
国别省市：