检测物体的拾取点的方法及装置、设备、介质和机器人制造方法及图纸

本公开涉及一种检测物体的拾取点的方法及装置、设备、介质和机器人。所述方法包括：获取待检测图像和所述待检测图像对应的第一深度图；将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练；根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。

Methods, devices, devices, media and robots for detecting pick-up points of objects

【技术实现步骤摘要】
检测物体的拾取点的方法及装置、设备、介质和机器人
本公开涉及计算机
，尤其涉及检测物体的拾取点的方法及装置、设备、介质和机器人。
技术介绍
随着计算机软硬件技术的发展，人工智能技术日益成熟。作为人工智能走向落地的重要应用，机器人受到了广泛的关注。机器人可被应用于国防军事、工业生产、物流等领域。在物流分拣和工业生产等过程中，多种类的多个物体或紧密、或松散地放置在容器(例如中转箱)或台面上时，如何准确地检测每个物体的拾取点，是亟待解决的问题。
技术实现思路
本公开提供了一种检测物体的拾取点的技术方案。根据本公开的一方面，提供了一种检测物体的拾取点的方法，包括：获取待检测图像和所述待检测图像对应的第一深度图；将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练，所述第一位置预测图用于表示所述待检测图像中的像素所在位置作为拾取点的置信度的预测值，所述第一法向量预测图用于表示所述待检测图像中的像素的切平面的法向量的预测值；根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。在本公开实施例中，通过结合待检测图像与深度图中的信息，能够克服深度图中常常存在大量噪声的问题，从而能够预测得到更准确的待拾取点的位置以及待拾取点对应的法向量。由此机器人或者机械臂等设备根据所述待检测图像中的物体的待拾取点的位置及待拾取点对应的法向量拾取物体，能够提高拾取物体的成功率。在一种可能的实现方式中，所述根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量，包括：将所述第一位置预测图中置信度最大的像素的坐标，确定为所述待检测图像中的物体的待拾取点的坐标；根据所述第一深度图，确定所述待拾取点对应的深度值；根据所述第一法向量预测图，确定所述待拾取点对应的法向量。在该实现方式中，第一位置预测图中像素的置信度越大，则表明以该像素拾取物体的成功率越高。通过采用该实现方式，能够提高拾取物体的成功率。在一种可能的实现方式中，在所述确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量之后，所述方法还包括：将所述待拾取点的坐标、所述深度值以及所述待拾取点对应的法向量，确定为拾取部件的位姿信息。根据该实现方式确定的拾取部件的位姿信息，机器人或者机械臂等设备能够实现六自由度的拾取。在一种可能的实现方式中，在所述将所述待检测图像和所述第一深度图输入神经网络之前，所述方法还包括：获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，其中，所述真实位置图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的真实值，所述真实法向量图用于表示所述训练图像中的像素的切平面的法向量的真实值；将所述训练图像和所述第二深度图输入神经网络，经由所述神经网络输出所述训练图像对应的拾取点的第二位置预测图和所述训练图像对应的第二法向量预测图，其中，所述第二位置预测图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的预测值，所述第二法向量预测图用于表示所述训练图像中的像素的切平面的法向量的预测值；根据所述真实位置图与所述第二位置预测图之间的差异，以及所述真实法向量图与所述第二法向量预测图之间的差异，训练所述神经网络。该实现方式结合训练图像与深度图，充分利用训练图像和深度图中的信息，预测得到像素级的拾取点位置图和法向量图，能够克服深度图中常常存在大量噪声的问题，从而能够预测得到更准确的待拾取点的位置以及待拾取点对应的法向量。在一种可能的实现方式中，所述训练图像为二维图像。根据该实现方式，能够在无需预先获取待拾取物体的三维模型的前提下，结合二维的训练图像与深度图预测得到较准确的像素级的拾取点位置图和法向量图，从而能够降低硬件成本，减小计算开销。在一种可能的实现方式中，所述获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，包括：根据仿真场景的图像，得到训练图像，其中，所述仿真场景中包括物体模型和背景模型；获取所述仿真场景的深度图作为所述训练图像对应的第二深度图；根据所述物体模型的参数，得到所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图。根据该实现方式，能够利用仿真数据训练神经网络，解决真实场景中的物体的拾取点检测的问题。通过采用仿真系统采集训练图像对应的拾取点的真实位置图和训练图像对应的真实法向量图，由此能够大大降低标注成本，从而能够降低整套系统的成本。在一种可能的实现方式中，所述根据仿真场景的图像，得到训练图像，包括：生成仿真场景；控制所述仿真场景中的至少一个物体模型从所述仿真场景中的工作台模型的上方随机掉落在所述工作台模型上，直至所述至少一个物体模型稳定；和/或，对所述仿真场景中的所述物体模型和/或所述背景模型进行随机调整，得到多个训练图像。在该实现方式中，通过控制所述仿真场景中的多个物体模型从所述仿真场景中的工作台模型的上方随机掉落在所述工作台模型上，直至所述多个物体模型稳定，由此能够模仿真实场景中物体堆叠的情况，基于此训练神经网络，能够使神经网络学习处理真实场景中物体堆叠的情况。通过对所述仿真场景中的所述物体模型和/或所述背景模型进行随机调整，由此能够得到大量的训练图像，基于此训练得到的神经网络能够具有较高的准确性和鲁棒性。在一种可能的实现方式中，所述将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，包括：将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络对所述待检测图像和所述第一深度图分别进行特征提取，并对提取的特征进行特征融合，根据特征融合结果得到所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图。在该实现方式中，通过对待检测图像的特征和第一深度图的特征进行特征融合，由此能够充分结合待检测图像与第一深度图中的信息，克服深度图中常常存在大量噪声的问题。在一种可能的实现方式中，所述将所述训练图像和所述第二深度图输入神经网络，经由所述神经网络输出所述训练图像对应的拾取点的第二位置预测图和所述训练图像对应的第二法向量预测图，包括：将所述训练图像和所述第二深度图输入神经网络，经由所述神经网络对所述训练图像和所述第二深度图分别进行特征提取，并对提取的特征进行特征融合，根据特征融合结果得到所述训练图像对应的拾取点的第二位置预测图和所述训练图像对应的第二法向量预测图。在该实现方式中，通过对训练图像的特征和第二深度图的特征进行特征融合，由此能够本文档来自技高网...

【技术保护点】
1.一种检测物体的拾取点的方法，其特征在于，包括：/n获取待检测图像和所述待检测图像对应的第一深度图；/n将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练，所述第一位置预测图用于表示所述待检测图像中的像素所在位置作为拾取点的置信度的预测值，所述第一法向量预测图用于表示所述待检测图像中的像素的切平面的法向量的预测值；/n根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。/n

【技术特征摘要】
1.一种检测物体的拾取点的方法，其特征在于，包括：
获取待检测图像和所述待检测图像对应的第一深度图；
将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练，所述第一位置预测图用于表示所述待检测图像中的像素所在位置作为拾取点的置信度的预测值，所述第一法向量预测图用于表示所述待检测图像中的像素的切平面的法向量的预测值；
根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量，包括：
将所述第一位置预测图中置信度最大的像素的坐标，确定为所述待检测图像中的物体的待拾取点的坐标；
根据所述第一深度图，确定所述待拾取点对应的深度值；
根据所述第一法向量预测图，确定所述待拾取点对应的法向量。


3.根据权利要求1或2所述的方法，其特征在于，在所述确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量之后，所述方法还包括：
将所述待拾取点的坐标、所述深度值以及所述待拾取点对应的法向量，确定为拾取部件的位姿信息。


4.根据权利要求1至3中任意一项所述的方法，其特征在于，在所述将所述待检测图像和所述第一深度图输入神经网络之前，所述方法还包括：
获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，其中，所述真实位置图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的真实值，所述真实法向量图用于表示所述训练图像中的像素的切平面的法向量的真实值；
将所述训练图像和所述第二深度图输入神经网络，经由所述神经网络输出所述训练图像对应的拾取点的第二位置预测图和所述训练图像对应的第二法向量预测图，其中，所述第二位置预测图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的预测值，所述第二法向量预测图用于表示所述训练图像中的像素的切平面的法向量的预测值；
根据所述真实位置图与所述第二位置预测图之间的差异，以及所述真实法向量图与所述第二法向量预测图之间的差异，训练所述神经网络。


5.根据权利要求4所述的方法，其特征在于，所述训练图像为二维图像。


6.根据权利要求4或5所述的方法，其特征在于，所述获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，包括：
根据仿真场景的图像，得到训练图像，其中，所述仿真场景中包括物体模型和背景模型；
获取所述仿真场景的深度图作为所述训练图像对应的第二深度图；
根据所述物体模型的参数，得到所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图。

【专利技术属性】
技术研发人员：吴华栋，高鸣岐，周韬，成慧，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44