抓取位置检测模型训练方法、抓取位置检测方法及装置制造方法及图纸

本公开提供了一种抓取位置检测模型训练、抓取位置检测方法及装置，其中，模型训练方法包括：获取多张样本图像，以及与各张样本图像对应的抓取位置投票标签图；利用神经网络，对多张样本图像进行特征提取，得到多张样本图像中的每张样本图像对应的特征数据，并基于特征数据，获取抓取位置投票预测图；基于抓取位置投票预测图以及抓取位置投票标签图训练神经网络，得到抓取位置检测模型。通过该方法训练得到的抓取位置检测模型能够在像素级别上，对图像中物体的抓取位置进行检测，从而可以更准确的检测到物体的抓取位置。进而在控制机器人抓取物体时，准确度也更高。

Training method, detection method and device of grab position detection model

【技术实现步骤摘要】
抓取位置检测模型训练方法、抓取位置检测方法及装置
本公开涉及图像处理
，具体而言，涉及一种抓取位置检测模型训练方法、抓取位置检测方法、物品抓取方法及装置。
技术介绍
随着计算机软硬件的快速发展，人工智能技术日益成熟，作为人工智能走向落地的重要应用，机器人受到了广泛的关注。例如在物流领域，机器人被大量应用于自动分拣、搬运、码垛等，并逐渐替代人力成为物流链的重要组成。人工智能在应用于物流领域中时，在很多项工作中都需要机器人能够根据场景中的点云数据，确定物品在场景中的位置，然后控制机器人上的抓取部件按照位置进行物品抓取。但在多种库存单位(StockKeepingUnit，SKU)的物品相互堆叠场景下，当前的目标检测方法存在检测精度低的问题。
技术实现思路
本公开实施例至少提供一种抓取位置检测模型训练方法、抓取位置检测方法、物品抓取方法及装置。第一方面，本公开实施例提供了一种抓取位置检测模型训练方法，包括：获取多张样本图像，以及与各张所述样本图像对应的抓取位置投票标签图；其中，每张所述样本图像中均包括至少一种类本文档来自技高网...

【技术保护点】
1.一种抓取位置检测模型训练方法，其特征在于，包括：/n获取多张样本图像，以及与各张所述样本图像对应的抓取位置投票标签图；其中，每张所述样本图像中均包括至少一种类别下随机堆叠的多个物体；所述抓取位置投票标签图中包括对应样本图像中的各个像素点对位于样本图像中的任一物体的抓取位置进行投票的真实投票信息；/n利用神经网络，对所述多张样本图像进行特征提取，得到所述多张样本图像中的每张样本图像对应的特征数据，并基于所述特征数据，获取抓取位置投票预测图；/n基于所述抓取位置投票预测图以及所述抓取位置投票标签图训练所述神经网络，得到所述抓取位置检测模型。/n

【技术特征摘要】
1.一种抓取位置检测模型训练方法，其特征在于，包括：
获取多张样本图像，以及与各张所述样本图像对应的抓取位置投票标签图；其中，每张所述样本图像中均包括至少一种类别下随机堆叠的多个物体；所述抓取位置投票标签图中包括对应样本图像中的各个像素点对位于样本图像中的任一物体的抓取位置进行投票的真实投票信息；
利用神经网络，对所述多张样本图像进行特征提取，得到所述多张样本图像中的每张样本图像对应的特征数据，并基于所述特征数据，获取抓取位置投票预测图；
基于所述抓取位置投票预测图以及所述抓取位置投票标签图训练所述神经网络，得到所述抓取位置检测模型。


2.根据权利要求1所述的抓取位置检测模型训练方法，其特征在于，在所述样本图像中，针对像素点为任一物体的中心像素点的情况，该像素点对应的真实投票信息包括：该像素点属于所述任一物体的中心像素点的分类信息；
针对像素点为任一物体上非中心素点的情况，该像素点对应的真实投票信息包括：该像素点与所述任一物体上中心像素点之间的距离信息，以及该像素点属于所述任一物体的非中心像素点的分类信息；
针对任一像素点为不属于任何物体上像素点的情况，该任一像素点对应的真实投票信息包括：该像素点不属于任何物体的分类信息。


3.根据权利要求1或2所述的抓取位置检测模型训练方法，其特征在于，获取与各张所述样本图像对应的抓取位置投票标签图，包括：
获取样本图像中各个像素点的真实投票信息；
基于样本图像中的各个像素点的真实投票信息，生成所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值；
基于所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值，构成所述抓取位置投票标签图。


4.根据权利要求1-3任一项所述的抓取位置检测模型训练方法，其特征在于，采用下述方式获取所述样本图像：
基于仿真数据采集系统搭建目标场景；所述目标场景中包括至少一种类别下随机堆叠的多个物体；
基于所述目标场景，获取所述样本图像。


5.根据权利要求4所述的抓取位置检测模型训练方法，其特征在于，基于所述仿真数据采集系统搭建目标场景，包括：
基于预先生成的物体模型，随机生成所述至少一种类别下的多个物体实例；
控制所述物体实例在所述目标场景中随机堆叠。


6.根据权利要求5所述的抓取位置检测模型训练方法，其特征在于，所述目标场景中，还包括：工作台；
所述基于所述仿真数据采集系统搭建目标场景，还包括：
基于预先生成的工作台模型，随机生成至少一个工作台实例；
所述控制所述物体实例在所述目标场景中随机堆叠，包括：
控制所述物体实例在所述工作台实例上随机堆叠。


7.根据权利要求5或6所述的抓取位置检测模型训练方法，其特征在于，所述控制所述物体实例在所述目标场景中随机堆叠，包括：
控制所述物体实例在所述目标场景中随机掉落，以在所述物体实例稳定后在所述目标场景中形成所述物体实例的随机堆叠。


8.根据权利要求5-7任一项所述的抓取位置检测模型训练方法，其特征在于，所述基于预先生成的物体模型，随机生成所述至少一种类别下的多个物体实例，包括：
对所述物体模型进行随机化处理，和/或，对所述目标场景进行随机化处理，生成所述至少一种类别下的多个物体实例。


9.根据权利要求8所述的抓取位置检测模型训练方法，其特征在于，对所述物体模型的随机化处理包括下述至少一种：
物体数量随机化处理、物体尺寸随机化处理、物体形状随机化处理、物体纹理随机化处理、物体掉落位置随机化处理、物体掉落姿态随机化处理、以及物体的摆放方式随机化处理；
对所述目标场景的随机化处理包括下述至少一种：环境光照方向的随机化处理、环境光照强度的随机化处理、摄像头摆放位置的随机化处理、以及摄像头拍摄角度的随机化处理。


10.根据权利要求4-8所述的抓取位置检测模型训练方法，其特征在于，获取与各张样本图像对应的抓取位置投票标签图，包括：
基于各个物体在所述目标场景中的位置信息，以及在获取所述样本图像时的拍摄位置信息，确定所述样本图像中的各个像素点对位于所述样本图像中的任一物体的抓取位置进行投票的真实投票信息；
基于所述真实投票信息，生成所述抓取位置投票标签图。


11.根据权利要求1-10任一项所述的抓取位置检测模型训练方法，其特征在于，所述利用神经网络，对所述多张样本图像进行特征提取，包括：
对所述多张样本图像进行归一化；...

【专利技术属性】
技术研发人员：吴华栋，高鸣岐，周韬，成慧，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44