基于图像分割的物体定位方法、设备和存储介质技术

本发明专利技术实施例公开一种基于图像分割的物体定位方法、设备和存储介质，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将训练数据库输入完全卷积神经网络中，对完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。本发明专利技术实施例通过以利用实际应用场景中采集的训练样本对完全卷积神经网络模型进行训练，获取优化的完全卷积神经网络模型，有较高的鲁棒性和分割精度。特别是，在处理物流系统中的信封包裹时，能够对多个相互重叠的信封区域进行高精度分割，使得机械手每一次抓取的时候只抓取一个信封，极大提高物流分拣的精确度。

【技术实现步骤摘要】
基于图像分割的物体定位方法、设备和存储介质
本专利技术实施例涉及机器人分拣领域，特别涉及基于图像分割的物体定位方法、设备和存储介质。
技术介绍
目前随着物流自动化的发展，机器人分拣也越来越火热。越来越多的货物需要快速进行分拣。在实际操作中，许多货物堆叠在一起，需要进行区分。但是，现有的图像分割算法通常仅算出一个大致的矩形边框，不能准确的涵盖物体的所有像素点，包含了大量的背景信息，并造成定位不准确，也无法得到准确的姿态。
技术实现思路
本专利技术实施例的主要目的是提供一种基于图像分割的物体定位方法、设备和存储介质，旨在使图像分割精确到物体的每一像素，使图像分割达到像素级别，以达到目标物体定位准确和姿态判断准确的效果。根据本专利技术的一个方面，提供的一种基于图像分割的物体定位方法，用于物流系统中，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。进一步的，所述收集训练图像并对训练图像进行标注包括：摄像头在不同角度拍摄多个互相重叠的训练物体，获取其训练图像。进一步的，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注。进一步的，所述训练物体的标注为像素级别的人工标注。进一步的，所述完全卷积神经网络设有卷积层、池化层以及反卷积层。进一步的，所述将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络包括：根据所述述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。进一步的，所述目标神经网络包括所述目标反卷积层，以及所述根据目标神经网络，对物流系统中的物体图像进行标记与定位包括：物体图像通过目标神经网络的下样化，获得所述物体图像的多个像素点组成；在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像。进一步的，所述根据目标神经网络，对物流系统中的物体图像进行标记与定位还包括：根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。进一步的，所述在分类图像中定位标记目标物体的边界包括：根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出目标物体区域。进一步的，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。根据本专利技术的另一方面，提供一种基于图像分割的物体定位设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的基于图像分割的物体定位方法的步骤。根据本专利技术的再一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于图像分割的物体定位方法的步骤。本专利技术实施例所提供的基于图像分割的物体定位方法、设备和存储介质，通过以利用实际应用场景中采集的训练样本对完全卷积神经网络模型进行训练。这样，经过迭代训练，本专利技术实施例的图像分割的技术方案可以获取到优化的完全卷积神经网络模型。在此基础上，本专利技术实施例的基于图像分割的物体定位方法可以有较高的鲁棒性和分割精度。特别是，本专利技术实施例的基于图像分割的物体定位方法在处理物流系统中的信封包裹时，能够对多个相互重叠的信封区域进行高精度分割，精确的提取出位于最上层的一个信封，使得机械手每一次抓取的时候只抓取一个信封，极大提高物流分拣的精确度与体验感。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术实施例提供的一种基于图像分割的物体定位方法的流程图；图2为本专利技术实施例提供的另一种基于图像分割的物体定位方法的流程图；图3为本专利技术实施例中物体标记与定位方法的应用例的一示意；图4为本专利技术实施例中物体标记与定位方法的应用例的另一示意图；本专利技术实施例目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例。实施例一本实施例提供了一种基于图像分割的物体定位方法，用于物流系统中，使得精确的分割出目标物体以供机械手抓取，请结合参看图1至图4，所述基于图像分割的物体定位方法包括：S1、收集训练图像并对训练图像进行标注，形成一个训练数据库。其中，在物流分拣信封的场景下，根据多个信封在分拣时出现的实际情况，将多个信封根据出现的实际情况摆放出不同的状态，获取信封的训练图像可以成千上万，通过越多的训练图像能够越多的训练分类模型。多个训练分类模型包括处于多种形态，多种角度，多种距离和或多种光线的物体状态，从而能够使训练结果具有更强的鲁棒性。具体的，比如三个信封相互重叠，位于最上方的信封没有被遮挡，多个摄像头从不同角度拍摄第一场景图像，以此收集训练图像；或者四个信封相互重叠，位于表面的一个信封的没有被遮挡的面积为70％，多个摄像头从不同角度拍摄第二场景图像，以此收集训练图像。此步骤为在实际应用场景中采集的多样性的训练样本，对每一个训练样本进行手工标注，手工标注为像素级别的标注，最后所有的训练样本形成一个训练数据库。具体的，通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。其中，本实施例中，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注，其中预设条件为设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，最上层的物体没有被遮挡的部分，而通过未被遮挡的区域完整度达到70％的物体，则能够使得训练更具有针对性，能够使得视觉结构识别出目标物体，使得系统在识别原始图像中的物体时，仅仅能够识别到最上层，并且能够抓取的物体。S2、设计一个完全卷积神经网络。本文所使用的完全卷积神经网络使用具有生物神经元的简化功能的人工神经元，人工神经元可以通过具有连接加权的连接线进行连接。神经网络可以通过人工神经元执行至少一定程度上类似于人的识别功能或训练处理的识别功能或训练处理。人造神经元也被称为节点。所述完全卷积神经网络设有卷积层、池化层以及反卷积层。卷积层可以接收用于执行训练的输入，并且将输入传送到池化层。反卷积层可以基于从池化层的节点接收的信号生成完全卷积神经网络的输出。池化层可以被布置在卷积层和反卷积层之间，并且将通过输入层传送的训练数据改变到预测值。S3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络。具体的，根据所述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。在所述完全卷积神经网络中包括一图像模型，图像模型是指被训练为基于输入生成期望输出的模型，并本文档来自技高网...

【技术保护点】
1.一种基于图像分割的物体定位方法，用于物流系统中，其特征在于，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。

【技术特征摘要】
1.一种基于图像分割的物体定位方法，用于物流系统中，其特征在于，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。2.如权利要求1所述的基于图像分割的物体定位方法，其特征在于，所述收集训练图像并对训练图像进行标注包括：摄像头在不同角度拍摄多个互相重叠的训练物体，获取其训练图像。3.如权利要求2所述的基于图像分割的物体定位方法，其特征在于，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注。4.如权利要求3所述的基于图像分割的物体定位方法，其特征在于，所述训练物体的标注为像素级别的人工标注。5.如权利要求1所述的基于图像分割的物体定位方法，其特征在于，所述完全卷积神经网络设有卷积层、池化层以及反卷积层。6.如权利要求5所述的基于图像分割的物体定位方法，其特征在于，所述将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络包括：根据所述述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。7.如权利要求6所述的基于图像分割的物体定位方法，其特征在于，所述目标神经网络包括所述目标反卷积层，以及所述根据目标神经网络，对物流系统中的物体图像进行标记与定位包括：物...

【专利技术属性】
技术研发人员：邓耀桓，
申请(专利权)人：深圳蓝胖子机器人有限公司，
类型：发明
国别省市：广东,44