【技术实现步骤摘要】
一种基于双视角的推抓协同分拣网络及其分拣方法和系统
本专利技术属于机器人应用
，更具体地，涉及一种基于双视角的推抓协同分拣网络及其分拣方法和系统。
技术介绍
物体抓取作为机器人分拣操作的主要手段，机器人抓取操作能力的高低直接决定了分拣的效率，鲁棒高效的分拣物体是当前机器人学的研究热点。当前的物体抓取方法大多是针对非堆叠式的物体场景，利用相机拍摄场景图片，结合传统图像处理方法以及机器学习的方法，进行物体的分割与识别。但随着工业应用场景越来越复杂，往往会存在多种目标物体、物体位姿的任意摆放、多个物体间的相互接触与遮挡等不利于分拣的情况。传统的抓取方式在面对上述情形时很难完成分拣任务。最近，基于深度Q学习(DeepQNetwork，DQN)算法的深度强化学习抓取策略为分拣任务提供了新的方向。由于深度强化学习结合了深度学习感知能力和强化学习的决策能力，使得学习得到的抓取策略能应对更为复杂的抓取场景。但是当前基于深度强化学习的抓取策略在面对杂乱堆叠场景时抓取成功率低，泛化能力较差。
技术实现思路
针对...
【技术保护点】
1.一种基于双视角的推抓协同分拣网络的训练方法，其特征在于，包括如下步骤：/n(1)分别从两个视角采集样本场景的样本点云图，对样本点云图的俯视图进行旋转，得到多张旋转样本图像；/n(2)将多张旋转样本图像输入到推抓协同分拣网络，推抓协同分拣网络包括推动全卷积网络和抓取全卷积网络，两个全卷积网络分别输出带有Q值的样本热力图，将推动全卷积网络中最大Q值与抓取全卷积网络中最大Q值进行比较，选取其中较大Q值的样本热力图作为目标热力图；/n(3)根据目标热力图中最大Q值对应的像素点以及该热力图对应的旋转图像的旋转角度，选择该热力图对应网络的分拣动作，作为机械臂的执行动作，并根据分拣动...
【技术特征摘要】
1.一种基于双视角的推抓协同分拣网络的训练方法，其特征在于，包括如下步骤：
(1)分别从两个视角采集样本场景的样本点云图，对样本点云图的俯视图进行旋转，得到多张旋转样本图像；
(2)将多张旋转样本图像输入到推抓协同分拣网络，推抓协同分拣网络包括推动全卷积网络和抓取全卷积网络，两个全卷积网络分别输出带有Q值的样本热力图，将推动全卷积网络中最大Q值与抓取全卷积网络中最大Q值进行比较，选取其中较大Q值的样本热力图作为目标热力图；
(3)根据目标热力图中最大Q值对应的像素点以及该热力图对应的旋转图像的旋转角度，选择该热力图对应网络的分拣动作，作为机械臂的执行动作，并根据分拣动作进行奖励计算；
(4)利用计算结果更新目标热力图对应全卷积网络的网络参数，然后返回步骤(1)进行下一次迭代，当迭代次数达到预设值时，得到训练好的推抓协同分拣网络。
2.一种基于双视角的推抓协同分拣网络，其特征在于，所述推抓协同分拣网络通过如权利要求1所述的推抓协同分拣网络的训练方法训练得到，所述推抓协同分拣网络中推动全卷积网络和抓取全卷积网络的网络结构相同，
每个全卷积网络结构包括DenseNet121网络与两个卷积层进行通道级联，每个卷积层带有ReLU激活函数以及批量归一化，并进行双线性上采样。
3.一种基于双视角的推抓协同分拣方法，其特征在于，包括如下步骤：
(1)分别从两个视角采集待分拣物体场景的点云图，对点云图的俯视图进行旋转，得到多张旋转图像；
(2)将多张旋转图像分别输入到经过权利要求1所述训练方法训练得到的推抓协同分拣网络，得到推动全卷积网络和抓取全卷积网络输出的带有Q值的热力图，将推动全卷积网络中最大Q值与抓取全卷积网络中最大Q值进行比较，选取其中较大Q值的热力图作为最终的热力图；
(3)根据最终的热力图中最大Q值对应的像素点以及该热力图对应的旋转图像的旋转角度，控制机械臂执行该热力图对应网络的分拣动作，根据分拣动作进行奖励计算，利用计算结果更新最终的热力图对应网络的网络参数；
(4)判断待分拣物体场景中待分拣对象是否分拣完成，若完成，则结束分拣，否则返回步骤(1)。
4.如权利要求3所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述旋转的具体实现方式为：
对两个视角下点云图的俯视图分别进行旋转，每360°/n旋转一次，其中n＝2的m次幂，m为大于等于1的整数。
5.如权利要求3或4所述的一种基于双视...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。