一种基于堆积沙漏网络的单/多目标关键点定位方法技术

本发明专利技术公开了一种基于堆积沙漏网络的单/多目标关键点定位方法，包括：(1)采集训练样本集；(2)生成训练样本集对应的热度图标签数据集；(3)利用训练样本集以及对应热度图标签数据集构建堆积沙漏残差网络模型；(4)获取待定位单/多控制目标的原始图像，输入至训练得到的堆积沙漏残差网络模型，获得单/多待定位控制目标的关键点坐标；(5)实现对单/多控制目标的定位和抓取。方法对机器人控制目标特征提取既可以充分利用物体特征信息，又充分考虑到外界干扰的影响，同时避免了普通深度神经网络对位置，姿态信息难以标定的问题，从而对机器人控制目标姿态检测技术实现了提升。

【技术实现步骤摘要】
一种基于堆积沙漏网络的单/多目标关键点定位方法
本专利技术属于机器人控制目标定位
，具体是涉及一种基于堆积沙漏网络的单/多目标关键点定位方法。
技术介绍
在现代工业生产过程中，随着工业机器人在工业领域的广泛应用，一些不适合于人工作业的危险工作环境或简单而重复的大批量工业生产操作已经逐步被机器作业替代。在工业制造现场，工业机器人能够实现对产品实行高效的抓取、分拣操作，但是机器操作精度受机器视觉系统对产品识别定位，姿态估计等各方面检测精度限制而较难满足于工业生产应用，从而限制了工业机器人的普及应用，对于满足工业生产的视觉检测方法的研究是一种挑战。同时，随着基于物体特征的机器视觉技术和图像处理算法的不断进步，具有优越性能的机器视觉系统在工业生产领域得到广泛应用。其中，基于提取颜色特征的算法简单且具有缩放旋转以及平移不变性，但颜色信息不足之处在于忽略了图像中的空间位置关系，并且颜色特征受外界光照因素干扰大。基于纹理特征物体检测方法能够很好的获取物体结构和空间信息，但对于某些工业产品其表面纹理特征不明显，基于纹理特征的检测方法适用性不高。而本文档来自技高网...

【技术保护点】
1.一种基于堆积沙漏网络的单/多目标关键点定位方法，其特征在于，包括如下步骤：/n(1)采集正常运行过程的机器人单/多控制目标不同位姿的图像数据，组成训练样本集；/n(2)对训练样本集进行预处理，根据控制目标的关键点坐标，生成训练样本集对应的热度图标签数据集；/n(3)利用预处理后的训练样本集以及对应热度图标签数据集对构建的堆积沙漏残差网络模型进行训练，获取得到所述堆积沙漏残差网络模型的最优参数；/n(4)利用获取待定位单/多控制目标的原始图像，并对该图像进行预处理，然后输入至训练得到的堆积沙漏残差网络模型，获得单/多待定位控制目标的关键点坐标；/n(5)利用得到的控制目标的关键点坐标信息，实...

【技术特征摘要】
1.一种基于堆积沙漏网络的单/多目标关键点定位方法，其特征在于，包括如下步骤：
(1)采集正常运行过程的机器人单/多控制目标不同位姿的图像数据，组成训练样本集；
(2)对训练样本集进行预处理，根据控制目标的关键点坐标，生成训练样本集对应的热度图标签数据集；
(3)利用预处理后的训练样本集以及对应热度图标签数据集对构建的堆积沙漏残差网络模型进行训练，获取得到所述堆积沙漏残差网络模型的最优参数；
(4)利用获取待定位单/多控制目标的原始图像，并对该图像进行预处理，然后输入至训练得到的堆积沙漏残差网络模型，获得单/多待定位控制目标的关键点坐标；
(5)利用得到的控制目标的关键点坐标信息，实现对单/多控制目标的定位和抓取。


2.根据权利要求1所述的基于堆积沙漏网络的单/多目标关键点定位方法，其特征在于：步骤(5)中，对于单个控制目标的情况，直接获取其关键点坐标，实现对控制目标的定位和抓取；对于多个控制目标的情况，进行优先抓取目标判定：获取多个控制目标的关键点信息，比较各个控制目标的关键点中置信度最低的关键点集合，取关键点集合中置信度最大的关键点所对应控制目标为优先抓取目标，按照相同方法对剩余控制目标进行判断，得到多个控制目标优先抓取顺序。


3.根据权利要求1所述的基于堆积沙漏网络的单/多目标关键点定位方法，其特征在于：步骤(2)中，通过控制目标的关键点坐标，生成训练样本集对应的热度图标签数据集的方法如下：
根据控制目标特点，确定关键点坐标和关键点数量；针对每个关键点，生成对应的能够反映关键点概率的热度图标签数据；
对于多控制目标，在相邻控制目标热度图标签数据之间增加隔离通道。


4.根据权利要求3所述的基于堆积沙漏网络的单/多目标关键点定位方法，其特征在于：
针对每个关键点，生成对应的能够反映关键点概率的热度图标签数据的公式如下...

【专利技术属性】
技术研发人员：周乐，戴世请，曾银雪，侯北平，刘薇，张淼，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33