一种基于深度学习的视觉定位方法、系统和存储介质技术方案

本发明专利技术公开了一种基于深度学习的视觉定位方法、系统和存储介质。所述视觉定位方法，包括如下步骤：S1、对相机的内参进行标定；S2、采集工件的图像，并对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；S3、使用定位检测模型对工件进行检测，得到候选定位区域，再使用关键点检测模型对候选区域进行相应类别的关键点检测、并提取关键点，然后计算每个关键点在工件坐标系下的三维坐标；S4、根据所述关键点的图像坐标、所述关键点在工件坐标系下的三维坐标以及相机内参矩阵，求解工件相对相机的相对位姿，最后计算出工件的旋转矩阵和平移矩阵；具有精度高，鲁棒性高等优点。鲁棒性高等优点。鲁棒性高等优点。

【技术实现步骤摘要】
一种基于深度学习的视觉定位方法、系统和存储介质


[0001]本专利技术属于深度学习
，具体涉及一种基于深度学习的视觉定位方法、系统和存储介质。

技术介绍

[0002]在现有的视觉定位技术中，大多都是通过多相机协同，又或者通过深度相机来估计工件姿态，以及通过单目姿态估计来定位工件，这些都需要高精度的真值来训练模型，而这在实际工作中，是非常难以获取的。在机器定位应用中，标准工件的3D模型，深度相机的精度和噪声以及多相机标定的稳定性直接影响视觉定位的准确性。
[0003]中国专利文献CN112927297 A中公开了一种基于YOLO系列的目标检测和视觉定位方法，包括以下步骤：首先，获取待抓取目标的RGB彩色图像图像和深度图像；将采集的RGB彩色图像输入基于darknet框架搭建的YOLO系列目标检测模型中，获得坐标信息和类别及置信度；将坐标信息结合深度图像信息解算出待检测目标的空间三维坐标。但是该方法中还存在定位精度不高、噪声影响较大等问题。
[0004]有鉴于此，有必要开发一种基于深度学习的视觉定位方法来解决上述技术问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习的视觉定位方法、系统和存储介质。解决现有的视觉定位方法中还存在定位精度不高、噪声影响较大等问题。
[0006]本专利技术的一个目的在于提供一种基于深度学习的视觉定位方法。
[0007]一种基于深度学习的视觉定位方法，包括如下步骤：
[0008]S1、对相机的内参进行标定；
[0009]S2、采集工件的图像，并对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；
[0010]S3、使用定位检测模型对工件进行检测，得到候选定位区域，再使用关键点检测模型对候选区域进行相应类别的关键点检测、并提取关键点，然后计算每个关键点在工件坐标系下的三维坐标；
[0011]S4、根据所述关键点的图像坐标、所述关键点在工件坐标系下的三维坐标以及相机内参矩阵，求解工件相对相机的相对位姿，最后计算出工件的旋转矩阵和平移矩阵。
[0012]进一步地，步骤S1中，所述相机的内参通过张正友标定法进行标定。
[0013]进一步地，步骤S2中，所述工件特征区域以及特征区域内的特征点是基于深度学习进行标注。
[0014]进一步地，步骤S2中，所述定位检测模型是基于YOLOX模型训练工件各个面上具有特征的区域得到的。
[0015]进一步地，步骤S2中，所述关键点检测模型是基于HRNet训练各个特征区域内自定
义的特征点得到的。
[0016]进一步地，步骤S2中，所述工件的3D模型是已知的。
[0017]进一步地，步骤S4中，所述求解的算法为DLT、EPnP、PnP中的一种。
[0018]本专利技术还提供一种基于深度学习的视觉定位系统。
[0019]一种基于深度学习的视觉定位系统，所述视觉定位系统包括：
[0020]相机内参标定模块：用于对相机的内参进行标定；
[0021]检测模型的获取模块：采集工件的图像，并对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；
[0022]检测模块：用于使用定位检测模型对工件进行检测，得到候选定位区域，再使用关键点检测模型对候选区域进行相应类别的关键点检测、并提取关键点，然后计算每个关键点在工件坐标系下的三维坐标；
[0023]视觉定位模块：用于根据所述关键点的图像坐标、所述关键点在工件坐标系下的三维坐标以及相机内参矩阵，求解工件相对相机的相对位姿，最后计算出工件的旋转矩阵和平移矩阵。
[0024]本专利技术最后提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行上述任一项所述的检测方法。
[0025]与现有技术相比，本专利技术具有如下优点：
[0026]本专利技术利用定位检测模型对工件易于定位的部分进行常规检测，再对检测出的候选框利用关键点检测模型去提取特征点，由于工件的3D模型是已知，并且这些特征点之间的位置关系是已知的，通过求解该特征点集的旋转平移矩阵，已得到该识别对象的姿态信息，即可实现工件定位；另外，本专利技术所述的方法能有效降低系统成本，并且在特定场景下，具有精度高，鲁棒性高等优点。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术基于深度学习的视觉定位方法流程图；
[0029]图2为本专利技术基于深度学习的视觉定位系统框架图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]请参阅图1，一种基于深度学习的视觉定位方法，包括如下步骤：
[0032]S1、对相机的内参进行标定；
[0033]具体而言，所述相机的内参通过张正友标定法进行标定。
[0034]S2、采集工件的图像，并对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；
[0035]具体而言，所述工件特征区域以及特征区域内的特征点是基于深度学习进行标注；所述定位检测模型是基于YOLOX模型训练工件各个面上具有特征的区域得到的；所述关键点检测模型是基于HRNet训练各个特征区域内自定义的特征点得到的；所述工件的3D模型是已知的。
[0036]S3、使用定位检测模型对工件进行检测，得到候选定位区域，再使用关键点检测模型对候选区域进行相应类别的关键点检测、并提取关键点，然后计算每个关键点在工件坐标系下的三维坐标；
[0037]S4、根据所述关键点的图像坐标、所述关键点在工件坐标系下的三维坐标以及相机内参矩阵，求解工件相对相机的相对位姿，最后计算出工件的旋转矩阵和平移矩阵。
[0038]具体而言，所述求解的算法为DLT、EPnP、PnP中的一种；在本专利技术的方案中，优选算法为PnP。
[0039]下面以刚性工件为例进行说明，所述刚性工件的3D模型是已知的。
[0040]S1、首先采用张正友标定法对相机的内参进行标定；
[0041]S2、然后采集刚性工件的图像，并且基于深度学习对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；
[0042]所述定位检测模型是基于YOLOX模型训练工件各个面上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视觉定位方法，其特征在于，包括如下步骤：S1、对相机的内参进行标定；S2、采集工件的图像，并对工件特征区域以及特征区域内的特征点进行标注，然后进行离线训练，获得定位检测模型和关键点检测模型；S3、使用定位检测模型对工件进行检测，得到候选定位区域，再使用关键点检测模型对候选区域进行相应类别的关键点检测、并提取关键点，然后计算每个关键点在工件坐标系下的三维坐标；S4、根据所述关键点的图像坐标、所述关键点在工件坐标系下的三维坐标以及相机内参矩阵，求解工件相对相机的相对位姿，最后计算出工件的旋转矩阵和平移矩阵。2.根据权利要求1所述的基于深度学习的视觉定位方法，其特征在于，步骤S1中，所述相机的内参通过张正友标定法进行标定。3.根据权利要求1所述的基于深度学习的视觉定位方法，其特征在于，步骤S2中，所述工件特征区域以及特征区域内的特征点是基于深度学习进行标注。4.根据权利要求1所述的基于深度学习的视觉定位方法，其特征在于，步骤S2中，所述定位检测模型是基于YOLOX模型训练工件各个面上具有特征的区域得到的。5.根据权利要求1所述的基于深度学习的视觉定位方法，其特征在于，步骤S2中，所述关键点检...

【专利技术属性】
技术研发人员：褚怡文，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：