装载位置三维坐标获取方法、系统及图像识别设备技术方案

本发明专利技术提供了一种装载位置三维坐标获取方法、系统及图像识别设备，涉及图像识别技术领域，通过摄像头获取装载位置所在场景的RGB图像和深度图像，RGB图像和深度图像相互配准；利用深度学习模型对RGB图像进行处理，得到装载位置的候选区域；从候选区域中筛选出包含装载位置的目标区域，并从目标区域中提取装载位置的图像坐标；根据图像坐标、深度图像以及摄像头参数得到装载位置的三维坐标。本发明专利技术可以实时获取装载位置所在场景的图像，并识别装载位置在图像中的坐标，从而得到装载位置的三维坐标，不受挖掘机和装载车之间的位置限制，识别准确度较高，并且可以提高工作效率。

【技术实现步骤摘要】
装载位置三维坐标获取方法、系统及图像识别设备
本专利技术涉及图像识别
，尤其是涉及一种装载位置三维坐标获取方法、系统及图像识别设备。
技术介绍
在挖掘机工作过程中，在挖掘机铲起目标物料后，根据识别到的装载车车斗的三维坐标，结合该坐标及铲斗当前位置生成轨迹，然后通过反馈控制将物料准确放入到装载车车斗中。在传统工程机械领域，可以在装载位置和挖掘机位置整体固定不变时，依靠两者间固定的空间关系完成装载位置的三维坐标获取。但是存在以下缺点：需要挖掘机和装载车的位置固定不变，实际应用场景有限；存在误差积累现象，识别不准确，将最终导致控制失效；需要在工作一段时间后进行误差纠正，从而导致工作效率较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种装载位置三维坐标获取方法、系统及图像识别设备，以缓解现有的装载位置识别方法存在的应用场景有限、识别不准确以及工作效率较低的技术问题。第一方面，本专利技术实施例提供了一种装载位置三维坐标获取方法，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域；从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域的步骤，包括：将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；将所述特征图输入候选区域生成网络，生成多个候选矩形区域；根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标的步骤，包括：从所述深度图像中获取深度值，并将所述深度值作为Z坐标；其中，所述深度值为以所述图像坐标为中心的预设尺寸的矩形范围内的平均值。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括所述深度学习模型的训练过程，包括：获取不同型号的装载车在不同场景、不同时间或不同姿态下的RGB图像；标注每一张所述RGB图像中的装载位置以及姿态信息，其中，所述装载位置包括矩形框，所述姿态信息表示所述矩形框的长边与图像x轴的夹角；将标注后的RGB图像分为训练集、验证集和测试集，通过优化算法训练得到所述深度学习模型。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，通过摄像头获取装载位置所在场景的RGB图像和深度图像的步骤，包括：通过深度相机的摄像头获取装载位置所在场景的RGB图像和深度图像；其中，所述深度相机至少包括双目相机、结构光相机和TOF深度相机中的一种。第二方面，本专利技术实施例还提供一种装载位置三维坐标获取系统，包括：图像获取模块，用于通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；深度学习模块，用于利用深度学习模型对将所述RGB图像进行处理，得到所述装载位置的候选区域；筛选模块，用于从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；三维坐标获取模块，用于根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述深度学习模块还用于：将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；将所述特征图输入候选区域生成网络，生成多个候选矩形区域；根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述三维坐标获取模块还用于：从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。第二方面，本专利技术实施例还提供一种图像识别设备，包括摄像头和处理器；所述摄像头，用于获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；所述处理器，用于执行如第一方面所述的装载位置三维坐标获取方法。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种装载位置三维坐标获取方法，通过摄像头获取装载位置所在场景的RGB图像和深度图像，RGB图像和深度图像相互配准；利用深度学习模型对RGB图像进行处理，得到装载位置的候选区域；从候选区域中筛选出包含装载位置的目标区域，并从目标区域中提取装载位置的图像坐标；根据图像坐标、深度图像以及摄像头参数得到装载位置的三维坐标。该方法可以实时获取装载位置所在场景的图像，并识别装载位置在图像中的坐标，从而得到装载位置的三维坐标，不受挖掘机和装载车之间的位置限制，识别准确度较高，并且可以提高工作效率。本专利技术实施例提供的一种装载位置三维坐标获取系统以及图像识别设备，与装载位置三维坐标获取方法可以达到相同的技术效果。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的装载位置三维坐标获取方法的流程图；图2为本专利技术实施例提供的装载位置三维坐标获取方法的另一流程图；图3为本专利技术实施例提供的装载位置三维坐标获取系统的示意图；图4为本专利技术实施例提供的电子设备的示意图。图标：10-图像获取模块；20-深度学习模块；30-筛选模块；40-三维坐标获取模块；1000-图像识别设备；500-处理器；501-本文档来自技高网...

【技术保护点】
1.一种装载位置三维坐标获取方法，其特征在于，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域；从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。

【技术特征摘要】
1.一种装载位置三维坐标获取方法，其特征在于，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域；从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。2.根据权利要求1所述的方法，其特征在于，利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域的步骤，包括：将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；将所述特征图输入候选区域生成网络，生成多个候选矩形区域；根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。3.根据权利要求1所述的方法，其特征在于，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。4.根据权利要求3所述的方法，其特征在于，从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标的步骤，包括：从所述深度图像中获取深度值，并将所述深度值作为Z坐标；其中，所述深度值为以所述图像坐标为中心的预设尺寸的矩形范围内的平均值。5.根据权利要求2所述的方法，其特征在于，所述方法还包括所述深度学习模型的训练过程，包括：获取不同型号的装载车在不同场景、不同时间或不同姿态下的RGB图像；标注每一张所述RGB图像中的装载位置以及姿态信息，其中，所述装载位置包括矩形框，所述姿态信息表示所述矩形框的长边与图像x轴...

【专利技术属性】
技术研发人员：敖川，隋少龙，张越，
申请(专利权)人：北京拓疆者智能科技有限公司，
类型：发明
国别省市：北京,11