装载位置三维坐标获取方法、系统及图像识别设备技术方案

本发明专利技术提供了一种装载位置三维坐标获取方法、系统及图像识别设备，涉及图像识别技术领域，通过摄像头获取装载位置所在场景的RGB图像和深度图像，RGB图像和深度图像相互配准；对RGB图像进行处理，得到装载位置的图像坐标；根据图像坐标、深度图像以及摄像头参数得到装载位置的三维坐标。本发明专利技术可以实时获取装载位置所在场景的图像，并识别装载位置在图像中的坐标，从而得到装载位置的三维坐标，不受挖掘机和装载车之间的位置限制，识别准确度较高，并且可以提高工作效率。

Three-dimensional coordinate acquisition method, system and image recognition equipment for loading position

The invention provides a method, system and image recognition equipment for obtaining three-dimensional coordinates of loading position, which relates to the field of image recognition technology. The RGB image and depth image of the scene where the loading position is located are acquired by camera, and the RGB image and depth image are registered with each other; the RGB image is processed to obtain the image coordinates of the loading position; and the image coordinates are obtained according to the image coordinates, depth image and camera. The three-dimensional coordinates of the loading position are obtained from the head parameters. The invention can acquire the image of the scene where the loading position is located in real time, and recognize the coordinates of the loading position in the image, thereby obtaining the three-dimensional coordinates of the loading position, which is not limited by the position between the excavator and the loader, and has high recognition accuracy, and can improve work efficiency.

【技术实现步骤摘要】
装载位置三维坐标获取方法、系统及图像识别设备
本专利技术涉及图像识别
，尤其是涉及一种装载位置三维坐标获取方法、系统及图像识别设备。
技术介绍
在挖掘机工作过程中，在挖掘机铲起目标物料后，根据识别到的装载车车斗的三维坐标，结合该坐标及铲斗当前位置生成轨迹，然后通过反馈控制将物料准确放入到装载车车斗中。在传统工程机械领域，可以在装载位置和挖掘机位置整体固定不变时，依靠两者间固定的空间关系完成装载位置的三维坐标获取。但是存在以下缺点：需要挖掘机和装载车的位置固定不变，实际应用场景有限；存在误差积累现象，识别不准确，将最终导致控制失效；需要在工作一段时间后进行误差纠正，从而导致工作效率较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种装载位置三维坐标获取方法、系统及图像识别设备，以缓解现有的装载位置识别方法存在的应用场景有限、识别不准确以及工作效率较低的技术问题。第一方面，本专利技术实施例提供了一种装载位置三维坐标获取方法，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；对所述RGB图像进行处理，得到所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，对所述RGB图像进行处理，得到所述装载位置的图像坐标的步骤，包括：提取所述RGB图像的特征信息，并根据所述特征信息识别所述装载位置在所述RGB图像中的候选区域；提取所述候选区域的轮廓，得到候选装载位置轮廓；将所述候选装载位置轮廓近似为旋转矩形，得到二维包围框；从所述二维包围框中筛选所述装载位置的目标二维包围框；从所述目标二维包围框中获取所述装载位置的图像坐标。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，提取所述RGB图像的特征信息，并根据所述特征信息识别所述装载位置在所述RGB图像中的候选区域的步骤，包括：分别提取所述RGB图像的颜色特征和边缘特征；将所述颜色特征和所述边缘特征进行与运算，根据运算结果得到所述装载位置在所述RGB图像中的候选区域。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，分别提取所述RGB图像的颜色特征和边缘特征的步骤，包括：通过二值化操作提取所述RGB图像的颜色特征，并利用形态学操作增强所述颜色特征；通过边缘提取算法提取所述RGB图像的边缘特征，并利用形态学操作增强所述边缘特征。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标的步骤，包括：从所述深度图像中获取深度值，并将所述深度值作为Z坐标；其中，所述深度值为以所述图像坐标为中心的预设尺寸的矩形范围内的平均值。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，通过摄像头获取装载位置所在场景的RGB图像和深度图像的步骤，包括：通过深度相机的摄像头获取装载位置所在场景的RGB图像和深度图像；其中，所述深度相机至少包括双目相机、结构光相机和TOF深度相机中的一种。第二方面，本专利技术实施例还提供一种装载位置三维坐标获取系统，包括：图像获取模块，用于通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；图像处理模块，用于对所述RGB图像进行处理，得到所述装载位置的图像坐标；三维坐标获取模块，用于根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述图像处理模块包括：特征提取模块，用于提取所述RGB图像的特征信息，并根据所述特征信息识别所述装载位置在所述RGB图像中的候选区域；轮廓提取模块，用于提取所述候选区域的轮廓，得到候选装载位置轮廓；旋转矩形近似模块，用于将所述候选装载位置轮廓近似为旋转矩形，得到二维包围框；包围框筛选模块，用于从所述二维包围框中筛选所述装载位置的目标二维包围框；图像坐标获取模块，用于从所述目标二维包围框中获取所述装载位置的图像坐标。第二方面，本专利技术实施例还提供一种图像识别设备，包括摄像头和处理器；所述摄像头，用于获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；所述处理器，用于执行如第一方面所述的装载位置三维坐标获取方法。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种装载位置三维坐标获取方法，通过摄像头获取装载位置所在场景的RGB图像和深度图像，RGB图像和深度图像相互配准；对RGB图像进行处理，得到装载位置的图像坐标；根据图像坐标、深度图像以及摄像头参数得到装载位置的三维坐标。该方法可以实时获取装载位置所在场景的图像，并识别装载位置在图像中的坐标，从而得到装载位置的三维坐标，不受挖掘机和装载车之间的位置限制，识别准确度较高，并且可以提高工作效率。本专利技术实施例提供的一种装载位置三维坐标获取系统以及图像识别设备，与装载位置三维坐标获取方法可以达到相同的技术效果。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的装载位置三维坐标获取方法的流程图；图2为本专利技术实施例提供的装载位置三维坐标获取方法的另一流程图；图3为本专利技术实施例提供的装载位置三维坐标获取系统的示意图；图4为本专利技术实施例提供的电子设备的示意图。图标：10-图像获取模块；20-图像处理模块；30-三维坐标获取模块；1000-图像识别设备；500-处理器；501-存储器；502-总线；503-通信接口。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，在传统工程机械领域，可以在装载位置和挖掘机位置整体固定不变时，依靠两者间固定的空间关系完成装载位置的三维坐标获取。但是存在以下缺点：需要挖掘机和装载车的位置固定不变，实际应用场景有限；存在误差积累现象，识别不本文档来自技高网...

【技术保护点】
1.一种装载位置三维坐标获取方法，其特征在于，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；对所述RGB图像进行处理，得到所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。

【技术特征摘要】
1.一种装载位置三维坐标获取方法，其特征在于，包括：通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；对所述RGB图像进行处理，得到所述装载位置的图像坐标；根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。2.根据权利要求1所述的方法，其特征在于，对所述RGB图像进行处理，得到所述装载位置的图像坐标的步骤，包括：提取所述RGB图像的特征信息，并根据所述特征信息识别所述装载位置在所述RGB图像中的候选区域；提取所述候选区域的轮廓，得到候选装载位置轮廓；将所述候选装载位置轮廓近似为旋转矩形，得到二维包围框；从所述二维包围框中筛选所述装载位置的目标二维包围框；从所述目标二维包围框中获取所述装载位置的图像坐标。3.根据权利要求2所述的方法，其特征在于，提取所述RGB图像的特征信息，并根据所述特征信息识别所述装载位置在所述RGB图像中的候选区域的步骤，包括：分别提取所述RGB图像的颜色特征和边缘特征；将所述颜色特征和所述边缘特征进行与运算，根据运算结果得到所述装载位置在所述RGB图像中的候选区域。4.根据权利要求3所述的方法，其特征在于，分别提取所述RGB图像的颜色特征和边缘特征的步骤，包括：通过二值化操作提取所述RGB图像的颜色特征，并利用形态学操作增强所述颜色特征；通过边缘提取算法提取所述RGB图像的边缘特征，并利用形态学操作增强所述边缘特征。5.根据权利要求4所述的方法，其特征在于，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。6.根...

【专利技术属性】
技术研发人员：敖川，隋少龙，张越，
申请(专利权)人：北京拓疆者智能科技有限公司，
类型：发明
国别省市：北京,11