一种托盘检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种托盘检测方法、装置、设备及存储介质，方法包括：获取包含有目标托盘的第一图像；对第一图像进行目标检测和关键点检测，得到目标托盘上各关键点的图像位置；将第一图像输入深度估计模型，得到第一图像对应的深度图像；基于目标托盘上各关键点的图像位置，确定第一图像中目标托盘横杆的图像位置，并从深度图中提取横杆的深度数据；基于横杆的图像位置及其对应的深度数据，利用第一图像对应图像采集设备的设备内参计算横杆的三维坐标；基于横杆的三维坐标分别计算目标托盘相对图像采集设备的偏移角度及目标托盘的插孔中心位置。解决了托盘检测准确性低的问题，并且成本低、具有良好的泛化能力，抗干扰能力更强，鲁棒性更好。鲁棒性更好。鲁棒性更好。

【技术实现步骤摘要】
一种托盘检测方法、装置、设备及存储介质


[0001]本专利技术涉及叉车托盘
，具体涉及一种托盘检测方法、装置、设备及存储介质。

技术介绍

[0002]基于图像的计算机视觉是自动驾驶的一个重要模块。自动叉车实现物料等的自动搬运，对无人作业具有重要的意义，其中重要的关键之一为托盘检测。托盘检测的目标为获取托盘插孔中心的三维坐标以及托盘偏移角度。为了得到3D信息，当前的技术方案，一种是基于激光雷达的点云匹配，但是精度受到点云密度的影响，无法直接从点云得到分类信息，会有干扰噪声，影响检测结果的准确性，并且激光雷达成本高，维护困难。另一种技术方案是基于深度相机，受到自然光的影响，无法在户外或者室内有阳光照射下稳定工作，测距距离和精度有限。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种托盘检测方法、装置、设备及存储介质，以克服现有技术中托盘检测方法准确性低的问题。
[0004]根据第一方面，本专利技术实施例提供了一种托盘检测方法，包括：获取包含有目标托盘的第一图像；对所述第一图像进行目标检测和关键点检测，得到所述目标托盘上各关键点的图像位置；将所述第一图像输入深度估计模型，得到所述第一图像对应的深度图像；基于所述目标托盘上各关键点的图像位置，确定所述第一图像中所述目标托盘横杆的图像位置，并从所述深度图中提取横杆的深度数据；基于横杆的图像位置及其对应的深度数据，利用所述第一图像对应图像采集设备的设备内参计算横杆的三维坐标；基于横杆的三维坐标分别计算所述目标托盘相对所述图像采集设备的偏移角度及所述目标托盘的插孔中心位置。
[0005]可选地，所述基于横杆的三维坐标计算所述目标托盘相对所述图像采集设备的偏移角度，包括：将横杆的三维坐标转换为鸟瞰图模式，以平行于图像采集设备平面为X轴，图像采集设备到目标托盘的距离为Z轴，以X
‑
Z轴的数据进行直线拟合；基于直线拟合结果计算所述目标托盘相对所述图像采集设备的偏移角度。
[0006]可选地，所述基于横杆的三维坐标，计算所述目标托盘的插孔中心位置，包括：基于横杆的三维坐标，计算各关键点的三维坐标；基于各关键点的三维坐标，计算所述目标托盘的插孔中心位置。
[0007]可选地，所述基于横杆的三维坐标，计算各关键点的三维坐标，包括：
基于各关键点的位置确定各关键点对应的位置区域；从横杆的三维坐标中提取各位置区域对应的三维坐标；计算当前位置区域的三维坐标均值，并将当前三维坐标均值确定为所述当前位置区域对应关键点的三维坐标。
[0008]可选地，所述对所述第一图像进行目标检测和关键点检测，得到所述目标托盘上各关键点的图像位置，包括：对所述第一图像进行目标检测得到所述目标托盘对应的第二图像；对所述第二图像进行关键点检测，得到所述目标托盘上各关键点的图像位置。
[0009]可选地，所述深度估计模型的训练过程包括：利用所述图像采集设备采集托盘图像，并利用激光雷达采集所述托盘图像对应时间戳的点云数据；对所述图像采集设备和所述激光雷达进行标定后，将所述点云数据投影到所述托盘图像上，得到所述托盘图像中每个像素点的深度数据；利用不同的所述托盘图像及其每个像素点的深度数据对单目深度估计模型进行训练，得到训练好的深度估计模型。
[0010]可选地，所述从所述深度图中提取横杆的深度数据，包括：基于所述第一图像中所述目标托盘横杆的图像位置，生成与所述第一图像等大的mask图；将所述mask图与所述深度图进行逐像素相乘，确定所述横杆的深度数据。
[0011]根据第二方面，本专利技术实施例提供了一种托盘检测装置，包括：获取模块，用于获取包含有目标托盘的第一图像；第一处理模块，用于对所述第一图像进行目标检测和关键点检测，得到所述目标托盘上各关键点的图像位置；第二处理模块，用于将所述第一图像输入深度估计模型，得到所述第一图像对应的深度图像；第三处理模块，用于基于所述目标托盘上各关键点的图像位置，确定所述第一图像中所述目标托盘横杆的图像位置，并从所述深度图中提取横杆的深度数据；第四处理模块，用于基于横杆的图像位置及其对应的深度数据，利用所述第一图像对应图像采集设备的设备内参计算横杆的三维坐标；第五处理模块，用于基于横杆的三维坐标分别计算所述目标托盘相对所述图像采集设备的偏移角度及所述目标托盘的插孔中心位置。
[0012]根据第三方面，本专利技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令被处理器执行时实现本专利技术第一方面及其任意一种可选方式的方法。
[0013]根据第四方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行本专利技术第一方面及其任意一种可选方式的方法。
[0014]本专利技术技术方案，具有如下优点：本专利技术实施例提供的托盘检测方法，通过获取包含有目标托盘的第一图像；对第
一图像进行目标检测和关键点检测，得到目标托盘上各关键点的图像位置；将第一图像输入深度估计模型，得到第一图像对应的深度图像；基于目标托盘上各关键点的图像位置，确定第一图像中目标托盘横杆的图像位置，并从深度图中提取横杆的深度数据；基于横杆的图像位置及其对应的深度数据，利用第一图像对应图像采集设备的设备内参计算横杆的三维坐标；基于横杆的三维坐标分别计算目标托盘相对图像采集设备的偏移角度及目标托盘的插孔中心位置。从而通过利用预训练的深度估计模型来得到托盘图像对应的深度数据，避免了现有技术中深度相机受应用场景限制，基于激光雷达点云匹配有干扰噪声，导致托盘检测准确性低的问题，并且成本低、不受应用场景限制，具有良好的泛化能力，此外，通过利用整个托盘横杆的深度数据计算横杆的三维坐标进行偏移角度和插孔中心位置的确定，相比于仅依赖托盘关键点的计算方式，抗干扰能力更强，鲁棒性更好，从而进一步提高了托盘检测结果的准确性。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例中托盘检测方法的流程图；图2为本专利技术实施例中托盘上各关键点的示意图；图3A至图3C分别为本专利技术实施例中偏移的托盘、托盘横杆的mask及托盘横杆对应的拟合直线的示例图；图4为本专利技术实施例中托盘检测的具体工作过程示意图；图5为本专利技术实施例中托盘检测装置的结构示意图；图6为本专利技术实施例中电子设备的结构示意图。
具体实施方式
[0017]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种托盘检测方法，其特征在于，包括：获取包含有目标托盘的第一图像；对所述第一图像进行目标检测和关键点检测，得到所述目标托盘上各关键点的图像位置；将所述第一图像输入深度估计模型，得到所述第一图像对应的深度图像；基于所述目标托盘上各关键点的图像位置，确定所述第一图像中所述目标托盘横杆的图像位置，并从所述深度图中提取横杆的深度数据；基于横杆的图像位置及其对应的深度数据，利用所述第一图像对应图像采集设备的设备内参计算横杆的三维坐标；基于横杆的三维坐标分别计算所述目标托盘相对所述图像采集设备的偏移角度及所述目标托盘的插孔中心位置。2.根据权利要求1所述的方法，其特征在于，所述基于横杆的三维坐标计算所述目标托盘相对所述图像采集设备的偏移角度，包括：将横杆的三维坐标转换为鸟瞰图模式，以平行于图像采集设备平面为X轴，图像采集设备到目标托盘的距离为Z轴，以X
‑
Z轴的数据进行直线拟合；基于直线拟合结果计算所述目标托盘相对所述图像采集设备的偏移角度。3.根据权利要求1所述的方法，其特征在于，所述基于横杆的三维坐标，计算所述目标托盘的插孔中心位置，包括：基于横杆的三维坐标，计算各关键点的三维坐标；基于各关键点的三维坐标，计算所述目标托盘的插孔中心位置。4.根据权利要求3所述的方法，其特征在于，所述基于横杆的三维坐标，计算各关键点的三维坐标，包括：基于各关键点的位置确定各关键点对应的位置区域；从横杆的三维坐标中提取各位置区域对应的三维坐标；计算当前位置区域的三维坐标均值，并将当前三维坐标均值确定为所述当前位置区域对应关键点的三维坐标。5.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行目标检测和关键点检测，得到所述目标托盘上各关键点的图像位置，包括：对所述第一图像进行目标检测得到所述目标托盘对应的第二图像；对所述第二图像进行关键点检测，得到所述目标托盘上各关键点的图像位置。6.根据权利要求...

【专利技术属性】
技术研发人员：王发平，李世行，李南星，
申请(专利权)人：深圳海星智驾科技有限公司，
类型：发明
国别省市：