托盘位姿检测方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种托盘位姿检测方法、装置、设备和存储介质。其中方法包括：获取至少一个托盘的深度图像和彩色图像；将彩色图像输入托盘检测模型，以确定托盘的至少一组目标角点坐标，托盘检测模型是基于预设神经网络训练得到的；根据至少一组目标角点坐标，在深度图像中确定托盘的托盘区域；根据托盘的托盘区域中的数据，确定托盘的位姿信息。本发明专利技术实施例能够实现对托盘位姿检测的目的。

【技术实现步骤摘要】
托盘位姿检测方法、装置、设备和存储介质
本专利技术实施例涉及定位
，尤其涉及一种托盘位姿检测方法、装置、设备和存储介质。
技术介绍
随着物流行业的快速发展，托盘已广泛应用于生产、运输、仓储和流通等领域。托盘作为物流运作中重要的装卸、存储和运输设备，与无人叉车配套使用在现代物流中发挥着巨大的作用，因此对装载有货物的托盘进行位姿检测是无人叉车实施物流运作中不可或缺的一环。因此，如何对托盘的位姿进行检测，成为目前亟需解决的问题。
技术实现思路
本专利技术实施例提供一种托盘位姿检测方法、装置、设备和存储介质，能够实现对托盘位姿检测的目的。第一方面，本专利技术实施例提供了一种托盘位姿检测方法，包括：获取至少一个托盘的深度图像和彩色图像；将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，所述托盘检测模型是基于预设神经网络训练得到的；根据所述至少一组目标角点坐标，在所述深度图像中确定所述托盘的托盘区域；根据所述托盘的托盘区域中的数据，确定所述托盘的位姿信息。第二方面，本专利技术实施例还提供了一种托盘位姿检测装置，包括：图像获取模块，用于获取至少一个托盘的深度图像和彩色图像；角点确定模块，用于将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，所述托盘检测模型是基于预设神经网络训练得到的；区域确定模块，用于根据所述至少一组目标角点坐标，在所述深度图像中确定所述托盘的托盘区域；位姿确定模块，用于根据所述托盘的托盘区域中的数据，确定所述托盘的位姿信息。第三方面，本专利技术实施例还提供了一种托盘位姿检测设备，包括：图像采集设备，用于采集至少一个托盘的深度图像和彩色图像；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例中任一所述的托盘位姿检测方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术实施例中任一所述的托盘位姿检测方法。本专利技术实施例公开的技术方案，具有如下有益效果：通过获取至少一个托盘的深度图像和彩色图像，以将彩色图像输入托盘检测模型，确定托盘的至少一组目标角点坐标，并根据至少一组目标角点坐标在深度图像中确定托盘的托盘区域，然后根据托盘的托盘区域中的数据确定托盘的位姿信息。本专利技术实施例通过结合彩色图像和深度图像，对托盘位姿进行检测，不仅实现了对托盘位姿检测的目的，还能充能利用彩色图像丰富的语义信息，以及降低对深度图像的处理复杂度，从而为提高托盘位姿检测的速度提供条件。附图说明图1是本专利技术实施例一提供的一种托盘位姿检测方法的流程示意图；图2是本专利技术实施例二提供的一种托盘位姿检测方法的流程示意图；图3是本专利技术实施例三提供的一种托盘位姿检测方法的流程示意图；图4A是本专利技术实施例三提供的基于托盘的部署方式建立采集设备坐标系的示意图；图4B是本专利技术实施例三提供的确定一个托盘的托盘区域的示意图；图4C是本专利技术实施例三提供的确定多个托盘的托盘区域的示意图；图4D是本专利技术实施例三提供的在X-Y平面内投影像素点，并对所有像素点对应的三维坐标点进行线性拟合得到拟合直线的示意图；图5是本专利技术实施例四提供的一种生成托盘检测模型的流程示意图；图6是本专利技术实施例四提供的另一种生成托盘检测模型的流程示意图；图7是本专利技术实施例四提供的再一种生成托盘检测模型的流程示意图；图8A是本专利技术实施例四提供的包括至少一个托盘的若干个彩色图像的数据集的示意图；图8B是本专利技术实施例四提供的对数据集中至少一个托盘的若干个彩色图像进行增强处理后得到增强数据集的示意图；图9是本专利技术实施例五提供的一种托盘位姿检测装置的结构示意图；图10是本专利技术实施例六提供的一种托盘位姿检测设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。下面结合附图对本专利技术实施例提供的托盘位姿检测方法、装置、设备和存储介质进行详细说明。实施例一图1是本专利技术实施例一提供的一种托盘位姿检测方法的流程示意图，本实施例适用于检测托盘位姿的场景，该方法可由托盘位姿检测装置来执行，该装置可由硬件和/或软件组成，并可集成于托盘位姿检测设备中，该托盘位姿检测设备可以是任意能够自主移动并执行托盘搬运等功能的设备，例如无人叉车或搬运机器人等。该方法具体包括如下：S101，获取至少一个托盘的深度图像和彩色图像。本专利技术实施例中，托盘位姿检测设备上设置有用于采集深度图像和彩色图像的图像采集设备。该图像采集设备可选为深度(TimeOfFlight，简称TOF)相机或者立体相机。也就是说，托盘位姿检测设备上处理器可通过控制上述图像采集设备获取至少一个托盘的深度图像和彩色图像。其中，获取的深度图像和彩色图像是指同一时刻采集的两种不同类型的图像，即图像采集设备采集预设区域的图像数据，所述预设区域包括至少一个托盘，一帧图像数据对应一个深度图像和一个彩色图像。具体的，可当托盘位姿检测设备移动到放置托盘的区域时，可控制深度相机或立体相机获取该区域中至少一个托盘的深度图像和彩色图像。其中获取的深度图像和彩色图像中具有至少一个托盘。进一步的，为了提高图像获取效率，本实施例还可在检测到托盘且托盘处于深度图像或立体相机的视场角范围内时，才控制图像采集设备开启拍摄操作，以获取至少一个托盘的深度图像和彩色图像。S102，将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，所述托盘检测模型是基于预设神经网络训练得到的。其中，目标角点坐标是指用于检测托盘位姿的顶点坐标。本实施例中一组目标角点坐标优选为位于托盘的对角位置的一组顶点坐标。例如，一组目标角点坐标可为托盘的左上角点坐标和右下角点坐标，或者还可为托盘的左下角点坐标和右上角点坐标，此处对其不做具体限制。可以理解的是，当至少一组目标角点坐标为一组时，则该组目标角点坐标可为托盘的左上角点坐标和右下角点坐标，或者还可为托盘的左下角点坐标和右上角点坐标；当至少一组目标角点坐标为多组(例如两组)时，则第一组目标角点坐标可为托盘的左上角点坐标和右下角点坐标，第二组目标角点坐标可为托盘的左下角点坐标和右上角点坐标；或者，第一组目标角点坐标为托盘的左下角点坐标和右上角点坐标，第二组目标角点坐标可为托盘的左上角点坐标和右下角点坐标等。可选的，获取到至少一个托盘的彩色图像和深度图像之后，将彩色图像输入托盘检测模型，以通过该托盘检测模型对该彩色图像进行处理本文档来自技高网...

【技术保护点】
1.一种托盘位姿检测方法，其特征在于，包括：/n获取至少一个托盘的深度图像和彩色图像；/n将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，所述托盘检测模型是基于预设神经网络训练得到的；/n根据所述至少一组目标角点坐标，在所述深度图像中确定所述托盘的托盘区域；/n根据所述托盘的托盘区域中的数据，确定所述托盘的位姿信息。/n

【技术特征摘要】
1.一种托盘位姿检测方法，其特征在于，包括：
获取至少一个托盘的深度图像和彩色图像；
将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，所述托盘检测模型是基于预设神经网络训练得到的；
根据所述至少一组目标角点坐标，在所述深度图像中确定所述托盘的托盘区域；
根据所述托盘的托盘区域中的数据，确定所述托盘的位姿信息。


2.根据权利要求1所述的方法，其特征在于，所述获取至少一个托盘的深度图像和彩色图像之后，还包括：
对所述深度图像和所述彩色图像进行对齐处理；
相应的，所述将所述彩色图像输入托盘检测模型，以确定所述托盘的至少一组目标角点坐标，包括：
将处理后的所述彩色图像输入所述托盘检测模型，以确定所述托盘的至少一组目标角点坐标。


3.根据权利要求2所述的方法，其特征在于，所述一组目标角点坐标包括：第一角点坐标和第二角点坐标；
相应的，所述根据所述至少一组目标角点坐标，在所述深度图像中确定所述托盘的托盘区域，包括：
确定处理后的所述深度图像中与所述第一角点坐标对应的第一目标点坐标，以及与所述第二角点坐标对应的第二目标点坐标；
根据所述第一目标点坐标和所述第二目标点坐标，确定所述托盘的托盘区域。


4.根据权利要求3所述的方法，其特征在于，所述根据所述托盘的托盘区域中的数据，确定所述托盘的位姿信息，包括：
根据所述托盘的托盘区域中每个像素点的像素坐标，确定所述每个像素点的三维坐标；
根据所述第一目标点坐标对应的三维坐标和所述第二目标点坐标对应的三维坐标，确定所述托盘的中心点坐标；
将从所述托盘的托盘区域中选取的多个像素点投影到所述托盘的姿态检测面中，并对所述托盘的姿态检测面中的所有像素点对应的三维坐标进行线性拟合，基于拟合结果确定所述托盘的偏航角；
根据所述托盘的中心点坐标和偏航角，确定所述托盘的位姿信息。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述将所述彩色图像...

【专利技术属性】
技术研发人员：胡小波，银江涛，
申请(专利权)人：深圳市镭神智能系统有限公司，
类型：发明
国别省市：广东;44