本发明专利技术公开了一种叉车托盘的位置信息提取方法、装置和域控制器，方法包括：对待定位的叉车托盘进行拍摄，获取叉车托盘图像；在叉车托盘图像中识别叉车托盘插孔附近的关键点；根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，相机内参是拍摄叉车托盘图像的相机内参数。本发明专利技术提供的技术方案，能够提高自动驾驶的叉车对叉车托盘进行定位的准确度。动驾驶的叉车对叉车托盘进行定位的准确度。动驾驶的叉车对叉车托盘进行定位的准确度。
【技术实现步骤摘要】
一种叉车托盘的位置信息提取方法、装置和域控制器
[0001]本专利技术涉及自动驾驶领域，具体涉及一种叉车托盘的位置信息提取方法、装置和域控制器。
技术介绍
[0002]基于图像的计算机视觉是自动驾驶的一个重要模块。自动叉车实现物料等的自动搬运，对无人作业具有重要的意义，其中重要的一环为托盘定位，只有准确定位托盘位置，才能使叉车行驶到设定的位置，并将货叉准确插入托盘当中。在标准化生产流程中，托盘具有一定的规格，即众多托盘遵循一套固定的长宽外参。为了得到3D信息，当前的技术方案，一种是基于激光雷达的点云匹配对托盘进行定位，但是这种方法的精度受到点云密度和噪声的影响，无法直接从点云得到分类信息，而且激光雷达成本高，维护困难，基于固态激光雷达累计点云会有等待时间，用户体验不好。另一种技术方案是基于深度相机直接测量托盘的深度坐标，但是深度相机很容易受到自然光的影响，无法在户外或者室内有强光照射的情况下稳定工作，测距距离和精度有限。从而需要一种准确度更高的叉车托盘位置信息提取方法。
技术实现思路
[0003]有鉴于此，本专利技术实施方式提供了一种叉车托盘的位置信息提取方法、装置和域控制器，从而提高了叉车托盘定位的准确度。
[0004]根据第一方面，本专利技术实施例提供了一种叉车托盘的位置信息提取方法，所述方法包括：对待定位的叉车托盘进行拍摄，获取叉车托盘图像；在所述叉车托盘图像中识别叉车托盘插孔附近的关键点；根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，所述相机内参是拍摄所述叉车托盘图像的相机内参数。
[0005]可选地，所述叉车托盘插孔是矩形，所述在所述叉车托盘图像中识别叉车托盘插孔附近的关键点，包括：从所述叉车托盘图像中检测出叉车托盘目标；通过预设的关键点检测模型从所述叉车托盘目标中识别各个叉车托盘插孔对应的四个顶点，并将识别的顶点作为所述叉车托盘插孔附近的关键点。
[0006]可选地，所述关键点检测模型通过改进的损失函数训练得到，其中所述改进的损失函数为：
[0007]L
total
＝L1+L2[0008][0009]式中，L
total
表示改进的整体损失函数值，L1表示现有损失函数值，L2表示基于所述叉车托盘插孔附近的关键点计算的损失函数值，n表示训练样本的批数量，i表示第i批训练
样本，K1[1]和K2[1]分别表示位于当前叉车托盘插孔第一竖边上的第一顶点的x轴坐标和第二顶点的x轴坐标，K3[1]和K4[1]分别表示位于当前叉车托盘插孔第二竖边上的第三顶点的x轴坐标和第四顶点的x轴坐标。
[0010]可选地，所述根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，包括：利用各个叉车托盘插孔对应的关键点和所述相机内参计算各个叉车托盘插孔对应的空间坐标；根据所述各个叉车托盘插孔对应的空间坐标确定所述位置信息。
[0011]可选地，所述利用各个叉车托盘插孔对应的关键点和所述相机内参计算各个叉车托盘插孔对应的空间坐标，包括：对当前叉车托盘插孔的关键点在图像中的xy坐标计算均值，得到当前叉车托盘插孔的中心点xy坐标；从叉车托盘实体上测量当前叉车托盘插孔的关键点之间的实体距离；基于相似三角形原理，利用所述相机内参、所述当前叉车托盘插孔的关键点在图像中的xy坐标和所述当前叉车托盘插孔的关键点之间的实体距离，计算当前叉车托盘插孔的中心点深度坐标；利用所述当前叉车托盘插孔的中心点深度坐标和所述当前叉车托盘插孔的中心点xy坐标确定当前叉车托盘插孔的空间坐标。
[0012]可选地，所述基于相似三角形原理，利用所述相机内参、所述当前叉车托盘插孔的关键点在图像中的xy坐标和所述当前叉车托盘插孔的关键点之间的实体距离，计算当前叉车托盘插孔的中心点深度坐标，包括：利用当前叉车托盘插孔的关键点在图像中的xy坐标，计算当前叉车托盘插孔的关键点之间的图像距离；根据各个图像距离和实体距离之间的对应关系，结合所述相机内参中的焦距参数进行相似三角形计算，得到若干深度信息；计算所述若干深度信息的均值，并将得到的深度均值作为当前叉车托盘插孔的中心点实际深度；利用所述中心点实际深度确定所述当前叉车托盘插孔的中心点深度坐标。
[0013]可选地，所述根据所述各个叉车托盘插孔对应的空间坐标确定所述位置信息，包括：在叉车托盘横边方向上从所述若干深度信息中提取两个位置不同的横向深度信息；确定所述横向深度信息对应的关键点在叉车托盘横边方向上的横向实体距离；利用所述横向深度信息和所述横向实体距离的反三角函数关系计算叉车托盘的偏移角度；将所述叉车托盘的偏移角度和各个叉车托盘插孔对应的空间坐标作为所述位置信息。
[0014]根据第二方面，本专利技术实施例提供了一种叉车托盘的位置信息提取装置，所述装置包括：图像采集模块，用于对待定位的叉车托盘进行拍摄，获取叉车托盘图像；关键点识别模块，用于在所述叉车托盘图像中识别叉车托盘插孔附近的关键点；托盘定位模块，用于根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，所述相机内参是拍摄所述叉车托盘图像的相机内参数。
[0015]根据第三方面，本专利技术实施例提供了一种域控制器，其特征在于，包括：感知处理单元、决策处理单元、控制处理单元和通信单元，所述感知处理单元、所述决策处理单元、所述控制处理单元和所述通信单元之间互相通信连接，所述感知处理单元中存储有计算机指令，所述感知处理单元通过执行所述计算机指令，从而执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
[0016]根据第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
[0017]本申请提供的技术方案，具有如下优点：
[0018]本申请提供的技术方案，使叉车对待定位的叉车托盘进行拍摄，获取叉车托盘图像；在叉车托盘图像中识别叉车托盘插孔附近的关键点；根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息。从而本专利技术实施例提供的方案基于相机设备完成托盘位置的3D定位，相比激光雷达技术方案降低了使用和维护成本，相比深度相机技术方案避免了距离受限、受自然光影响的缺点。本方案仅需要训练一个关键点检测模型，计算量较小，运行速度快，实现更简单，更易于推广应用。
附图说明
[0019]通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：
[0020]图1示出了本专利技术一个实施方式中一种叉车托盘的位置信息提取方法的步骤示意图；
[0021]图2示出了本专利技术一个实施方式中一种叉车托盘的位置信息提取方法的流程示意图；
[0022]图3示出了本专利技术一个实施方式中拍摄的叉车托盘图像示意图；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种叉车托盘的位置信息提取方法，其特征在于，所述方法包括：对待定位的叉车托盘进行拍摄，获取叉车托盘图像；在所述叉车托盘图像中识别叉车托盘插孔附近的关键点；根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，所述相机内参是拍摄所述叉车托盘图像的相机内参数。2.根据权利要求1所述的方法，其特征在于，所述叉车托盘插孔是矩形，所述在所述叉车托盘图像中识别叉车托盘插孔附近的关键点，包括：从所述叉车托盘图像中检测出叉车托盘目标；通过预设的关键点检测模型从所述叉车托盘目标中识别各个叉车托盘插孔对应的四个顶点，并将识别的顶点作为所述叉车托盘插孔附近的关键点。3.根据权利要求2所述的方法，其特征在于，所述关键点检测模型通过改进的损失函数训练得到，其中所述改进的损失函数为：L
total
＝1+2式中，L
total
表示改进的整体损失函数值，L1表示现有损失函数值，L2表示基于所述叉车托盘插孔附近的关键点计算的损失函数值，n表示训练样本的批数量，i表示第i批训练样本，K1[1]和K2[1]分别表示位于当前叉车托盘插孔第一竖边上的第一顶点的x轴坐标和第二顶点的x轴坐标，L3[1]和K4[1]分别表示位于当前叉车托盘插孔第二竖边上的第三顶点的x轴坐标和第四顶点的x轴坐标。4.根据权利要求1所述的方法，其特征在于，所述根据识别的关键点和相机内参对叉车托盘的空间位置进行推理，得到用于表征叉车托盘空间位置的位置信息，包括：利用各个叉车托盘插孔对应的关键点和所述相机内参计算各个叉车托盘插孔对应的空间坐标；根据所述各个叉车托盘插孔对应的空间坐标确定所述位置信息。5.根据权利要求4所述的方法，其特征在于，所述利用各个叉车托盘插孔对应的关键点和所述相机内参计算各个叉车托盘插孔对应的空间坐标，包括：对当前叉车托盘插孔的关键点在图像中的xy坐标计算均值，得到当前叉车托盘插孔的中心点xy坐标；从叉车托盘实体上测量当前叉车托盘插孔的关键点之间的实体距离；基于相似三角形原理，利用所述相机内参、所述当前叉车托盘插孔的关键点在图像中的xy坐标和所述当前叉车托盘插孔的关键点之间的实体距离，计算当前叉车托盘插孔的中心点深度坐标；利用所述当前叉车托盘插孔的...
【专利技术属性】
技术研发人员：王发平，李世行，李南星，
申请(专利权)人：深圳海星智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。