【技术实现步骤摘要】
一种无人行车调运定位方法、装置、设备及介质
[0001]本申请涉及计算机视觉感知和图像处理
，具体涉及一种无人行车调运定位方法、装置、设备及介质。
技术介绍
[0002]随着工业智能化的发展，以及目前对工业实体实现智能转型升级、绿色发展、降低能源消耗、提高工程业务效率的战略需求，无人行车技术成为了现代化钢铁仓库的标准配置，无人行车技术目前多用于钢铁工艺流程的仓储物流阶段。例如在冶金、矿山等仓储物流行业中，通过抓钢机、取物机械臂等大型工程取物器械将货运车中的目标物体进行卸载，然后再将目标物体按顺序堆放到指定区域，以有效利用堆存空间；在需要装载货物出库时，也通过类似的大型设备将所需物体抓取至货运车、火车和货轮等交通工具上。
[0003]早期的无人行车技术是利用激光雷达生成行车作业区域的点云信息，再结合起重器对货物载体进行装卸钢材的任务；但在执行过程中发现，如果钢材在货车车厢中堆积过满，会对货车车厢边框、车头形成覆盖或遮挡，激光雷达产生的点云信息就不容易区分出货车边界与钢材边界。而补充图像信息可以进行辅助判断，图像可以根据钢材与货车的颜色、形状和纹理等信息的不同，进行准确的区分；因此在迭代的无人行车技术中，增加了标准的光学相机作为辅助手段。虽然利用光学相机可以准确地将图像中的目标物体给检测、分割出来，但光学相机生成的图像信息仅能提供图像像素坐标，无法将点云生成的世界坐标与图像坐标直接联系起来。
[0004]因此，如何将图像信息与激光雷达信息结合并作用在无人行车调运定位中，是目前亟需解决的问题。>
技术实现思路
[0005]鉴于以上所述现有技术的缺点，本申请的目的在于提供一种无人行车调运定位方法、装置、设备及介质，用于解决现有技术中如何将图像信息与激光雷达信息结合并作用在无人行车调运定位中的问题。
[0006]为实现上述目的及其他相关目的，本申请提供一种无人行车调运定位方法，所述方法包括：
[0007]获取无人行车调运场景的原始三维点云数据和原始二维彩色图像数据；
[0008]去除所述原始三维点云数据中的冗余数据得到预处理后的三维点云数据，对所述原始二维彩色图像数据进行特征增强得到预处理后的二维彩色图像数据；
[0009]提取所述预处理后的二维彩色图像数据中的目标图像网络特征，增强所述预处理后的三维点云数据中的特征得到目标点云网络特征，并融合所述目标图像网络特征和目标点云网络特征，得到多源数据网络特征；
[0010]对所述多源数据网络特征进行回归运算，得到无人行车调运场景中目标物体的类别信息和三维定位坐标信息。
[0011]于本申请的一实施例中，所述去除所述原始三维点云数据中的冗余数据得到预处理后的三维点云数据，包括：
[0012]对所述原始三维点云数据中的每个点云点随机赋值概率值，并根据所述概率值对所述每个点云点排序，得到排序后的点云点集合；
[0013]根据预设的采样规则，对所述排序后的点云点集合进行多次均匀采样，得到多个采样样本点集；
[0014]去除所述多个采样样本点集中重复的点云点，得到去重后的多个采样样本点集；
[0015]去除所述去重后的多个采样样本点集中点云点的概率值，并根据预设的三维排列规则进行排序，得到所述预处理后的三维点云数据。
[0016]于本申请的一实施例中，所述对所述原始二维彩色图像数据进行特征增强得到预处理后的二维彩色图像数据，包括：
[0017]通过预先配置的图像增强模块，对所述原始二维彩色图像中的图像集进行数据增强处理，得到增强图像集；
[0018]将所述增强图像集和所述原始二维彩色图像中的图像集组合，得到所述预处理后的二维彩色图像数据。
[0019]于本申请的一实施例中，所述提取所述预处理后的二维彩色图像数据中的目标图像网络特征，包括：
[0020]根据预先配置的标注工具，标注所述预处理后的二维彩色图像数据中图像数据集的初始目标检测区域，得到所述图像数据集对应的标签文件集合；
[0021]将所述图像数据集和标签文件集合输入预先构建的图像特征提取网络，得到所述初始目标检测区域中目标物体的初始图像坐标框和初始掩膜矩阵；
[0022]将所述初始图像坐标框映射为包含所述目标物体的矩形区域，并根据所述矩形区域得到新的目标检测区域，所述新的目标检测区域中包括目标物体；
[0023]对所述新的目标检测区域中的初始掩膜矩阵进行矩阵重构，得到目标掩膜矩阵；
[0024]将所述新的目标检测区域和所述目标掩膜矩阵进行特征融合，并使所述融合的特征经过预设的多层感知层，得到所述目标图像网络特征。
[0025]于本申请的一实施例中，增强所述预处理后的三维点云数据中的特征得到目标点云网络特征，包括：
[0026]将所述预处理后的三维点云数据传输至预先构建的点云特征增强模型中，通过所述点云特征增强模型增强所述预处理后的三维点云数据中采样中心点与邻域点之间的关联，得到增强后的点云特征；
[0027]使所述增强后的点云特征经过预先配置的多层感知卷积层，得到所述目标点云网络特征。
[0028]于本申请的一实施例中，融合所述目标图像网络特征和目标点云网络特征，得到多源数据网络特征，包括：
[0029]将所述目标图像网络特征和所述目标点云网络特征进行通道级的维度融合，得到所述多源数据网络特征。
[0030]于本申请的一实施例中，所述对所述多源数据网络特征进行回归运算，得到无人行车调运场景中目标物体的类别信息和三维定位坐标信息，包括：
[0031]将所述多源数据网络特征输入预先构建的目标检测网络，通过所述目标检测网络的末端对所述多源数据网络特征进行三维坐标框、坐标框得分特征的回归，得到所述目标物体的类别信息和三维定位坐标信息。
[0032]于本申请的一实施例中，还提供了一种无人行车调运定位装置，所述装置包括：
[0033]原始数据获取模块，用于获取无人行车调运场景的原始三维点云数据和原始二维彩色图像数据；
[0034]预处理模块，用于去除所述原始三维点云数据中的冗余数据得到预处理后的三维点云数据，对所述原始二维彩色图像数据进行特征增强得到预处理后的二维彩色图像数据；
[0035]特征融合模块，用于提取所述预处理后的二维彩色图像数据中的目标图像网络特征，增强所述预处理后的三维点云数据中的特征得到目标点云网络特征，并融合所述目标图像网络特征和目标点云网络特征，得到多源数据网络特征；
[0036]回归运算模块，用于对所述多源数据网络特征进行回归运算，得到无人行车调运场景中目标物体的类别信息和三维定位坐标信息。
[0037]于本申请的一实施例中，还提供了一种电子设备，所述电子设备包括：
[0038]一个或多个处理器；
[0039]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的无人行车调运定位方法。
【技术保护点】
【技术特征摘要】
1.一种无人行车调运定位方法，其特征在于，所述方法包括：获取无人行车调运场景的原始三维点云数据和原始二维彩色图像数据；去除所述原始三维点云数据中的冗余数据得到预处理后的三维点云数据，对所述原始二维彩色图像数据进行特征增强得到预处理后的二维彩色图像数据；提取所述预处理后的二维彩色图像数据中的目标图像网络特征，增强所述预处理后的三维点云数据中的特征得到目标点云网络特征，并融合所述目标图像网络特征和目标点云网络特征，得到多源数据网络特征；对所述多源数据网络特征进行回归运算，得到无人行车调运场景中目标物体的类别信息和三维定位坐标信息。2.根据权利要求1所述的无人行车调运定位方法，其特征在于，所述去除所述原始三维点云数据中的冗余数据得到预处理后的三维点云数据，包括：对所述原始三维点云数据中的每个点云点随机赋值概率值，并根据所述概率值对所述每个点云点排序，得到排序后的点云点集合；根据预设的采样规则，对所述排序后的点云点集合进行多次均匀采样，得到多个采样样本点集；去除所述多个采样样本点集中重复的点云点，得到去重后的多个采样样本点集；去除所述去重后的多个采样样本点集中点云点的概率值，并根据预设的三维排列规则进行排序，得到所述预处理后的三维点云数据。3.根据权利要求1所述的无人行车调运定位方法，其特征在于，所述对所述原始二维彩色图像数据进行特征增强得到预处理后的二维彩色图像数据，包括：通过预先配置的图像增强模块，对所述原始二维彩色图像中的图像集进行数据增强处理，得到增强图像集；将所述增强图像集和所述原始二维彩色图像中的图像集组合，得到所述预处理后的二维彩色图像数据。4.根据权利要求1所述的无人行车调运定位方法，其特征在于，所述提取所述预处理后的二维彩色图像数据中的目标图像网络特征，包括：根据预先配置的标注工具，标注所述预处理后的二维彩色图像数据中图像数据集的初始目标检测区域，得到所述图像数据集对应的标签文件集合；将所述图像数据集和标签文件集合输入预先构建的图像特征提取网络，得到所述初始目标检测区域中目标物体的初始图像坐标框和初始掩膜矩阵；将所述初始图像坐标框映射为包含所述目标物体的矩形区域，并根据所述矩形区域得到新的目标检测区域，所述新的目标检测区域中包括目标物体；对所述新的目标检测区域中的初始掩膜矩阵进行矩阵重构，得到目标掩膜矩阵；将所述新的目标检测区域和所述目标掩膜矩阵进行特征融合，并使所述融合的...
【专利技术属性】
技术研发人员：刘俊林，杨东海，汤槟，徐灿，彭燕华，
申请(专利权)人：中冶赛迪信息技术重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。