车厢姿态识别系统、方法、电子设备及存储介质技术方案

本发明专利技术公开了一种车厢姿态识别系统、方法、电子设备及存储介质。该系统包括处理器、双目相机、第一车辆、第二车辆和标识件；第一车辆包括车厢；第二车辆用于向第一车辆的车厢卸物料；标识件设于车厢的侧面；标识件上设有多个参考点；双目相机设于第二车辆上，双目相机用于采集包含标识件的图像，并将图像发送给处理器；处理器用于利用图像识别网络模型对图像进行识别处理，得到目标图像；目标图像为包含多个参考点的识别结果的图像；并利用双目相机立体几何视觉算法对目标图像中的每个参考点进行目标空间三维坐标确定；基于各个参考点的目标空间三维坐标确定车厢的姿态信息。该系统具有结构简单和适用于大规模室外无人作业场景的特点。的特点。的特点。

【技术实现步骤摘要】
车厢姿态识别系统、方法、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及车厢姿态识别系统、方法、电子设备及存储介质。

技术介绍

[0002]土方机械、矿山机械、路面机械等工程机械设备在进行无人化自主作业升级中需要机群协同作业，如挖掘机向卡车进行卸料，在这种应用场景下就需要挖掘机具备卡车车厢实时位置和姿态检测能力。
[0003]通常，可以利用载波相位差分技术(Real
‑
time kinematic，RTK)的差分定位原理可以检测出卡车位于地图坐标系的位置，同时通过卡车自身的尺寸信息推算得到车厢的地图坐标系位置。同时挖掘机也可以利用RTK定位得到自己在地图坐标系的位置，两者相比较就可以得到卡车车厢跟挖掘机的相对位置，进而完成卸料。
[0004]此种方案可以完成挖掘机室外无人自主作业，但随之带来的问题是高昂的成本，因为要想得到卡车和挖掘机在地图中的位置信息，就必需在卡车和挖掘机上各安装一套RTK移动站，同时还要安装一台公共基站，带来的成本可能是数万元至数十万元，无法实现大规模应用。因此，此种方案不适用于工程机械室外无人自主作业的大规模应用中。

技术实现思路

[0005]本专利技术要解决的是现有挖掘机无人自主作业所基于的系统结构复杂，智能化低，成本高，应用范围窄的技术问题。
[0006]为解决上述技术问题，于一方面，本申请公开了一种车厢姿态识别系统，其包括处理器、双目相机、第一车辆、第二车辆和标识件；
[0007]该第一车辆包括车厢；<br/>[0008]该第二车辆用于向该第一车辆的车厢卸物料；
[0009]该标识件设于该车厢的侧面；该标识件上设有多个参考点；
[0010]该双目相机设于该第二车辆上，该双目相机用于采集包含该标识件的图像，并将该图像发送给该处理器；
[0011]该处理器与该双目相机通信连接；该处理器用于利用图像识别网络模型对该图像进行识别处理，得到目标图像；所述目标图像为包含所述多个参考点的识别结果的图像；并利用双目相机立体几何视觉算法对该目标图像中的多个参考点中的每个参考点进行目标三维坐标确定；基于各个参考点的目标三维坐标确定该车厢的姿态信息。
[0012]可选的，该第二车辆包括连接的卸料装置和主体结构；
[0013]该卸料装置与该主体结构的第一侧面连接；
[0014]该双目相机设于该第一侧面上。
[0015]可选的，该第一侧面包括第一安装点和第二安装点；
[0016]该第一安装点和该第二安装点位于该第一侧面的顶部；
[0017]该第一安装点与该第二安装点之间存在第一预设距离；
[0018]该双目相机包括第一双目相机和第二双目相机；
[0019]该第一双目相机设于该第一安装点；
[0020]该第二双目相机设于该第二安装点。
[0021]可选的，该标识件包括至少两个子标识件；
[0022]该至少两个子标识件中分别位于该车厢的第二侧面的第一位置点和第二位置点；
[0023]该第二侧面为朝向该第一侧面的面；
[0024]该第一位置点与该第二位置点之间存在第二预设距离；该第二预设距离大于该第二侧面沿第一预设方向的长度的一半；该第一预设方向与该第二预设方向垂直；该第二预设方向为该第一车辆的高度方向的延长线方向。
[0025]可选的，该处理器包括图像识别模块和位置确定模块；
[0026]该图像识别模块用于利用图像识别网络模型对该图像进行识别处理，得到目标图像；目标图像为包含所述多个参考点的识别结果的图像，并将该目标图像发送给位置确定模块；
[0027]该位置确定模块用于利用双目相机立体几何视觉算法对该目标图像中的多个参考点中的每个参考点进行目标三维坐标确定；基于各个参考点的目标三维坐标确定该车厢的姿态信息。
[0028]于另一方面，本申请还公开了一种车厢姿态识别方法，其包括：
[0029]利用双目相机采集包含标识件的图像；
[0030]将该图像输入到图像识别网络模型，得到目标图像；该目标图像上包含有对该多个参考点中每个参考点的识别结果；
[0031]针对每个该参考点，基于该目标图像和该参考点的识别结果确定该参考点在像素坐标系下的坐标；
[0032]获取该双目相机的相机参数；
[0033]利用双目相机立体几何视觉算法，基于该双目相机的相机参数和该参考点在像素坐标系下的坐标确定该参考点的目标三维坐标；
[0034]基于各个参考点的目标三维坐标确定该车厢的目标三维坐标；
[0035]基于该车厢的目标三维坐标确定该车厢的姿态信息。
[0036]可选的，该相机参数包括双目相机的左右目相机之间的距离、安装参数以及内参。
[0037]可选的，该基于该双目相机的相机参数和该参考点在像素坐标系下的坐标确定该参考点的目标三维坐标；基于各个参考点的目标三维坐标确定该车厢的目标三维坐标；基于该车厢的目标三维坐标确定该车厢的姿态信息包括：
[0038]基于该双目相机的左右目相机之间的距离、该双目相机的内参和该参考点在像素坐标系下的坐标确定该参考点在相机坐标系下的坐标；
[0039]基于该双目相机的安装参数确定第一坐标转换矩阵；
[0040]按照该第一坐标转换矩阵，将该参考点在相机坐标系下的三维坐标转换为目标车辆坐标系下的三维坐标；该目标车辆坐标系为该第二车辆所在的坐标系；
[0041]基于各个参考点在该目标车辆坐标系下的三维坐标确定该车厢在目标车辆坐标系下的三维坐标；
[0042]基于该车厢在目标车辆坐标系下的三维坐标确定该车厢的姿态信息。
[0043]于另一方面，本申请还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述的车厢姿态识别方法。
[0044]于另一方面，本申请还提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现上述的车厢姿态识别方法。
[0045]采用上述技术方案，本申请提供的车厢姿态识别方法具有如下有益效果：
[0046]该车厢姿态识别系统包括处理器、双目相机、第一车辆、第二车辆和标识件；该第一车辆包括车厢；该第二车辆用于向该第一车辆的车厢卸物料；该标识件设于该车厢的侧面；该标识件上设有多个参考点；该双目相机设于该第二车辆上，该双目相机用于采集包含该标识件的图像，并将该图像发送给该处理器；该处理器与该双目相机通信连接；该处理器用于利用图像识别网络模型对该图像进行识别处理，得到目标图像；目标图像为包含所述多个参考点的识别结果的图像；并利用双目相机立体几何视觉算法对该目标图像中的多个参考点中的每个参考点进行目标三维坐标确定；基于各个参考点的目标三维坐标确定该车厢的姿态信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车厢姿态识别系统，其特征在于，包括处理器(5)、双目相机(4)、第一车辆(1)、第二车辆(2)和标识件(3)；所述第一车辆(1)包括车厢(101)；所述第二车辆(2)用于向所述第一车辆(1)的车厢(101)卸物料；所述标识件(3)设于所述车厢(101)的侧面；所述标识件(3)上设有多个参考点；所述双目相机(4)设于所述第二车辆(2)上，所述双目相机(4)用于采集包含所述标识件(3)的图像，并将所述图像发送给所述处理器(5)；所述处理器(5)与所述双目相机(4)通信连接；所述处理器(5)用于利用图像识别网络模型对所述图像进行识别处理，得到目标图像；所述目标图像为包含所述多个参考点的识别结果的图像；并利用双目相机(4)立体几何视觉算法对所述目标图像中的多个参考点中的每个参考点进行目标空间三维坐标确定；基于各个参考点的目标空间三维坐标确定所述车厢(101)的姿态信息。2.根据权利要求1所述的车厢姿态识别系统，其特征在于，所述第二车辆(2)包括连接的卸料装置(201)和主体结构(202)；所述卸料装置(201)与所述主体结构(202)的第一侧面(2021)连接；所述双目相机(4)设于所述第一侧面(2021)上。3.根据权利要求2所述的车厢姿态识别系统，其特征在于，所述第一侧面(2021)包括第一安装点和第二安装点；所述第一安装点和所述第二安装点位于所述第一侧面(2021)的顶部；所述第一安装点与所述第二安装点之间存在第一预设距离；所述双目相机(4)包括第一双目相机(401)和第二双目相机(402)；所述第一双目相机(401)设于所述第一安装点；所述第二双目相机(402)设于所述第二安装点。4.根据权利要求2所述的车厢姿态识别系统，其特征在于，所述标识件(3)包括至少两个子标识件(301)；所述至少两个子标识件(301)分别位于所述车厢(101)的第二侧面的第一位置点和第二位置点；所述第二侧面为朝向所述第一侧面(2021)的面；所述第一位置点与所述第二位置点之间存在第二预设距离；所述第二预设距离大于所述第二侧面沿第一预设方向的长度的一半；所述第一预设方向与所述第二预设方向垂直；所述第二预设方向为所述第一车辆(1)的高度方向的延长线方向。5.根据权利要求1所述的车厢姿态识别系统，其特征在于，所述处理器(5)包括图像识别模块和位置确定模块；所述图像识别模块用于利用图像识别网络模型对所述图像进行识别处理，得到目标图像；所述目标图像为包含所述多个参考点的识别结果的图像，并将所述目标图像发送给位置确定模块；所述位置确定模块用于利用双目相机(4)立体几何视觉算法对所述目标图像中的多个参考点中的每个...

【专利技术属性】
技术研发人员：蔡登胜，李佳恒，陶佳伟，周文彬，
申请(专利权)人：广西柳工机械股份有限公司，
类型：发明
国别省市：