【技术实现步骤摘要】
本申请涉及计算机视觉，特别涉及一种轮胎吊的行驶纠偏方法、系统、设备及存储介质。
技术介绍
1、轮胎吊也即是轮胎式起重机，其利用轮胎式底盘行驶。由于轮胎吊依靠两边的电机驱动轮胎，在轮胎吊行驶过程中，常常会因为车体配重、吊装重量、地面平整度等因素，导致两边速度不一样，从而产生路线偏移。
2、目前，由人工对轮胎吊进行纠偏控制的方式存在一定误差，纠偏的精准度较差，无法良好适应不同的行驶环境。
技术实现思路
1、为了解决上述存在的问题，本申请提供了一种轮胎吊的行驶纠偏方法、系统、设备及存储介质，通过将图像特征和电气控制数据进行多模态融合后输入神经网络模型进行推理，可在不同的行驶环境有效提升纠偏控制的精准度。
2、第一方面，本申请提供了一种轮胎吊的行驶纠偏方法，该方法包括：
3、s1、从摄像头获取轮胎吊行驶方向上的道路图像，将所述道路图像输入经过训练的车道线检测模型，得到所述道路图像的图像特征矩阵，所述图像特征矩阵描述所述道路图像中的车道线位置；
4、s2、从轮胎吊对应的电气控制设备中，获取和所述道路图像同一时刻采集的当前速度差、历史控制纠偏量和多个电机速度，所述当前速度差为所述轮胎吊两边的电机速度差；
5、s3、将所述当前速度差、所述历史控制纠偏量和所述多个电机速度进行归一化后拼接为数据序列，对所述数据序列进行维度扩展，得到预设格式的控制数据矩阵；
6、s4、将所述图像特征矩阵和所述预设格式的控制数据矩阵融合，得到融合数
7、s5、将所述当前控制纠偏量发送至所述电气控制设备，以使所述电气控制设备按照所述当前控制纠偏量对所述轮胎吊的多个电机速度进行调整。
8、在一种可能实施方式中，所述步骤s3包括：
9、s31、将所述当前速度差、所述历史控制纠偏量和所述多个电机速度分别除以各自对应的预设最大值后，将得到的归一化当前速度差、归一化历史控制纠偏量和多个归一化电机速度拼接得到数据序列，将数据序列复制多份后组合为第一数据矩阵；
10、s32、按照所述神经网络模型的输入维度，将所述第一数据矩阵扩充为所述预设格式的控制数据矩阵，扩充方式包括：
11、a、采用给定的线性插值算法，对所述第一数据矩阵进行数值估计，得到多个和所述第一数据矩阵存在线性关系的第二数据矩阵，将所述多个第二数据矩阵和所述第一数据矩阵组合后得到预设格式的所述控制数据矩阵；或，
12、b、将所述第一数据矩阵复制多份后，组合得到所述预设格式的控制数据矩阵。
13、在一种可能实施方式中，所述经过训练的车道线检测模型包括：卷积神经网络构造的主干网络和注意力模块，所述步骤s1包括：
14、s11、从轮胎吊的摄像头获取所述轮胎吊行驶方向上的道路图像；
15、s12、将所述道路图像输入所述主干网络，通过所述主干网络根据输入的所述样本道路图像生成局部特征矩阵；将所述局部特征矩阵池化后输入所述注意力模块，通过所述注意力模块对局部特征矩阵中各个局部特征块之间的权重关系进行学习，根据学习到的所述权重关系对所述局部特征矩阵中各个局部特征块进行加权组合，得到全局特征矩阵；将所述局部特征矩阵和所述全局特征矩阵组合，得到所述道路图像的图像特征矩阵。
16、在一种可能实施方式中，所述神经网络模型为多层感知机，所述神经网络模型的训练过程包括：
17、获取一组样本数据和所述样本数据的标签控制纠偏量，所述一组样本数据包括：样本道路图像对应的样本图像特征，与所述样本道路图像同一时间采集的样本速度差和样本历史控制纠偏量；
18、将所述样本数据融合后输入所述多层感知机，根据所述多层感知机输出的训练控制纠偏量，计算所述训练控制纠偏量和所述标签控制纠偏量之间的均方误差损失；
19、根据所述均方误差损失，采用随机梯度下降法和误差反向传播调整所述多层感知机的模型参数。
20、在一种可能实施方式中，所述当前速度差描述所述轮胎吊的路线偏移状态，所述多个电机速度描述所述轮胎吊的当前行驶速度，所述历史控制纠偏量用于在生成所述当前控制纠偏量时提供经过验证的指导信息。
21、第二方面，提供一种轮胎吊的行驶纠偏系统，所述系统包括：摄像头、计算设备和电气控制设备；所述摄像头用于采集轮胎吊行驶方向上的道路图像；所述电气控制设备用于采集所述轮胎吊的当前速度差、历史控制纠偏量和多个电机速度，所述当前速度差为所述轮胎吊两边的电机速度差；所述计算设备用于执行如第一方面所提供的轮胎吊的行驶纠偏方法。
22、第三方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如第一方面提供的轮胎吊的行驶纠偏方法。
23、第四方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，至少一段程序由处理器执行以实现如第一方面提供的轮胎吊的行驶纠偏方法。
24、本申请提供的技术方案至少包括如下技术效果：
25、本申请提供的轮胎吊的行驶纠偏系统中，计算设备将从摄像头获取的轮胎吊行驶方向上的道路图像输入训练好的车道线检测模型，得到描述车道线位置的图像特征矩阵；从轮胎吊的电气控制设备中获取和道路图像同时采集的电机速度、当前速度差和历史控制纠偏量；将从电气控制设备获取的数据归一化并维度扩展，得到控制数据矩阵；将图像特征矩阵和控制数据矩阵融合后输入训练好的神经网络模型得到当前控制纠偏量，电气控制设备按照当前控制纠偏量对轮胎吊的多个电机速度进行调整。通过将图像特征和电气控制数据进行多模态融合后输入神经网络模型进行推理，可在不同的行驶环境有效提升纠偏控制的精准度。
本文档来自技高网...【技术保护点】
1.一种轮胎吊的行驶纠偏方法，其特征在于，所述方法包括：
2.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述步骤S3包括：
3.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述经过训练的车道线检测模型包括：卷积神经网络构造的主干网络和注意力模块，所述步骤S1包括：
4.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述神经网络模型为多层感知机，所述神经网络模型的训练过程包括：
5.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述当前速度差描述所述轮胎吊的路线偏移状态，所述多个电机速度描述所述轮胎吊的当前行驶速度，所述历史控制纠偏量用于在生成所述当前控制纠偏量时提供经过验证的指导信息。
6.一种轮胎吊的行驶纠偏系统，其特征在于，所述系统包括：摄像头、计算设备和电气控制设备；所述摄像头用于采集轮胎吊行驶方向上的道路图像；所述电气控制设备用于采集所述轮胎吊的当前速度差、历史控制纠偏量和多个电机速度，所述当前速度差为所述轮胎吊两边的电机速度差；所述计算设备用于执行如权利要求1至5任一项所述
7.一种计算设备，其特征在于，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至5任一所述的轮胎吊行驶的纠偏方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至5任一所述的轮胎吊的行驶纠偏方法。
...【技术特征摘要】
1.一种轮胎吊的行驶纠偏方法，其特征在于，所述方法包括：
2.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述步骤s3包括：
3.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述经过训练的车道线检测模型包括：卷积神经网络构造的主干网络和注意力模块，所述步骤s1包括：
4.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述神经网络模型为多层感知机，所述神经网络模型的训练过程包括：
5.根据权利要求1所述的轮胎吊的行驶纠偏方法，其特征在于，所述当前速度差描述所述轮胎吊的路线偏移状态，所述多个电机速度描述所述轮胎吊的当前行驶速度，所述历史控制纠偏量用于在生成所述当前控制纠偏量时提供经过验证的指导信息。
【专利技术属性】
技术研发人员：翁渊彬，吴南海，田设金，杜艺能，王传智，陈玉明，
申请(专利权)人：博大视野厦门科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。