车辆的行驶轨迹处理方法、装置以及存储介质制造方法及图纸

本发明专利技术公开了一种车辆的行驶轨迹处理方法、装置以及存储介质。其中，该方法包括：在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。本发明专利技术解决了相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。行预测的准确度较低的技术问题。行预测的准确度较低的技术问题。

【技术实现步骤摘要】
车辆的行驶轨迹处理方法、装置以及存储介质


[0001]本专利技术涉及车辆领域，具体而言，涉及一种车辆的行驶轨迹处理方法、装置以及存储介质。

技术介绍

[0002]目前，在学术界和工业界存在大量的视觉里程计算法。传统的视觉里程计算法可以分为基于特征的方法和直接的方法。基于特征的方法通常包括相机校准、特征检测、特征匹配、异常值拒绝、运动估计、尺度估计和优化等步骤。然而，如何检测适当的特征以恢复特定运动仍然是一项极具挑战性的问题，目前通过相机获取到的行驶图像对车辆的行驶轨迹预测的准确度较低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种车辆的行驶轨迹处理方法、装置以及存储介质，以至少解决相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种车辆的行驶轨迹处理方法，包括：在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
[0006]根据本专利技术实施例的一个方面，提供了一种车辆的行驶轨迹处理装置，包括：采集模块，用于在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；堆叠模块，用于对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；识别模块，用于分别对多个堆叠图像进行识别，得到车辆的行驶轨迹。
[0007]根据本专利技术实施例的一个方面，提供了一种非易失性存储介质，其特征在于，非易失性存储介质包括存储的程序，其中，在程序运行时控制所在设备的处理器中执行任意实施例中的车辆的行驶轨迹处理方法。
[0008]在本专利技术实施例中，在车辆的行驶过程中，通过车辆上搭载的摄像头采集多个行驶图像，其中，多个行驶图像的采集时间点连续；对多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，第一图像和第二图像为相邻时间点采集到的图像；分别对多个堆叠图像进行识别，得到车辆的行驶轨迹，实现了得到准确度较高的车辆的行驶轨迹，通过对采集到的图像进行堆叠，可以在识别的过程中结合多张图像的经验，提高识别的准确度，进而解决了相关技术中对车辆的行驶轨迹进行预测的准确度较低的技术问题。
附图说明
[0009]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0010]图1是根据本专利技术实施例的一种车辆的行驶轨迹处理方法的流程图；
[0011]图2是根据本申请实施例的一种车辆的行驶轨迹处理结构的示意图；
[0012]图3是根据本申请实施例的一种神经网络结构的示意图；
[0013]图4是根据本申请实施例2的一种车辆的行驶轨迹处理装置的示意图。
具体实施方式
[0014]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0015]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0016]视觉里程计(Visual odometry，VO)是自动驾驶汽车和移动服务机器人领域一项重要的研究问题。在为不同传感器模式开发的各种视觉里程计方法中(例如单目相机、立体相机、全向相机、激光、激光雷达等)，单目视觉里程计是最具挑战性的之一。目前大多数视觉里程计方法都是基于标准框架开发的，包括特征提取，特征匹配，运动估计，局部优化等模块。尽管其中一些方法已经展现了优越的性能，但通常仍需要精心设计，进行针对性微调才能适应不同的任务和环境需求。而且，单目视觉里程计缺乏失尺度信息，往往需要一些先验知识来恢复绝对尺度估计。最近，基于深度学习的方法为里程计、重定位和语义映射提供了新的解决方案。但是，现有基于深度学习算法的特征表达不够精准，尤其是对于重要的视觉特征的刻画与捕捉能力有限。
[0017]本申请的目的在于解决相关技术中存在的对关键特征捕捉与表达的问题，通过在网络框架中加入自注意力机制模块，对视频帧的不同通道和处于不同位置的像素赋予不同权重，提升视觉里程计定位的精度和鲁棒性。因此，本申请提出了一种新颖的端到端单目VO的框架。由于其是以端到端的方式进行训练和配置的，因此其可以直接从一系列原始的RGB图像(Red、Green、Blue，红色、绿色、蓝色)，或视频中计算得到姿态，而无需采用任何传统VO框架中的模块。该模型基于Visual Transformer(ViT)网络与双向注意力长短时记忆网络(Att
‑
Bi
‑
LSTM)构建，使其具有两个维度的优势：一方面，可以通过卷积神经网络(Convolutional Neural Network)与多头自注意力机制(Multi Head Self Attention)自动学习VO问题的有效特征表示；另一方面，可以通过注意力长短时记忆网络对时序模型(运
动模型)、数据关联模型(图像序列)进行建模。该模型能充分利用序列帧的信息，实现精准、鲁棒的视觉里程计定位。视觉里程计最主要的问题是如何从几个相邻图像中，估计相机的运动。
[0018]相机在运动过程中连续两帧之间会存在重叠(overlap)，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特征点的对应关系。利用相机的成像几何模型(包括相机参数)以及约束，可以求出两帧之间的运动信息(旋转矩阵R和平移t)。以此，可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。
[0019]目前，在学术界和工业界存在大量的视觉里程计算法。传统的视觉里程计算法可以分为基于特征的方法和直接的方法。基于特征的方法通常包括相机校准、特征检测、特征匹配、异常值拒绝、运动估计、尺度估计和优化等步骤。然而，如何检测适当的特征以恢复特定运动仍然是一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆的行驶轨迹处理方法，其特征在于，包括：在车辆的行驶过程中，通过所述车辆上搭载的摄像头采集多个行驶图像，其中，所述多个行驶图像的采集时间点连续；对所述多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，其中，所述第一图像和所述第二图像为相邻时间点采集到的图像；分别对所述多个堆叠图像进行识别，得到所述车辆的行驶轨迹。2.根据权利要求1所述的方法，其特征在于，分别对所述多个堆叠图像进行识别，得到所述车辆的行驶轨迹，包括：分别对所述多个堆叠图像进行识别，得到所述摄像头的多个目标位姿信息；基于所述多个目标位姿信息确定所述车辆的行驶轨迹。3.根据权利要求1所述的方法，其特征在于，对所述多个行驶图像中的第一图像和第二图像进行堆叠，得到多个堆叠图像，包括：获取所述第一图像的第一图像通道和所述第二图像的第二图像通道；对所述第一图像通道和所述第二图像通道进行堆叠，得到目标图像通道；基于所述目标图像通道生成所述多个堆叠图像。4.根据权利要求2所述的方法，其特征在于，分别对所述多个堆叠图像进行识别，得到所述摄像头的多个目标位姿信息，包括：利用第一神经网络对所述多个堆叠图像进行识别，得到所述多个堆叠图像的初始特征向量，其中，所述第一神经网络用于提取所述初始特征向量；利用第二神经网络对所述多个堆叠图像的初始特征向量进行处理，得到所述摄像头的多个目标位姿信息，其中，所述第二神经网络用于对所述初始特征向量的权重比例进行调整。5.根据权利要求4所述的方法，其特征在于，利用第二神经网络对所述多个堆叠图像的初始特征向量进行处理，得到所述摄像头的多个目标位姿信息，包括：获取第一堆叠图像的第一初始特征向量，其中，所述第一初始特征向量为所述第一堆叠图像的初始特征向量和第二堆叠图像的第二初始特征向量合并得到，所述第一堆叠图像和所述第二堆叠图像为连续的所述多个堆叠图像中相邻...

【专利技术属性】
技术研发人员：闫坤，陈博，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：