【技术实现步骤摘要】
本公开涉及一种预测对象在未来时间点的位置以控制车辆的预测操作的方法。
技术介绍
1、随着车辆的自主续航里程逐渐增加，车辆在紧急情况下的安全要求也越来越高。为了满足更高的安全要求，复杂和多种突发情况下基于智能图像信号分析的风险预防和预测技术得以应用。可以通过利用诸如图像和3d信息的各种传感器数据对周围环境中的其他车辆和行人进行抢占式预测(preemptive prediction)，提高车辆的有效响应和稳定性以防止事故发生。因此，提出了各种用于车辆中未来对象预测的方法。
2、在一种这样的方法中，基于先验地图信息和路线信息的多模态预测利用先验地图来预测周围车辆的未来路线。先前的研究已经展示了利用详细的先验地图进行预测的深度神经网络模型，该详细的先验地图包括行驶车道并明确表达诸如通过交叉路口的有效路线的道路规则。然而，由于实际上不可能明确地表达所有区域的所有道路规则，所以提出了基于生成器的生成对抗网络(gan)框架。鉴别器判断预测轨迹是否遵循道路规则，并且生成器预测遵循预测轨迹的轨迹。
3、提出的另一种预测方法利用自我中心视点，其中自我中心视点是指在车辆的当前位置从驾驶员的视点的图像信息。当使用单视点rgb摄像机获取自我中心视点时，存在驾驶员的视点具有局部且狭窄的视角的问题。另外，由于指示车辆的行进方向的自运动，因此存在视点从自我中心视点随时间改变的问题。为了解决该问题，提出了从自我中心视点预测其他车辆和行人的未来位置的方法。预测问题通过学习对象在未来时间可能出现的位置的先验(prior)来解决。不是获得诸如地
4、另一个研究开发了一种利用来自自我中心视点的rgb图像来预测行人的多路径的方法，如图1所示。该研究通过接收行人的过去路线和大小以及rgb图像来预测路线。当考虑行人的来自自我中心视点的过去路线时，由此产生的未来路线分布包括多条路线。因此，由于多行人路线预测，多模态预测会受到多对一映射的影响。利用条件变分自动编码器(cvae)解决了该问题。由于cvae模型对高维输出空间的分布进行建模，因此提出了用于将cvae模型与循环神经网络(rnn)编码器-解码器结构耦合的网络。
5、现在参照图2，在利用路线信息和道路信息的多模态方法中，当确定未来路线时，可以存在各种路线。除了车辆的确定之外，还可以考虑到周围情况和对象来预测路线。为了减少可能的路线搜索情况的数量，预测了大概的未来最后位置。基于大概的未来最后位置，生成路线，然后通过对可能的未来路线的假设选择路线。
6、现在参照图3，提出了利用光探测和测距(lidar)信息的基于点柱结构的数据处理方法。点柱结构是指在将三维点云信息转换成二维伪图像的过程中获得的结构。在传统研究中，像图像中的像素一样，点云信息被划分成称为体素的单元，并且体素的特征被用作三维卷积神经网络(cnn)的输入。所提出的方法通过利用被转换成填充符(filler)或体素的信息来处理连续的点云数据并且通过仅计算具有足够信息的体素，解决了在每个体素中稀疏分布的点云数据的问题。
7、现在参照图4，另一个研究开发了用于基于lidar传感器检测对象并且基于结果预测对象的未来位置的深度神经网络结构。不是通过检测在当前帧中的位置并且预测未来位置的方法，而是通过未来对象检测方法回顾问题，并且从每个轨迹的起始点预测未来对象的位置。通过以多对一的方式连接未来和现在的位置来估计多种未来。
8、现在参照图5，提出的另一种方法利用神经网络模型来预测先前给定的未来lidar帧。通过用于预测点云之间运动的flownet3d模型生成关于lidar数据的时间之间运动的信息。
9、
技术介绍
部分的内容旨在促进对本公开的背景的理解，并且可能包括本公开所属领域的普通技术人员先前未知的事项。
技术实现思路
1、本公开旨在提供一种在自动驾驶车辆中利用多模态合成来预测对象在未来时间点的位置的方法。在实施例中，可以通过混合各种模态的未来预测来执行未来预测。在示例中，可以通过合成在每个模态的未来预测中可以从车辆获取以判断当前事故并且基于判断的当前事故预测未来运动的各种信息(多模态)来执行未来预测。
2、根据本公开的实施例，一种在自动驾驶车辆中预测对象的未来位置的方法包括：由处理器提取通过自动驾驶车辆的摄像机获取的视频图像；由处理器提取视频图像作为语义分割图像；由处理器提取对视频图像中存在的对象的属性和位置信息进行成像的掩码图像；由处理器混合视频图像、语义分割图像、掩码图像以及车辆的自运动信息；由处理器预测对象的位置分布，以导出对象在未来时间点的预测位置的多个假设；由处理器执行利用关于通过预测对象的位置分布导出的多个假设的学习数据的拟合；由处理器生成混合模型。
3、在一方面，视频图像信息可以是通过提取并拼接通过车辆的摄像机获取的两个或多个视频图像信息而获得的宽视点图像。
4、在一方面，宽视点图像可以是rgb二维(2d)图像，该方法可以包括基于自我中心视点利用合成rgb 2d图像和lidar信息的多视点来预测路线。
5、在一方面，该方法可以进一步包括通过混合基于视频图像、语义分割图像以及掩码图像的rgb 2d模型和基于lidar信息的lidar模型的输出值来生成混合模型。
6、在一方面，该方法可进一步包括利用混合模型来生成高斯混合概率分布。
7、在一方面，预测对象的位置分布可以包括利用深度学习-注意力机制混合(合成)来自视频图像的最终向量和来自lidar信息的最终向量。
8、在一方面，该方法可以包括通过混合多个假设和基于lidar信息的lidar模型的输出值来生成混合模型。
9、在一方面，车辆的自运动信息可以包括对应于当前时间点t和未来时间点(t+δt)的信息。
10、在一方面，可以针对当前时间点t和多个过去时间点提取混合的视频图像、语义分割图像和掩码图像。
11、在一方面，该方法可以进一步包括：在提取通过车辆的摄像机获取的视频图像之前预测对象的位置，其中预测对象的位置包括从通过车辆的摄像机获取的、在当前时间点t提取的视频图像中导出多个假设。
12、在一方面，混合视频图像、语义分割图像、掩码图像以及车辆的自运动信息进一步包括混合多个假设。
13、在一方面，预测对象的位置可以包括导出多个假设，该多个假设包括通过行驶中的车辆的摄像机获取的、在当前时间点t提取的一个或多个视频图像，在当前时间点t提取的语义分割图像以及车辆的自运动信息。
14、本公开的各种实施例基于对象未来预测网络。本公开的实施例i)利用由lidar提供的多视点执行多视点合成，ii)利用合成的多视点执行对象未来预测，以及iii)利用图像信息和lidar信息执行多模态预测。在一些实施例中，当本文档来自技高网...
【技术保护点】
1.一种在车辆中预测对象在未来时间点的位置的方法，包括：
2.根据权利要求1所述的方法，其中，所述视频图像信息包括通过提取并拼接通过所述车辆的所述摄像机获取的两个或更多个视频图像信息而获得的宽视点图像。
3.根据权利要求2所述的方法，其中：
4.根据权利要求3所述的方法，其中，通过混合基于所述视频图像、所述语义分割图像和所述掩码图像的RGB 2D模型和基于所述LiDAR信息的LiDAR模型的输出值来生成所述混合模型。
5.根据权利要求4所述的方法，进一步包括利用所述混合模型来生成高斯混合概率分布。
6.根据权利要求5所述的方法，其中，预测所述对象的位置分布包括利用深度学习注意力机制合成来自所述视频图像的最终向量和来自所述LiDAR信息的最终向量。
7.根据权利要求3所述的方法，其中，生成所述混合模型包括通过混合所述多个假设和基于所述LiDAR信息的LiDAR模型的输出值来生成所述混合模型。
8.根据权利要求1所述的方法，其中，所述车辆的所述自运动信息包括对应于当前时间点t和未来时间点(t+Δt)的
9.根据权利要求1所述的方法，其中，针对当前时间点t和多个过去时间点提取所述视频图像、所述语义分割图像和所述掩码图像。
10.根据权利要求1所述的方法，进一步包括，在提取通过所述车辆的所述摄像机获取的所述视频图像之前预测所述对象的位置，其中预测所述对象的位置包括从在通过所述车辆的所述摄像机获取的、在当前时间点t提取的视频图像中导出多个假设。
11.根据权利要求10所述的方法，其中，混合所述视频图像、所述语义分割图像、所述掩码图像和所述车辆的所述自运动信息进一步包括混合所述多个假设。
12.根据权利要求10所述的方法，其中，预测所述对象的位置包括从通过所述车辆的所述摄像机获取的、在所述当前时间点t提取的所述视频图像，在所述当前时间点t提取的所述语义分割图像以及所述车辆的所述自运动信息中的一个或多个导出所述多个假设。
...【技术特征摘要】
1.一种在车辆中预测对象在未来时间点的位置的方法，包括：
2.根据权利要求1所述的方法，其中，所述视频图像信息包括通过提取并拼接通过所述车辆的所述摄像机获取的两个或更多个视频图像信息而获得的宽视点图像。
3.根据权利要求2所述的方法，其中：
4.根据权利要求3所述的方法，其中，通过混合基于所述视频图像、所述语义分割图像和所述掩码图像的rgb 2d模型和基于所述lidar信息的lidar模型的输出值来生成所述混合模型。
5.根据权利要求4所述的方法，进一步包括利用所述混合模型来生成高斯混合概率分布。
6.根据权利要求5所述的方法，其中，预测所述对象的位置分布包括利用深度学习注意力机制合成来自所述视频图像的最终向量和来自所述lidar信息的最终向量。
7.根据权利要求3所述的方法，其中，生成所述混合模型包括通过混合所述多个假设和基于所述lidar信息的lidar模型的输出值来生成所述混合模型。
...
【专利技术属性】
技术研发人员：朴炯郁，申章浩，赵㥠瑛，姜制远，李订炅，
申请(专利权)人：现代自动车株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。