使用相邻车辆的姿态观察进行路面表征制造技术

本公开提供“使用相邻车辆的姿态观察进行路面表征”。一种计算系统可以基于图像中的第一车辆的宽度、高度和位置而裁剪所述图像。所述计算系统可以基于将所述裁剪的图像以及所述第一车辆的所述宽度、所述高度和所述位置输入深度神经网络中而估计所述第一车辆的姿态。然后，所述计算系统可以基于所述估计的姿态而操作第二车辆。所述计算系统可以根据所述估计的姿态训练模型以识别危险的类型和位置，所述危险是冰、泥、坑洼或其他危险之类的东西。所述模型可以由自主车辆用于识别和躲避危险或提供驾驶辅助警报。

Road surface characterization using attitude observation of adjacent vehicles

【技术实现步骤摘要】
使用相邻车辆的姿态观察进行路面表征
本专利技术涉及用于自主驾驶或提供驾驶员辅助的障碍物识别。
技术介绍
车辆可被配备为在自主模式和乘员导引模式两者下操作。车辆可以被配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并基于该信息来操作车辆。车辆的安全且舒适操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行进的路线和要避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆在道路上操作时获取关于在车辆环境中的路线和对象的准确且及时的信息。存在用于识别造成碰撞风险的对象的现有机制和/或在规划车辆沿路线的路径时应考虑到这些机制。然而，还有改善对象识别和评估技术的空间。
技术实现思路
本文公开的是一种方法，该方法包括：基于图像中的第一车辆的宽度、高度和中心而裁剪图像以确定图像块；基于将图像块以及第一车辆的宽度、高度和中心输入深度神经网络中而估计第一车辆的3D姿态；以及基于估计的3D姿态而操作第二车辆。估计的3D姿态可以包括第一车辆相对于3D坐标系的估计的3D位置、估计的侧倾、估计的俯仰和估计的横摆。可以基于依据分割所述图像来确定图像中的对象来确定第一车辆图像块的宽度、高度和中心。可以基于确定分割的图像中的矩形边界框而确定第一车辆的宽度、高度和中心。可以基于裁剪来自矩形边界框的图像数据并调整图像数据的大小以适合以经验确定的高度和宽度而确定图像块。深度神经网络可以包括：多个卷积神经网络层，所述多个卷积神经网络层用于处理裁剪的图像；第一多个完全连接的神经网络层，所述第一多个完全连接的神经网络层用于处理第一车辆的高度、宽度和位置；以及第二多个完全连接的神经网络层，所述第二多个完全连接的神经网络层用于组合来自卷积神经网络层和第一完全连接的神经网络层的输出，以确定估计的姿态。可以基于将第一车辆图像块的宽度、高度和中心输入深度神经网络中以确定估计的侧倾、估计的俯仰和估计的横摆而确定第一车辆的估计的3D姿态。可以确定第一车辆的估计的3D姿态，其中深度神经网络包括第三多个完全连接的神经网络层，所述第三多个完全连接的神经网络层用于处理第一车辆图像块的高度、宽度和中心，以确定3D位置。可以基于模拟图像数据而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。关于第一车辆的3D姿态的地面实况可以包括相对于3D坐标系的3D位置、侧倾、俯仰和横摆。可以基于记录的图像数据和获取的地面实况而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。记录的图像数据可以从包括在第二车辆中的视频传感器记录。可以基于摄影测量而确定对应于记录的图像数据的地面实况。摄影测量可以是基于依据车辆品牌和型号而确定车辆的尺寸。在其他实施例中，激光雷达、雷达或其他传感器数据可被捕获并用于确定车辆的实际姿态以用作地面实况。在其他实施例中，来自观察所述车辆的相邻车辆的传感器数据(摄影、激光雷达、雷达等)可以用于表示车辆的地面实况。还公开了一种计算机可读介质，其存储用于执行上述方法步骤中的一些或全部的程序指令。此外，还公开一种计算机，该计算机被编程为用于执行上述方法步骤中的一些或全部，包括计算机设备，计算机设备被编程为：基于图像中的第一车辆的宽度、高度和中心而裁剪图像以确定图像块；基于将图像块以及第一车辆的宽度、高度和中心输入深度神经网络中而估计第一车辆的3D姿态；以及基于估计的3D姿态而操作第二车辆。估计的3D姿态可以包括第一车辆相对于3D坐标系的估计的3D位置、估计的侧倾、估计的俯仰和估计的横摆。可以基于依据分割图像来确定图像中的对象来确定第一车辆图像块的宽度、高度和中心。可以基于确定分割的图像中的矩形边界框而确定第一车辆的宽度、高度和中心。可以基于裁剪来自矩形边界框的图像数据并调整图像数据的大小以适合以经验确定的高度和宽度而确定图像块。深度神经网络可以包括：多个卷积神经网络层，所述多个卷积神经网络层用于处理裁剪的图像；第一多个完全连接的神经网络层，所述第一多个完全连接的神经网络层用于处理第一车辆的高度、宽度和位置；以及第二多个完全连接的神经网络层，所述第二多个完全连接的神经网络层用于组合来自卷积神经网络层和第一完全连接的神经网络层的输出，以确定估计的姿态。计算机设备可以进一步被编程为可以基于将第一车辆图像块的宽度、高度和中心输入深度神经网络中以确定估计的侧倾、估计的俯仰和估计的横摆而确定第一车辆的估计的3D姿态。可以确定第一车辆的估计的3D姿态，其中深度神经网络包括第三多个完全连接的神经网络层，所述第三多个完全连接的神经网络层用于处理第一车辆图像块的高度、宽度和中心，以确定3D位置。可以基于模拟图像数据而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。关于第一车辆的3D姿态的地面实况可以包括相对于3D坐标系的3D位置、侧倾、俯仰和横摆。可以基于记录的图像数据和获取的地面实况而训练深度神经网络以基于图像块、第一车辆的宽度、高度和中心、以及关于第一车辆的3D姿态的地面实况而估计3D姿态。记录的图像数据可以从包括在第二车辆中的视频传感器记录。可以基于摄影测量而确定对应于记录的图像数据的地面实况。摄影测量可以是基于依据车辆品牌和型号而确定车辆的尺寸。附图说明为了易于理解本专利技术的优点，将通过参考附图中所示的特定实施例来呈现对上面简要描述的本专利技术的更具体描述。在理解这些附图仅描绘了本专利技术的典型实施例并且因此不被认为是对其范围的限制之后，将通过使用附图来用附加的特异性和细节来描述和解释本专利技术，在附图中：图1是示例车辆的框图；图2是交通场景的示例图像的图示；图3是交通场景的示例图像的图示；图4是示例深度神经网络的图示；图5是基于裁剪的图像而估计车辆姿态的示例过程的流程图；图6是用于生成和使用模型的系统的框图，该模型经训练用于根据估计的车辆姿态识别危险的类型和位置；图7是示出用于训练模型以根据估计的车辆姿态识别危险的类型和位置的部件的框图；并且图8是示出用于使用模型根据估计的车辆姿态识别危险的类型和位置的部件的框图。具体实施方式在车辆中的计算装置可以被编程为获取关于车辆周围的外部环境的数据并使用该数据来确定用于以自主和半自主模式操作车辆的轨迹。计算装置可以检测和跟踪车辆周围的环境中的交通对象，其中交通对象被定义为占据车辆周围的真实世界中的物理空间的刚性或半刚性三维(3D)实体对象。交通对象的实例包括车辆和行人等，如下面关于图2所讨论。检测和跟踪交通对象可以包括确定交通对象相对于车辆的位置的多个估计以确定运动并由此预测交通对象的未来位置，并且由此允许计算装置确定车辆行驶的避免涉及交通对象的碰撞或其他不期望的事件的路径。计算装置可以使用如下面关于图1所讨论的激光雷达传感器来确定距车辆环境中的交通对象的距离，然而，可能需要随时间的多个激光雷达数据样本来估计交通对象的轨迹本文档来自技高网...

【技术保护点】
1.一种方法，其包括由计算机系统：/n接收训练数据条目，每个条目包括用车辆姿态和危险类型注释的视频片段；/n根据所述训练数据条目训练第一深度神经网络(DNN)以输出车辆姿态估计；以及/n根据所述训练数据条目和所述车辆姿态估计训练第二DNN以分类危险，其中所述第二DNN是递归神经网络。/n

【技术特征摘要】
20181121 US 16/198,3341.一种方法，其包括由计算机系统：
接收训练数据条目，每个条目包括用车辆姿态和危险类型注释的视频片段；
根据所述训练数据条目训练第一深度神经网络(DNN)以输出车辆姿态估计；以及
根据所述训练数据条目和所述车辆姿态估计训练第二DNN以分类危险，其中所述第二DNN是递归神经网络。


2.如权利要求1所述的方法，其还包括根据所述训练数据条目和所述车辆姿态估计训练所述第二DNN以识别所述危险的位置。


3.如权利要求1所述的方法，其还包括根据所述训练数据条目、所述车辆姿态估计以及所述车辆姿态估计的导数训练所述第二DNN以识别所述危险的位置。


4.如权利要求1所述的方法，其中所述车辆姿态估计每个包括x、y、z、俯仰、横摆和侧倾估计。


5.如权利要求1所述的方法，其中根据所述训练数据条目和所述车辆姿态估计训练所述第二DNN以分类所述危险包括：训练所述第二DNN以将所述危险分类为坑洼、冰、泥、砾石、隆起物、不平的路面、污物和杂散物体中的至少一者。


6.如权利要求1所述的方法，其还包括对车辆控制器进行编程以使用所述第一DNN和所述第二DNN来检测危险。


7.一种系统，其包括一个或多个处理装置和能操作地耦合到所述一个或多个处理装置的一个或多个存储器装置，所述一个或多个存储器装置存储可执行代码，所述可执行代码有效地致使所述一个或多个处理装置：
接收训练数据条目，每个条目包括用车辆姿态和危险类型注释的视频片段；
根据所述训练数据条目训练第一深度神经网络(DNN)以输出车辆姿态估计；以及
根据所述训练数据条目和所述车辆姿态估计训练第二DNN以分类危险。


8.如权利要求7所述的系统，其中所述可执行代码...

【专利技术属性】
技术研发人员：古萨姆·肖林格，金尼什·J·简，金塔拉斯·文森特·普斯科里奥斯，勒达·戴勒，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US