图像预测及车辆行为规划方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种图像预测方法、装置和系统及车辆行为规划方法、装置和系统及存储介质。图像预测方法包括：获取目标车辆在当前时刻T

【技术实现步骤摘要】
图像预测及车辆行为规划方法、装置和系统及存储介质
本专利技术涉及自动驾驶
，更具体地涉及一种图像预测方法、装置和系统及车辆行为规划方法、装置和系统及存储介质。
技术介绍
在自动驾驶领域，现有技术主要依赖于当前状态下的感知信息来完成对车辆行为的规划，这样存在两个问题，一是无法应对突发事件，二是使用这种方案决策的行为不具备可解释性。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种图像预测方法、装置和系统及车辆行为规划方法、装置和系统及存储介质。本专利技术一方面，提供了一种图像预测方法。图像预测方法包括：获取目标车辆在当前时刻T1采集的当前图像I10；通过第一编码器EN0提取当前图像I10的特征F10；对于第T1+i*Δt时刻，在预测网络Ni中，基于特征F10至特征F1i-1中的一个或多个来预测特征F1i，并对特征F1i进行重建以获得第T1+i*Δt时刻的预测图像I1i'，i＝1,2……m，m是大于或等于2的整数，Δt为预设时段。本专利技术的另一方面，提供了车辆行为规划方法，包括：获取上述图像预测方法中涉及的当前图像I10以及预测图像I11',I12'……I1m'；基于i＝1，通过第二编码器EN0'提取图像I1i-1的特征F1i-1'；基于i＝2,3……m，通过第二编码器EN0'提取预测图像I1i-1'的特征F1i-1'；基于i＝1,2……m，将特征F1i-1'输入具有第一初始参数的变换卷积网络CT中进行卷积，以获得变换矩阵M1i-1；采用变换矩阵M1i-1对特征F1i-1'进行矩阵变换，以获得变换特征F1i”；通过第二解码器DE0'对特征F1i”进行重建，以获得重建图像I1i”；通过预测图像I1i'和重建图像I1i”计算第一图像损失函数，并基于第一图像损失函数对变换卷积网络CT进行训练，以获得训练后的变换卷积网络CTi-1；基于变换卷积网络CTi-1输出的变换矩阵M1i-1确定目标车辆在第T1+(i-1)*Δt时刻的期望加速度和期望转角。本专利技术的另一方面，提供了一种图像预测装置，包括：获取模块，用于获取目标车辆在当前时刻T1采集的当前图像I10；提取模块，用于通过第一编码器EN0提取当前图像I10的特征F10；预测模块，用于对于第T1+i*Δt时刻，在预测网络Ni中，基于特征F10至特征F1i-1中的一个或多个来预测特征F1i，并对特征F1i进行重建以获得第T1+i*Δt时刻的预测图像I1i'，i＝1,2……m，m是大于或等于2的整数，Δt为预设时段。本专利技术的另一方面，提供了一种车辆行为规划装置，包括：获取模块，用于获取上述图像预测方法中涉及的当前图像I10以及预测图像I11',I12'……I1m'；第一提取模块，用于基于i＝1，通过第二编码器EN0'提取图像I1i-1的特征F1i-1'；第二提取模块，用于基于i＝2,3……m，通过第二编码器EN0'提取预测图像I1i-1'的特征F1i-1'；输入模块，用于基于i＝1,2……m，将特征F1i-1'输入具有第一初始参数的变换卷积网络CT中进行卷积，以获得变换矩阵M1i-1；变换模块，用于基于i＝1,2……m，采用变换矩阵M1i-1对特征F1i-1'进行矩阵变换，以获得变换特征F1i”；重建模块，用于基于i＝1,2……m，通过第二解码器DE0'对特征F1i”进行重建，以获得重建图像I1i”；训练模块，用于基于i＝1,2……m，通过预测图像I1i'和重建图像I1i”计算第一图像损失函数，并基于第一图像损失函数对变换卷积网络CT进行训练，以获得训练后的变换卷积网络CTi-1；确定模块，用于基于i＝1,2……m，基于变换卷积网络CTi-1输出的变换矩阵M1i-1确定目标车辆在第T1+(i-1)*Δt时刻的期望加速度和期望转角。本专利技术的另一方面，提供了一种图像预测系统，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述图像预测方法。本专利技术的另一方面，提供了一种车辆行为规划系统，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述车辆行为规划方法。本专利技术的另一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述图像预测方法。本专利技术的另一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述车辆行为规划方法。本专利技术实施例的图像预测方法、装置和系统及车辆行为规划方法、装置和系统及存储介质，可以基于车辆采集的当前图像预测后续的图像，这样可以预测车辆在随后行驶过程中环境的变化情况，这些预测的图像可以应用于车辆行为规划，进而有助于提高行为规划的可解释性，有助于应对突发事件。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出根据本专利技术一个实施例的图像预测方法的示意性流程图；图2示出根据本专利技术一个实施例的图像预测方法所涉及的图像预测模型的示意图；图3示出根据本专利技术一个实施例的预测网络的示意图；图4示出根据本专利技术一个实施例的车辆行为规划方法的示意性流程图；图5示出根据本专利技术一个实施例的车辆行为规划方法所涉及的行为规划模型的示意图；图6示出根据本专利技术一个实施例的图像预测装置的示意性框图；图7示出根据本专利技术一个实施例的车辆行为规划装置的示意性框图；图8示出根据本专利技术一个实施例的图像预测系统的示意性框图；以及图9示出根据本专利技术一个实施例的车辆行为规划系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。为了解决上述问题，本专利技术提出了一种图像预测方法及车辆行为规划方法。根据本专利技术实施例，可以根据车辆当前感知到的环境信息(即当前图像)预测未来的环境信息(即预测图像)，预测出的信息可以用于产生对车辆当前状态的控制信号，例如期望加速度和期望转角。这种行为规划方式是基于预测的规划方式。基于预测的行为规划，由于可以在事件发生前通过预测的方式得到事件发生的信息，并利用预测信息来指导行为规划，因此可以在突发事件发生前就提前做出反应。此外，通过对未来的预测，可以获知当前行为会产生什么结果，或是基于什么期望而做出的行为，因此，本方案可以提高规划系统的可解释性，这是自动驾驶系统能否安全落地的重要标准。需注意，本专利技术实施例提供的图像预测方法可以应用于多种需要预测车辆未来状态的场景，包括但不限于上述行为规划。例如，图像预测方法还可以应用于轨迹规划、车辆跟踪等。车辆的行本文档来自技高网...

【技术保护点】
1.一种图像预测方法，包括：/n获取目标车辆在当前时刻T

【技术特征摘要】
1.一种图像预测方法，包括：
获取目标车辆在当前时刻T1采集的当前图像I10；
通过第一编码器EN0提取所述当前图像I10的特征F10；
对于第T1+i*Δt时刻，在预测网络Ni中，基于所述特征F10至特征F1i-1中的一个或多个来预测特征F1i，并对所述特征F1i进行重建以获得第T1+i*Δt时刻的预测图像I1i'，i＝1,2……m，m是大于或等于2的整数，Δt为预设时段。


2.如权利要求1所述的方法，其中，所述基于所述特征F10至特征F1i-1中的一个或多个来预测特征F1i包括：
对于所述特征F10至所述特征F1i-1中的每个参与预测的特征F1j，
基于所述特征F1j计算注意力遮罩S1ij；
对所述特征F1j与所述注意力遮罩S1ij进行矩阵内积计算，以获得注意力特征FS1ij；
将所述注意力特征FS1ij输入全连接层或卷积层进行特征加权求和，以获得加权特征FA1ij；
将在所述预测网络Ni中获得的所有加权特征进行融合，以获得所述特征F1i；
其中，j∈{0,1……i-1}。


3.如权利要求2所述的方法，其中，所述基于所述特征F1j计算注意力遮罩S1ij包括：
将所述特征F1j输入所述预测网络Ni中的遮罩卷积网络CSij中进行卷积，以获得所述注意力遮罩S1ij，其中，所述注意力遮罩S1ij与所述特征F1j的高和宽一致并且通道数为1，所述注意力遮罩S1ij中的每个元素代表车辆将要驶向的位置的响应值。


4.一种车辆行为规划方法，包括：
获取如权利要求1至3任一项所述的图像预测方法中涉及的所述当前图像I10以及所述预测图像I11',I12'……I1m'；
基于i＝1，通过第二编码器EN0'提取图像I1i-1的特征F1i-1'；
基于i＝2,3……m，通过所述第二编码器EN0'提取预测图像I1i-1'的特征F1i-1'；
基于i＝1,2……m，
将所述特征F1i-1'输入具有第一初始参数的变换卷积网络CT中进行卷积，以获得变换矩阵M1i-1；
采用所述变换矩阵M1i-1对所述特征F1i-1'进行矩阵变换，以获得变换特征F1i”；
通过第二解码器DE0'对所述特征F1i”进行重建，以获得重建图像I1i”；
通过预测图像I1i'和所述重建图像I1i”计算第一图像损失函数，并基于所述第一图像损失函数对所述变换卷积网络CT进行训练，以获得训练后的变换卷积网络CTi-1；
基于所述变换卷积网络CTi-1输出的变换矩阵M1i-1确定所述目标车辆在第T1+(i-1)*Δt时刻的期望加速度和期望转角。<...

【专利技术属性】
技术研发人员：于立冬，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32