人因智能驾驶行为预测方法、系统、终端设备及存储介质技术方案

本申请涉及智能座舱技术领域，尤其涉及人因智能驾驶行为预测方法、系统、终端设备及存储介质。其方法包括，获取驾驶人的生理信号，并对生理信号做快速傅里叶变换求解幅频特性，然后对生理信号进行多周期分解，其次将上述分解的数据进行升维，随即结合车辆道路场景视频帧预测数据导入多模态同步数据融合层，得到相应的多尺度三维特征，多尺度三维特征再次经过三维骨干网络层对上述多尺度三维特征进行分析处理并输出相应的目标特征，最后经驾驶行为解释层和驾驶行为推理层对上述目标特征进行文本生成，得到人因智能驾驶行为预测的解释和推理信息，本申请提供的人因智能驾驶行为预测方法、系统、终端设备及存储介质可提升驾驶行为的预测效果。的预测效果。的预测效果。

【技术实现步骤摘要】
人因智能驾驶行为预测方法、系统、终端设备及存储介质


[0001]本申请涉及智能座舱
，尤其涉及一种人因智能驾驶行为预测方法、系统、终端设备及存储介质。

技术介绍

[0002]人因智能驾驶行为预测是一种通过分析和学习历史的行驶数据，预测车辆未来可能的行为或者动作的技术，这种预测可能包括车辆的转向、加速、减速以及变道等行为。在自动驾驶技术中，人因智能驾驶行为预测尤为重要。通过预测其他车辆和行人的行为，自动驾驶系统可以提前做出决策，避免可能的碰撞，提高行驶的安全性。人因智能驾驶行为预测通常基于机器学习和人工智能技术，包括但不限于深度学习，强化学习等算法。这些算法通过学习大量的行驶数据，捕捉到行驶行为的模式，从而实现对未来行为的预测。
[0003]Transformer模型是一种基于自注意力(Self
‑
Attention)机制的深度学习模型，被广泛应用于自然语言处理领域。然而，由于其强大的序列建模能力，Transformer模型也被用于处理其他类型的序列数据，包括人因智能驾驶行为预测。在人因智能驾驶行为预测的应用中，Transformer模型可以有效地处理车辆的轨迹数据，这些数据本质上是一个时序序列。每个时刻的位置、速度、加速度等信息可以被视为序列中的一个元素，通过Transformer模型可以捕捉到这些元素之间的依赖关系，从而预测车辆的未来行为。
[0004]在实际应用中，传统的Transformer模型在人因智能驾驶行为预测的应用场景中，存在以下缺陷：(1)基于Transformer模型的端到端智能座舱模型用于驾驶行为预测时，适配性高，但精准度低；(2)基于Transformer的端到端自动驾驶的可解释性较差，阻碍了其在实际中的应用；(3)基于Transformer的端到端智能座舱模型会根据不同传感器的数据特点，设计任务子模块，然后分别进行特征提取，每个子任务也往往使用深度学习模型，比如针对视觉数据使用卷积神经网络模型，回归任务使用BP神经网络等多层感知器模型，每个任务子模块也会消耗很多时间，导致其使用只能是智能座舱车辆在很低的速度下进行；(4)Transformer模型每次的预测任务使用的是一段完整的数据，但是在智能座舱环境中，如果等数据全部采集完再去做预测，则会导致智能座舱模型的实时性降低；从而上述所存在的缺陷将会导致驾驶行为的预测效果变差。

技术实现思路

[0005]为了提升驾驶行为的预测效果，本申请提供一种人因智能驾驶行为预测方法、系统、终端设备及存储介质。
[0006]第一方面，本申请提供一种人因智能驾驶行为预测方法，包括以下步骤：获取驾驶人的生理信号；对所述生理信号进行快速傅里叶变换，生成对应的幅频特性，并获取所述幅频特性中符合预设振幅频率选取标准的采集频率；根据所述采集频率的周期对所述生理信号进行多周期分解，生成对应的数据分解
结果样本；根据多元时序数据编码层分别对所述数据分解结果样本进行二维空间扩展，生成对应的二维空间数据；根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进行预测，生成对应的迭代预测未来帧；根据多模态同步数据融合层对所述二维空间数据、所述目标连续帧以及所述迭代预测未来帧进行合并操作，生成对应的多尺度三维特征；根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征；根据驾驶行为解释层和驾驶行为推理层分别对所述目标输出特征进行分析处理，生成对应的驾驶行为描述信息和驾驶行为推理信息。
[0007]通过采用上述技术方案，对车辆驾驶人生理数据进行采集分析，同时结合车辆道路场景视频帧的预测分析数据，即引入了车辆道路场景视频帧预测层，可以用于车辆驾驶环境下的事件预测，在事件还未发生的条件下进行人因智能驾驶行为预测，而不是等待事件发生后进行分类和预测，进而提升了车辆整体行为预测的实时性，然后将上述驾驶人的生理状态以及车辆道路预测对应的多模态同步数据进行融合后，经过三维骨干网络层进行多模态同步数据的特征提取，得到相应的压缩目标输出特征，与传统的端到端智能座舱模型不同，减少了每个任务子模块带来的时间消耗，其次引入人因智能驾驶行为解释层和人因智能驾驶行为推理层对得到的目标输出特征进行分析，可以对车辆在道路中的行为进行解释说明，解释了车辆采取的行为背后的原因，通过上述算法逻辑层的数据提取以及分析，从而提升了驾驶行为的整体预测效果。
[0008]可选的，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤：获取所述三维骨干网络层中对应的三维特征分割规则；根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4
×
W/4
×
((2+N+5
×
3)/6)个子特征。
[0009]通过采用上述技术方案，通过线性映射，可以将子特征的维度进行降低或增加。维度降低可以减少模型的参数数量和计算复杂度，提高计算效率，同时维度增加可以引入更多的特征表达维度，提高模型的表达能力。
[0010]可选的，在所述根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4
×
W/4
×
((2+N+5
×
3)/6)个子特征之后还包括以下步骤：获取所述三维骨干网络层中对应的线性编码规则；根据所述线性编码规则，将每个所述子特征线性映射到向量C，所述向量C为任意维数。
[0011]通过采用上述技术方案，将高维特征映射到低维向量C有助于降低计算复杂性，从而提升数据模型的分析计算效率。
[0012]可选的，所述三维骨干网络层包括自注意力编码规则，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤：S1、对所述多尺度三维特征执行一次空间采样，输出对应的第一目标特征；S2、对所述多尺度三维特征执行一次Video Swin Transformer blocks操作，输出对应的第二目标特征，所述Video Swin Transformer blocks操作对应模型中的MPL层为1
×
1卷积层，卷积核个数与所述模型输入的所述子特征维度相等；S3、重复执行S1和S2；S4、重复执行S3，重复执行的次数为K次，K为预设的正整数。
[0013]通过采用上述技术方案，执行空间采样可将多尺度三维特征的大小变为原来的一半，同时可将多尺度三维特征的通道数扩展为原来的两倍，以及执行Video Swin Transformer操作可减少模型参数，从而提升模型的推理速度。
[0014]可选的，所述多尺度三维特征对应的尺寸为H
×
W
×
(2+N+5
×
3)，通道数为(2+N+5
×
3)，其中H为所述多尺度三维特征中对应特征图的高度，W为所述多尺度三维特征对应特征图的宽度。
[0015]通过采用上述技术方案，根据数多模态同步数据融合层的操作增加了通道数，使得模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人因智能驾驶行为预测方法，其特征在于，包括以下步骤：获取驾驶人的生理信号；对所述生理信号进行快速傅里叶变换，生成对应的幅频特性，并获取所述幅频特性中符合预设振幅频率选取标准的采集频率；根据所述采集频率的周期对所述生理信号进行多周期分解，生成对应的数据分解结果样本；根据多元时序数据编码层分别对所述数据分解结果样本进行二维空间扩展，生成对应的二维空间数据；根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进行预测，生成对应的迭代预测未来帧；根据多模态同步数据融合层对所述二维空间数据、所述目标连续帧以及所述迭代预测未来帧进行合并操作，生成对应的多尺度三维特征；根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征；根据人因智能驾驶行为解释层和人因智能驾驶行为推理层分别对所述目标输出特征进行分析处理，生成对应的人因智能驾驶行为描述信息和人因智能驾驶行为推理信息。2.根据权利要求1所述的一种人因智能驾驶行为预测方法，其特征在于，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤：获取所述三维骨干网络层中对应的三维特征分割规则；根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4
×
W/4
×
（（2+N+5
×
3）/6）个子特征。3.根据权利要求2所述的一种人因智能驾驶行为预测方法，其特征在于，在所述根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4
×
W/4
×
（（2+N+5
×
3）/6）个子特征之后还包括以下步骤：获取所述三维骨干网络层中对应的线性编码规则；根据所述线性编码规则，将每个所述子特征线性映射到向量C，所述向量C为任意维数。4.根据权利要求1所述的一种人因智能驾驶行为预测方法，其特征在于，所述三维骨干网络层包括自注意力编码规则，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤：S1、对所述多尺度三维特征执行一次空间采样，输出对应的第一目标特征；S2、对所述多尺度三维特征执行一次Video Swin Transformer blocks操作，输出对应的第二目标特征，所述Video Swin Transformer blocks操作对应模型中的MPL层为1
×
1卷积层，卷积核个数与所述模型输入的所述子特征维度相等；S3、重复执行S1和S2；S4、重复执行S3，重复执行的次数为K次，K为预设的正整...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：