基于数字孪生的车辆运动轨迹可视化预测方法与装置制造方法及图纸

本发明专利技术属于自动驾驶技术领域，为了提高训练效率与预测准确性，提供一种基于数字孪生的车辆运动轨迹可视化预测方法与装置，对时空点云序列数据集中的每一个连续的时空点云序列样本进行拆分，得到历史

【技术实现步骤摘要】
基于数字孪生的车辆运动轨迹可视化预测方法与装置


[0001]本专利技术属于自动驾驶
，具体涉及一种基于数字孪生的车辆运动轨迹可视化预测方法与装置。

技术介绍

[0002]随着自动驾驶技术的发展，对于自动驾驶系统安全性能的要求也在逐步提升。精准地采集和控制无人车位置对于提升其安全性能起着决定性作用。无人车的定位意味着能够在地图中找到车辆的位置和方向，由于激光雷达传感器能够获取丰富、稠密且精确的三维空间中物体的点云数据，使得点云数据在车辆定位中更为优势。大多数无人车会搭载三维激光雷达作为核心传感器来收集点云数据，这可以帮助自动驾驶车辆实现定位和障碍物的跟踪。
[0003]传统的车辆未来运动趋势预测通常需要丰富的先验知识作为前期准备工作，包括对车辆进行检测、定位或追踪来预测未来场景，这些先验知识都要求观察者在一段长时间且连续的时间
‑
空间内观测参与车辆的运动。在训练预测模型时，需要人工提取特征向量并赋予相应标签，效率较低、成本高昂，而且主观因素较强，预测准确率有待提高。

技术实现思路

[0004]本专利技术的目的在于解决上述现有技术中存在的难题，提供一种基于数字孪生的车辆运动轨迹可视化预测方法，无需昂贵的人工标记，提高训练效率与预测准确性。
[0005]本专利技术是通过以下技术方案实现的：一种基于数字孪生的车辆运动轨迹的可视化预测方法，包括以下步骤：
[0006]采集道路场景下目标车辆的激光点云序列数据，经过数据预处理后生成时空点云序列数据集；根据所述时空点云序列数据集构建道路场景的数字孪生空间；
[0007]对所述时空点云序列数据集中的每一个连续的时空点云序列样本进行拆分，得到T
obs
帧历史点云序列数据与T
pred
帧未来点云序列数据，形成历史
‑
未来点云序列数据对；
[0008]根据历史
‑
未来点云序列数据对构建训练样本训练点云序列预测模型，所述训练样本是以历史点云序列数据作为输入数据，并以未来点云序列数据作为真值标签，从而使得点云序列预测模型能够在训练过程中通过自监督学习提取历史
‑
未来点云序列数据对的特征向量；
[0009]获取目标车辆的当前点云序列数据并输入所述点云序列预测模型进行预测，点云序列预测模型输出目标车辆的未来点云序列预测数据；根据目标车辆的当前点云序列数据与未来点云序列预测数据在所述数字孪生空间中构建目标车辆的数字孪生体，从而实现在所述数字孪生空间中目标车辆运动轨迹的可视化预测。
[0010]进一步的，生成所述时空点云序列数据集的步骤包括：
[0011]S1：采集道路场景下目标车辆的激光点云序列数据，得到原始点云数据集；
[0012]S2：对所述原始点云数据集进行数据清洗，从而筛选出与预测任务相关的字段，并
生成结构化时序数据集；
[0013]S3：对所述结构化时序数据集进行包括归一化在内的预处理操作，得到时空点云序列数据集。
[0014]进一步的，所述预处理操作还包括数据填充与数据删除；针对发生数据丢失的缺失时刻进行数据填充，选用缺失时刻的相邻时刻的均值进行数据填充；针对发生数据异常的整体数据进行数据删除。
[0015]进一步的，所述与预测任务相关的字段包括序列号、三维坐标与点云密度；采用z
‑
score特征缩放进行归一化。
[0016]本专利技术还提供一种车辆运动轨迹的可视化预测装置，包括如下模块：
[0017]数据预处理模块，用于根据道路场景下目标车辆的激光点云序列数据生成时空点云序列数据集；
[0018]数据对构造模块，用于对所述时空点云序列数据集中的每一个连续的时空点云序列样本进行拆分，得到T
obs
帧历史点云序列数据与T
pred
帧未来点云序列数据，形成历史
‑
未来点云序列数据对；
[0019]点云序列预测模型，用于根据历史
‑
未来点云序列数据对构建的训练样本进行自监督学习从而能够根据目标车辆的当前点云序列数据预测目标车辆的未来点云序列；所述训练样本是以历史点云序列数据作为输入数据，并以未来点云序列数据作为真值标签，
[0020]可视化展示模块，用于根据时空点云序列数据集构建道路场景的数字孪生空间，根据目标车辆的当前点云序列与点云序列预测模型输出的未来点云序列预测数据在所述数字孪生空间中构建目标车辆的数字孪生体，从而实现在所述数字孪生空间中目标车辆运动轨迹的可视化预测。
[0021]进一步的，所述点云序列预测模型包括空间特征提取网络与时序特征提取网络，空间特征提取网络的输出作为时序特征提取网络的输入，从而能够提取到包含空间与时间两个维度的特征向量；采用堆叠Conv3D网络作为空间特征提取网络，采用1*1卷积神经网络作为时序特征提取网络。
[0022]进一步的，所述点云序列预测模型还包括第一解码器，第一解码器用于结合损失函数L1来提高历史点云序列数据的特征向量保留原始信息的能力：采用根据第一解码器所输出的历史点云序列的重构序列所计算出的损失函数L1的值来衡量历史点云序列数据的特征向量保留原始信息的能力，迭代训练点云序列预测模型至损失函数L1收敛；损失函数L1的公式如下：
[0023][0024]式中，S1表示历史点云序列数据；S2表示历史点云序列数据的重构序列；x表示历史点云序列数据中的单个点；表示历史点云序列数据的重构序列中的单个点。
[0025]进一步的，所述点云序列预测模型还包括第一判别器，第一判别器用于结合损失函数L2来提高历史点云序列数据的特征向量的表征能力：根据第一判别器对A类正负样本的判分结果所计算出的损失函数L2的值衡量表征能力，迭代训练点云序列预测模型至损失函数L2收敛；损失函数L2的公式如下：
[0026][0027]式中，x
i
表示历史点云序列数据中的第i个点,z
i
表示与x
i
对应的特征向量，z
j
表示与x
i
不对应的特征向量；X表示除历史点云序列数据中第i个点外的其他点所对应的特征向量的集合；(x
i
,z
i
)表示A类正样本，(x
i
,z
j
)表示A类负样本，i≠j；E表示求数学期望；F(x
i
,z
i
)表示第一判别器对正样本的判分；F(x
i
,z
j
)表示第一判别器对负样本的判分。
[0028]进一步的，所述点云序列预测模型包括第二解码器，第二解码器用于结合损失函数L3来提高点云序列预测模型的预测能力：采用根据第二解码器所输出的未来点云序列数据的重构序列所计算出的损失函数L3的值来衡量点云序列预测模型的预测能力，迭代训练，直到损失函数L3收敛；损失函数L3的公式如下：
...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的车辆运动轨迹的可视化预测方法，其特征在于，包括以下步骤：采集道路场景下目标车辆的激光点云序列数据，经过数据预处理后生成时空点云序列数据集；根据所述时空点云序列数据集构建道路场景的数字孪生空间；对所述时空点云序列数据集中的每一个连续的时空点云序列样本进行拆分，得到T
obs
帧历史点云序列数据与T
pred
帧未来点云序列数据，形成历史
‑
未来点云序列数据对；根据历史
‑
未来点云序列数据对构建训练样本训练点云序列预测模型，所述训练样本是以历史点云序列数据作为输入数据，并以未来点云序列数据作为真值标签，从而使得点云序列预测模型能够在训练过程中通过自监督学习提取历史
‑
未来点云序列数据对的特征向量；获取目标车辆的当前点云序列数据并输入所述点云序列预测模型进行预测，点云序列预测模型输出目标车辆的未来点云序列预测数据；根据目标车辆的当前点云序列数据与未来点云序列预测数据在所述数字孪生空间中构建目标车辆的数字孪生体，从而实现在所述数字孪生空间中目标车辆运动轨迹的可视化预测。2.根据权利要求1所述的基于数字孪生的车辆运动轨迹可视化预测方法，其特征在于，生成所述时空点云序列数据集的步骤包括：S1：采集道路场景下目标车辆的激光点云序列数据，得到原始点云数据集；S2：对所述原始点云数据集进行数据清洗，从而筛选出与预测任务相关的字段，并生成结构化时序数据集；S3：对所述结构化时序数据集进行包括归一化在内的预处理操作，得到时空点云序列数据集。3.根据权利要求2所述的基于数字孪生的车辆运动轨迹可视化预测方法，其特征在于，所述预处理操作还包括数据填充与数据删除；针对发生数据丢失的缺失时刻进行数据填充，选用缺失时刻的相邻时刻的均值进行数据填充；针对发生数据异常的整体数据进行数据删除。4.根据权利要求2所述的基于数字孪生的车辆运动轨迹可视化预测方法，其特征在于，所述与预测任务相关的字段包括序列号、三维坐标与点云密度；采用z
‑
score特征缩放进行归一化。5.一种车辆运动轨迹的可视化预测装置，其特征在于，包括如下模块：数据预处理模块，用于根据道路场景下目标车辆的激光点云序列数据生成时空点云序列数据集；数据对构造模块，用于对所述时空点云序列数据集中的每一个连续的时空点云序列样本进行拆分，得到T
obs
帧历史点云序列数据与T
pred
帧未来点云序列数据，形成历史
‑
未来点云序列数据对；点云序列预测模型，用于根据历史
‑
未来点云序列数据对构建的训练样本进行自监督学习从而能够根据目标车辆的当前点云序列数据预测目标车辆的未来点云序列；所述训练样本是以历史点云序列数据作为输入数据，并以未来点云序列数据作为真值标签，可视化展示模块，用于根据时空点云序列数据集构建道路场景的数字孪生空间，根据目标车辆的当前点云序列与点云序列预测模型输出的未来点云序列预测数据在所述数字孪生空间中构建目标车辆的数字孪生体，从而实现在所述数字孪生空间中目标车辆运动轨
迹的可视化预测。6.根据权利要求5所述的车辆运动轨迹可视化预测装置，其特征在于，所述点云序列预测模型包括空间特征提取网络与时序特征提取网络，空间特征提取网络的输出作为时序特征提取网络的输入，从而能够提取到包含空间与时间两个维度的特征向量；采用堆叠Conv3D网络作为空间特征提取网络，采用1*1卷积神经网络作为时序特征提取网络。7.根据权利要求6所述的车辆运动轨迹可视化预测装置，其特征在于，所述点云序列预测模型还包括第一解码器，第一解码器用于结合损失函数L1来提高历史点云序列数据的特征向量保留原始信息...

【专利技术属性】
技术研发人员：刘春雨，于建军，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：