一种辅助智能驾驶的运动目标轨迹预测方法及系统技术方案

本发明专利技术涉及图像处理技术领域，具体为一种辅助智能驾驶的运动目标轨迹预测方法包括以下步骤：提取图像特征信息，并融合带有距离信息的注意力权重；将带有注意力权重的特征与运动目标的坐标信息进行融合；特征信息再经过TCN网络，并通过两层全连接层，得到最后的预测结果；有益效果为：本发明专利技术提出的辅助智能驾驶的运动目标轨迹预测方法及系统通过得到的图像信息，进行图像特征提取，接着计算特征的注意力信息，找到重点关注的目标区域；计算特征注意力的同时不仅考虑图像信息也将目标位置信息作为注意力机制输入的位置嵌入信息，不仅能使网络得到重点区域，亦能突出距离较近的目标特征，双重信息可缓解因目标运动突发性、多变性带来的问题。变性带来的问题。变性带来的问题。

【技术实现步骤摘要】
一种辅助智能驾驶的运动目标轨迹预测方法及系统


[0001]本专利技术涉及图像处理
，具体为一种辅助智能驾驶的运动目标轨迹预测方法及系统。

技术介绍

[0002]目前无人驾驶、智慧驾驶、智慧交通是当前社会数化、智能化必备技术。当前无人驾驶技术仍处于试验阶段，当在实际路况中遇到多种不确定运动目标时，如何及时做出正确的操作指令，仍需要借助复杂度高、精度高、灵敏度高的人工智能算法。本专利旨在利用图像数据结合轨迹数据，对运动目标进行轨迹分析和预测，从而辅助智能驾驶，及时做出正确的操作指令。
[0003]现有技术中，运动目标具有不确定性、多变性、突发性、并发性。其中不确定性是指多个历史目标随时消失、多个目标随时新增；多变性是指运动目标方向、距离和速度不断发生变化；突发性是指运动目标突然发生运行变化；并发性是指当多个目标同时发生运动轨迹突变。
[0004]但是，常见的运动目标轨迹分析技术是使用历史轨迹坐标信息预测下一时间的轨迹坐标，并在生活中得到很广泛的应用。例如目前在船舶交通服务系统中，准确、有效地对船舶的航行轨迹进行及时跟踪和预测是海上交通事故预警的重要技术支撑；在航空领域，管制员需要精准地知道经过其管辖范围的每一架飞机的实时位置，就需要空管系统能够精确地预测飞机轨迹，使用深度学习模型便可实现。但在无人车以及辅助智慧驾驶中，不仅有车载雷达传感器获取目标距离、方位信息，还有车载摄像头传感器获取运动目标图像信息。在真实路况中，运动目标轨迹信息不仅有时间维度的依赖性还有空间维度的相关性。如何在复杂场景和复杂数据中实时提取准确信息，是目前智慧驾驶面临的亟需解决的主要问题。

技术实现思路

[0005]本专利技术的目的在于提供一种辅助智能驾驶的运动目标轨迹预测方法及系统，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种辅助智能驾驶的运动目标轨迹预测方法，所述预测方法包括以下步骤：
[0007]提取图像特征信息，并融合带有距离信息的注意力权重；
[0008]将带有注意力权重的特征与运动目标的坐标信息进行融合；
[0009]特征信息再经过TCN网络，并通过两层全连接层，得到最后的预测结果。
[0010]优选的，将图像输入到残差卷积神经网络(ResNet
‑
50)，得到图像特征信息，假设图像I经过卷积操作，得到特征f
i
(I)：
[0011]f
i
(I)＝ResNet(I)
ꢀꢀꢀ
(1)。
[0012]优选的，同时计算图像I的自注意力权重信息，记为Atten
i
(I)：
[0013]Atten
i
(I)＝SelfAttention(I)
ꢀꢀꢀ
(2)
[0014]上述Atten
i
(I)表示特征的自注意力权重信息，其中位置编码position
‑
embedding由运动目标位置信息获取。假设对于运动目标j其位置坐标为(x
j
，y
j
)，提取到了该目标的图像特征为f
j
(I)，那么该运动目标j上所有特征的位置信息计算公式如下：
[0015][0016]在自注意力机制中位置编码向量可分为静态位置编码和动态位置编码，位置编码给不同位置赋予不同偏置量，本专利采用静态位置编码，其计算公式如下：
[0017]P
2i
＝sin(h
j
/10000
2i/d
)
ꢀꢀꢀ
(4)
[0018]P
2i+1
＝cos(h
j
/10000
2i/d
)
ꢀꢀꢀ
(5)
[0019]其中P表示与输入特征维度一致的二维矩阵；h
j
表示特征所在的位置信息；d表示特征维度；i表示第i个特征；
[0020]将特征f
i
(I)与注意力权重Atten
i
(I)进行融合，得到带有注意力权重的特征信息，计算公式如下：
[0021]f
′
i
(I)＝Atten
i
(I)
·
f
i
(I)
ꢀꢀꢀ
(6)。
[0022]优选的，假设对于特征i属于运动目标j(i∈j)，那么对于运动目标j包含带有注意力权重的特征为f
′
i
(I)其中i∈j，那么将运动目标j的坐标信息融合至上述特征中：
[0023][0024]其中f
″
i
(I)表示加入距离信息之后的特征，上述公式表明距离越近的目标其特征越重要，注意力权重越大的特征越重要。
[0025]优选的，TCN网络为时域卷积神经网络，使用带有残差的膨胀卷积TCN网络，将上述特征进行卷积操作；再经过两层全连接层，最后完成预测。
[0026]一种辅助智能驾驶的运动目标轨迹预测系统，所述预测系统由提取模块、融合模块以及预测模块构成；
[0027]提取模块，用于提取图像特征信息，并融合带有距离信息的注意力权重；
[0028]融合模块，用于将带有注意力权重的特征与运动目标的坐标信息进行融合；
[0029]预测模块，用于特征信息再经过TCN网络，并通过两层全连接层，得到最后的预测结果。
[0030]优选的，所述提取模块中，将图像输入到残差卷积神经网络(ResNet
‑
50)，得到图像特征信息，假设图像I经过卷积操作，得到特征f
i
(I)：
[0031]f
i
(I)＝ResNet(I)
ꢀꢀꢀ
(1)。
[0032]优选的，所述提取模块中，同时计算图像I的自注意力权重信息，记为Atten
i
(I)：
[0033]Atten
i
(I)＝SelfAttention(I)
ꢀꢀꢀ
(2)
[0034]上述Atten
i
(I)表示特征的自注意力权重信息，其中位置编码position
‑
embedding由运动目标位置信息获取。假设对于运动目标j其位置坐标为(x
j
，y
j
)，提取到了该目标的图像特征为f
j
(I)，那么该运动目标j上所有特征的位置信息计算公式如下：
[0035][0036]在自注意力机制中位置编码向量可分为静态位置编码和动态位置编码，位置编码
给不同位置赋予不同偏置量，本专利采用静态位置编码，其计算公式如下：
[0037]P
2i
＝sin(h
j
/10000
2i/d
)
ꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种辅助智能驾驶的运动目标轨迹预测方法，其特征在于，所述预测方法包括以下步骤：提取图像特征信息，并融合带有距离信息的注意力权重；将带有注意力权重的特征与运动目标的坐标信息进行融合；特征信息再经过TCN网络，并通过两层全连接层，得到最后的预测结果。2.根据权利要求1所述的一种辅助智能驾驶的运动目标轨迹预测方法，其特征在于：将图像输入到残差卷积神经网络(ResNet
‑
50)，得到图像特征信息，假设图像I经过卷积操作，得到特征f
i
(I)：f
i
(I)＝ResNet(I)
ꢀꢀꢀꢀ
(1)。3.根据权利要求2所述的一种辅助智能驾驶的运动目标轨迹预测方法，其特征在于：同时计算图像I的自注意力权重信息，记为Atten
i
(I)：Atten
i
(I)＝SelfAttention(I)
ꢀꢀꢀꢀ
(2)上述Atten
i
(I)表示特征的自注意力权重信息，其中位置编码position
‑
embedding由运动目标位置信息获取，假设对于运动目标j其位置坐标为(x
j
，y
j
)，提取到了该目标的图像特征为f
j
(I)，那么该运动目标j上所有特征的位置信息计算公式如下：在自注意力机制中位置编码向量可分为静态位置编码和动态位置编码，位置编码给不同位置赋予不同偏置量，本专利采用静态位置编码，其计算公式如下：P
2i
＝sin(h
j
/10000
2i/d
)
ꢀꢀꢀꢀ
(4)P
2i+1
＝cos(h
j
/10000
2i/d
)
ꢀꢀꢀꢀ
(5)其中P表示与输入特征维度一致的二维矩阵；h
j
表示特征所在的位置信息；d表示特征维度；i表示第i个特征；将特征f
i
(I)与注意力权重Atten
i
(I)进行融合，得到带有注意力权重的特征信息，计算公式如下：f
i
′
(I)＝Atten
i
(I)
·
f
i
(I)
ꢀꢀꢀꢀ
(6)。4.根据权利要求3所述的一种辅助智能驾驶的运动目标轨迹预测方法，其特征在于：假设对于特征i属于运动目标j(i∈j)，那么对于运动目标j包含带有注意力权重的特征为f
i
′
(I)其中i∈j，那么将运动目标j的坐标信息融合至上述特征中：其中f
i
″
(I)表示加入距离信息之后的特征，上述公式表明距离越近的目标其特征越重要，注意力权重越大的特征越重要。5.根据权利要求4所述的一种辅助智能驾驶的运动目标轨迹预测方法，其特征在于：TCN网络为时域卷积神经网络，使用带有残差的膨胀卷积TCN网络，将上述特征进行卷积操作；再经过两层全连接层，最后完成预测。6.一种如上述权利要求1
‑
5任意一项所述的辅助智能驾驶的运动目标轨迹预测系统，其特征...

【专利技术属性】
技术研发人员：朱利霞，伊文超，潘心冰，何彬彬，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：