一种基于多模态轨迹深度表示学习及融合方法技术

本发明专利技术公开了一种基于多模态轨迹深度表示学习及融合方法，构建多模态语义轨迹，作为编码器的输入；构建双通道编码

【技术实现步骤摘要】
一种基于多模态轨迹深度表示学习及融合方法


[0001]本专利技术涉交通大数据分析
，更具体的涉及一种基于多模态轨迹深度表示学习及融合方法。

技术介绍

[0002]随着城市化进程的不断加快，车辆交通运动轨迹点信息的获取已成为交通预测研究领域的关键因素。多模态轨迹表示学习是从原始轨迹中学习具有稠密、固定长度和涵盖轨迹点相关性等特点的隐含特征向量，是轨迹大数据挖掘的基础。多模态轨迹数据将位置和多模态语义信息结合，既反映移动对象在一定时间范围内的位置变化，也蕴含了移动对象的意图、习惯等高阶语义，呈现出时空紧密耦合、多源异构、动态演化、特征高维、复杂语义关联的特点。
[0003]目前，多模态轨迹表示学习面临怎样构建包含多模态信息、捕获多模态轨迹复杂的依赖关系的问题，不同模态数据格式及细粒度差异大、融合困难，使得在学习过程中存在跨模态数据交互不充分及特征向量不一致，无法准确地将学习的多模态语义轨迹特征向量与车辆轨迹信息进行融合，进而导致无法准确获得带有融合特征的预测轨迹。

技术实现思路

[0004]针对上述领域中存在的问题，本专利技术提供了一种基于多模态轨迹深度表示学习及融合方法，能够解决无法准确地将学习的多模态语义轨迹特征向量与车辆轨迹信息进行融合，进而导致无法准确获得带有融合特征的预测轨迹的技术问题。
[0005]为解决上述技术问题，本专利技术公开了一种基于多模态轨迹深度表示学习及融合方法，包括以下步骤：
[0006]获取轨迹数据和文本数据，构建多模态语义轨迹，作为编码器的输入；
[0007]构建双通道编码
‑
单通道解码框架，将多模态语义轨迹输入双通道编码
‑
单通道解码框架；对多模态语义轨迹的每个轨迹点进行轨迹嵌入和文本嵌入，对应输出轨迹词向量表征和文本词向量表征；将位置信息注入轨迹词向量表征和文本词向量表征，输出含有位置特征的轨迹词向量表征和文本词向量表征；
[0008]利用注意力机制，对每个轨迹点的轨迹词向量表征和文本词向量表征进行约束，获取轨迹特征向量和文本特征向量；
[0009]将轨迹特征向量和文本特征向量对齐进行语义信息交互，获取融合特征向量；
[0010]利用多头注意力机制，将融合特征向量输入解码器，输出带有运动特征的预测轨迹。
[0011]优选地，所述构建多模态语义轨迹包括以下步骤：
[0012]获取通过GPS定位的车辆的运动时空轨迹，表示为获取通过GPS定位的车辆的运动时空轨迹，表示为
[0013]其中，其中，包含纬度、经度和速度；x和y分别表示轨迹点的经度和纬度，sp表示速度；
[0014]爬取开放地图网站的POI类别及轨迹活动描述文本，其表示为
[0015]其中，表示t处的活动描述和POI信息，表示为其中，c为该原始输入的轨迹点所在POI区域的文本信息，a是轨迹活动描述文本信息；
[0016]构建多模态语义轨迹，每个时刻的信息对应于2个模态，将由t个离散位置点和相关信息组成的有序序列定义为多模态轨迹；结合对象移动轨迹信息和文本信息，将多模态轨迹表示如下：
[0017][0018]优选地，所述输出含有位置特征的轨迹词向量表征和文本词向量表征包括以下步骤：
[0019]通过深度双向语言模型Elmo模型训练来捕获单词的词法和内部结构信息的动态词向量表示方法；
[0020]基于训练好的词向量表示方法，分别将轨迹和文本的原始序列转换为词向量序列；
[0021]根据词向量序列，使用文本嵌入技术分别将多模态语义轨迹的每个轨迹点进行轨迹嵌入和文本嵌入，对应输出轨迹词向量表征和文本词向量表征；
[0022]使用位置编码技术将位置信息注入各模态轨迹每个点的轨迹词向量表征和文本词向量表征。
[0023]优选地，所述获取轨迹特征向量和文本特征向量包括以下步骤：
[0024]使用双通道编码器和一个解码器的深度学习框架自动学习多模态轨迹数据的特征表示；
[0025]根据不同模态数据的特点，使用不同通道的编码器，将多模态轨迹点T
i
中的轨迹和文本信息分别通过一个编码器模型训练编码，编码器对中间的隐含层进行约束，得到T
i
的两个模态特征向量，即轨迹特征向量和文本特征向量。
[0026]优选地，所述获取融合特征向量包括以下步骤：
[0027]在编码
‑
解码中均采用多头注意力机制实现信息的交互，初始化与轨迹维度相等的注意力向量ω，计算每个轨迹点的注意力值，包括隐层表征的注意力权重和融合特征向量：
[0028][0029][0030]其中，h
i
是轨迹的第i个轨迹点的隐层表征，ω
i
是该隐层表征的注意力权重，l
tr
是轨迹的长度，α
i
是轨迹的第i个轨迹点的权重；根据注意力值对每个轨迹点的隐层状态向量
进行加权求和得到最终特征向量H
tr
；是第i个轨迹点在时刻t处的隐层特征，是第j个轨迹点在时刻t处的隐层特征；
[0031]给定轨迹数据，通过线性变换得到查询向量Q，键向量K和值向量V：
[0032]Q＝W
Q
X
[0033]K＝W
K
X
[0034]V＝W
V
X
[0035]其中，W
Q
，W
K
，W
V
分别表示的是矩阵参数，用于对输入进行线性变换，以生成查询Q、键K和数值V向量；
[0036]在自注意力机制self
‑
attention中，通常使用缩放点积作为注意力评分函数，输出向量表示为：
[0037][0038]其中，d
k
表示表示键K的维度；
[0039]将多头多组W
Q
，W
K
，W
V
与输入样本相乘，每个注意力头都有各自的独立的参数矩阵W
q
、W
k
和W
v
，得到多组q
i
，k
i
，v
i
分别表示不同层次和方面的特征；
[0040]将多组W
Q
，W
K
，W
V
得到的向量进行拼接，通过线性转换得到输出，将轨迹编码器和文本编码器得到语义轨迹的隐含特征合并为矩阵H，表示为H＝[M
tra
,F
tex
]，其中，M
tra
表示轨迹语义特征矩阵，F
tex
表示POI信息和活动描述的语义特征矩阵。
[0041]优选地，所述将融合特征向量输入解码器包括以下步骤：
[0042]采用跨模态注意力机制实现文本语义和轨迹语义特征交互，将轨迹表征作为查询矩阵，文本表征作为键值矩阵，构建细粒度对齐语义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态轨迹深度表示学习及融合方法，其特征在于，包括以下步骤：获取轨迹数据和文本数据，构建多模态语义轨迹，作为编码器的输入；构建双通道编码
‑
单通道解码框架，将多模态语义轨迹输入双通道编码
‑
单通道解码框架；对多模态语义轨迹的每个轨迹点进行轨迹嵌入和文本嵌入，对应输出轨迹词向量表征和文本词向量表征；将位置信息注入轨迹词向量表征和文本词向量表征，输出含有位置特征的轨迹词向量表征和文本词向量表征；利用注意力机制，对每个轨迹点的轨迹词向量表征和文本词向量表征进行约束，获取轨迹特征向量和文本特征向量；将轨迹特征向量和文本特征向量对齐进行语义信息交互，获取融合特征向量；利用多头注意力机制，将融合特征向量输入解码器，输出带有运动特征的预测轨迹。2.根据权利要求1所述的一种基于多模态轨迹深度表示学习及融合方法，其特征在于，所述构建多模态语义轨迹包括以下步骤：获取通过GPS定位的车辆的运动时空轨迹，表示为获取通过GPS定位的车辆的运动时空轨迹，表示为其中，其中，包含纬度、经度和速度；x和y分别表示轨迹点的经度和纬度，sp表示速度；爬取开放地图网站的POI类别及轨迹活动描述文本，其表示为其中，表示t处的活动描述和POI信息，表示为其中，c为该原始输入的轨迹点所在POI区域的文本信息，a是轨迹活动描述文本信息；构建多模态语义轨迹，每个时刻的信息对应于2个模态，将由t个离散位置点和相关信息组成的有序序列定义为多模态轨迹；结合对象移动轨迹信息和文本信息，将多模态轨迹表示如下：3.根据权利要求2所述的一种基于多模态轨迹深度表示学习及融合方法，其特征在于，所述输出含有位置特征的轨迹词向量表征和文本词向量表征包括以下步骤：通过深度双向语言模型Elmo模型训练来捕获单词的词法和内部结构信息的动态词向量表示方法；基于训练好的词向量表示方法，分别将轨迹和文本的原始序列转换为词向量序列；根据词向量序列，使用文本嵌入技术分别将多模态语义轨迹的每个轨迹点进行轨迹嵌入和文本嵌入，对应输出轨迹词向量表征和文本词向量表征；使用位置编码技术将位置信息注入各模态轨迹每个点的轨迹词向量表征和文本词向量表征。4.根据权利要求3所述的一种基于多模态轨迹深度表示学习及融合方法，其特征在于，所述获取轨迹特征向量和文本特征向量包括以下步骤：使用双通道编码器和一个解码器的深度学习框架自动学习多模态轨迹数据的特征表示；根据不同模态数据的特点，使用不同通道的编码器，将多模态轨迹点T
i
中的轨迹和文本
信息分别通过一个编码器模型训练编码，编码器对中间的隐含层进行约束，得到T
i
的两个模态特征向量，即轨迹特征向量和文本特征向量。5.根据权利要求4所述的一种基于多模态轨迹深度表示学习及融合方法，其特征在于，所述获取融合特征向量包括以下步骤：在编码
‑
解码中均采用多头注意力机制实现信息的交互，初始化与轨迹维度相等的注意力向量ω，计算每个轨迹点的注意力值，包括隐层表征的注意力权重和融合特征向量：意力向量ω，计算每个轨迹点的注意力值，包括隐层表征的注意力权重和融合特征向量：其中，h
i
是轨迹的第i个轨迹点的隐层表征，ω
i
是该隐层表征的注意力权重，l
tr
是轨迹的长度，α
i
是轨迹的第i个轨迹点的权重；根据注意力值对每个轨迹点的隐层状态向量进行加权求和得到最终特征向量H
tr
；是第i个轨迹点在时刻...

【专利技术属性】
技术研发人员：陈静，袁长伟，赵姣，冯健，王宇，
申请(专利权)人：长安大学，
类型：发明
国别省市：