一种结合局部注意力机制的红外电子标签位置预测方法技术

本发明专利技术涉及一种结合局部注意力机制的红外电子标签位置预测方法，包括：训练集构建模块和基于局部注意力机制的长短期记忆网络模块。进行移动对象位置预测时201，获取经过预处理的输入向量集合202，读取对象的移动轨迹序列203，逐个读取当前轨迹序列中的基站204，将前t个基站(t为历史轨迹中与当前位置有关的基站数目)作为输入特征，当前基站作为输出标签构建数据集205，将数据集加入训练集中206。在训练过程中将数据集送入局部注意力和长短期记忆网络211，读取前一单元的记忆值304和输出值305，将训练数据送入长短期记忆网络层306，数据通过注意力层307，求解目标函数212与损失函数213，进行反向传播更新网络参数214，至迭代步数更新满足迭代步数判断模块条件217，结束训练218。束训练218。束训练218。

【技术实现步骤摘要】
一种结合局部注意力机制的红外电子标签位置预测方法


[0001]本专利技术涉及一种局部注意力机制和长短期记忆网络的移动对象位置预测技术，可应用于移动对象的预测。

技术介绍

[0002]移动对象位置预测是位置服务的重要技术部分，使用时间复杂度低、准确率高的算法来处理海量的移动对象数据并进行高效的预测，具有重要的价值和意义。经典的长短期记忆网络模型中隐层之间神经元全相连，导致对输入神经网络的向量维度有所限制，若输入模型的向量维度过大，则会因各层神经元信息传播时的矩阵运算而出现维数灾难问题，进而大大降低模型的学习效率。在长短期记忆神经网络中加入注意力机制，通过对神经网络中间层神经元分配不同的概率权重，使得神经网络模型能够更加关注对预测结果影响较大的数据信息，降低甚至忽略对分类预测影响较小的一些信息的关注。在特定的移动对象位置预测问题上，加入注意力机制的隐层能够提高神经网络模型更加关注对预测结果影响较大的数据信息，引入局部注意力机制也可以加速计算效率，进一步提高预测的准确率。

技术实现思路

[0003]现有技术的移动对象预测算法存在着局限性，即均是针对时间跨度短、信息量小的轨迹数据序列，并没有考虑到将长期历史信息作为输入会导致模型出现维数灾难的问题，以及某些关键的地理位置对未来位置预测的影响。
[0004]本专利技术基于机器学习的方法，提出了一种基于长短期记忆网络并且加入了注意力机制的算法。该模型将位置基站进行独热编码后生成的输入向量进行神经网络降维处理后，同时在长短期记忆网络隐层中引入注意力机制来发掘不同的定位基站对位置预测的权重影响，最后在射频识别数据集上进行位置预测。
[0005]根据本专利技术的一个方面，提供了一种基于局部注意力机制和长短期记忆网络的移动对象位置预测方法，其特征在于包括：
[0006]数据预处理模块；
[0007]局部注意力机制和长短期记忆网络模块。
[0008]本专利技术基于局部注意力机制和长短期记忆网络，考虑了数据具有多维性和时效性的特点，在考虑不同位置权重对预测精度影响的同时，解决了长序列输入易造成的维数灾难问题。在真实的射频识别数据集上的实验表明，该算法明显提高了预测模型的效率和准确度，具有一定的实用价值。
[0009]根据本专利技术的一个方面，提供了一种结合局部注意力机制的红外电子标签位置预测方法，其特征在于包括：
[0010]获取输入向量集合，
[0011]读取车辆移动轨迹序列，
[0012]逐个读取序列中的基站，
[0013]通过将历史轨迹中的前t个基站经过降维后的向量作为输入特征并将当前基站作为输出标签，构建数据集，
[0014]将数据集加入训练集中，
[0015]判断是否遍历轨迹中的基站，“否”则回到读取序列中的基站的步骤，“是”则判断是否遍历轨迹序列，
[0016]判断是否遍历轨迹序列，若“否”则回到读取车辆移动轨迹序列的步骤，若“是”则初始化模型参数，
[0017]开始训练，
[0018]将数据集送入长短期记忆网络，读取前一单元的记忆值和输出值，将训练数据送入长短期记忆网络层，数据通过注意力层，保存当前记忆值和输出值，随后判断是否输入数据；若“是”则更新迭代并回到读取前一单元的记忆值的步骤；若“否”则输出结果，
[0019]求解目标函数，
[0020]计算损失函数，
[0021]进行反向传播更新网络参数，
[0022]判断是否遍历训练集，“是”则回到将数据集送入长短期记忆网络进行训练的步骤，“否”则更新迭代步数；
[0023]随后判断迭代步数是否达到预定的总迭代次数，“否”则回到训练开始步骤，“是”则完成训练并保存网络参数。
附图说明
[0024]图1显示了根据本专利技术的数据预处理算法的流程图。
[0025]图2显示了本专利技术算法流程图。
[0026]图3显示了根据本专利技术的局部注意力机制和长短期记忆网络的训练流程图。
具体实施方式
[0027]如图1所示，根据本专利技术的基于局部注意力机制和长短期记忆网络的移动对象预测数据集降维预处理方法包括：
[0028]首先将以基站为主体的原始射频识别数据转化为连续的以车辆为主体的基站轨迹数据车辆轨迹信息集合(102)；将轨迹数据进行独热编码(103)，将离散的基站编号编码为神经网络可以识别的输入向量；读取车辆经过的基站轨迹序列(104)，将历史轨迹中车辆当前所在基站的前t个基站作为输入特征，当前所在基站作为输出标签构建数据集(105)；将数据集加入训练集中(106)，直到读取完成所有车辆的轨迹序列(107)。
[0029]当数据进行降维预处理时，首先将源域网络模型的参数初始化，并且设定迭代步数s＝0(108)。经过一轮训练(109)，先输入数据集样本并求解目标函数(110)。
[0030]由分析可知，该降维模型的输出向量，即预测结果，应该与当前基站所对应的独热编码向量相同。因此该降维神经网络模型的损失函数的计算公式为：
[0031][0032]其中，为降维网络求出的标签，y
i
为真实标签。i是基站的序号，i的取值范围是1
至n，n表示当前轨迹序列里包含的基站数目。
[0033]之后，利用损失函数进行反向传播更新网络参数(111)，迭代步数更新s＝s+1(112)，判断迭代次数是否小于总迭代次数，若是，则进行下一轮训练(109)；若否，则保存参数完成训练(114)。接下来遍历车辆轨迹序列(115)，读取序列中的每个基站(116)，通过保存的参数计算出每个基站的嵌入向量(117)，直到读取完所有车辆轨迹序列(118)，最终获取每个位置对应的位置嵌入向量构成的集合(119)。
[0034]射频识别数据集中位置基站共有518个，因此通过独热编码后的向量共有518维。经过降维神经网络进行降维处理，并选取合适的中间嵌入向量，经过实验可知维度降维位置嵌入向量在40～80维之间时，模型的预测精度最高，因此选择中间值60维作为降维模型的嵌入向量。
[0035]如图2和图3所示，经过降维神经网络后的向量作为长短期记忆网络模型的输入向量，进行移动对象位置预测时(201)，获取输入向量集合(202)，开始读取车辆移动轨迹序列(203)，逐个读取序列中的基站(204)，将历史轨迹中的前t个基站经过降维后的向量作为输入特征，当前基站作为输出标签构建数据集(205)，将数据集加入训练集中(206)。判断是否遍历轨迹中的基站(207)，“否”则回到读取序列中的基站(204)的步骤，“是”则判断是否遍历轨迹序列(208)；若判断是否遍历轨迹序列(208)的结果为“否”则回到读取车辆移动轨迹序列(203)的步骤，若“是”则初始化模型参数(209)，随后开始训练(210)。在训练过程中将数据集送入长短期记忆网络(211)，读取前一单元的记忆值(304)和输出值(305)，将训练数据送入长短期记忆网络层(306)，数据通过注意力层(307)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合局部注意力机制的红外电子标签位置预测方法，其特征在于包括：获取输入向量集合(202)，读取车辆移动轨迹序列(203)，逐个读取序列中的基站(204)，通过将历史轨迹中的前t个基站经过降维后的向量作为输入特征并将当前基站作为输出标签，构建数据集(205)，将数据集加入训练集中(206)，判断是否遍历轨迹中的基站(207)，“否”则回到读取序列中的基站(204)的步骤，“是”则判断是否遍历轨迹序列(208)，判断是否遍历轨迹序列(208)，若“否”则回到读取车辆移动轨迹序列(203)的步骤，若“是”则初始化模型参数(209)，开始训练(210)，将数据集送入长短期记忆网络(211)，读取前一单元的记忆值(304)和输出值(305)，将训练数据送入长短期记忆网络层(306)，数据通过注意力层(307)，保存当前记忆值和输出值(308)。随后判断是否输入数据(309)；若“是”则更新迭代(303)并回到读取前一单元的记忆值(304)的步骤；若“否”则输出结果(310)，求解目标函数(212)，计算损失函数(213)，进行反向传播更新网络参数(214)，判断是否遍历训练集(215)，“是”则回到将数据集送入长短期记忆网络进行训练(211)的步骤，“否”则更新迭代步数(216)；随后判断迭代步数是否达到预定的总迭代次数(217)，“否”则回到训练开始步骤(210)，“是”则完成训练并保存网络参数(218)。2.根据权利要求1所述的结合局部注意力机制的红外电子标签位置预测方法，其特征在于所述输入向量集合是以包括如下步骤的处理获得的：将以基站为主体的原始射频识别数据转化为连续的以车辆为主体的基站轨迹数据车辆轨迹信息集合(102)，将轨迹数据进行独热编码(103)，将离散的基站编号编码为神经网络可以识别的输入向量，读取车辆经过的基站轨...

【专利技术属性】
技术研发人员：向新宇，张屏，祝春捷，李题印，陈超，李可，
申请(专利权)人：国网浙江省电力有限公司杭州供电公司，
类型：发明
国别省市：