一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法技术

一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法，基于LSTM预测的移动对象轨迹数据压缩方法，将深度学习模型应用到传统的轨迹压缩领域，使用神经网络预测得到距离误差和方向误差，并采用平滑分析的思想确定压缩阈值，不需要人为设定误差阈值，并且本发明专利技术同时考虑距离和方向，充分保留了原始轨迹的重要信息，相比于传统的轨迹压缩算法，本发明专利技术根据压缩轨迹自身的特点得到误差和确定误差阈值，能够更好的适用于具有不同特点的轨迹数据，解决了传统的轨迹压缩算法压缩效果差，人为寻找误差和设定误差阈值实验繁琐的问题。设定误差阈值实验繁琐的问题。设定误差阈值实验繁琐的问题。

【技术实现步骤摘要】
一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法


[0001]本专利技术涉及一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法。

技术介绍

[0002]随着GPS、RFID、无线传感器等技术设备的普及应用，产生了大量的移动对象轨迹数据，轨迹数据量以指数暴涨，对这些数据所蕴含的丰富信息进行提取成为了当下较为火热的研究方向之一。然而，轨迹数据的日益增加给现有的研究和存储设备都带来了巨大的挑战：数据量巨大、查询时间增长，数据冗余，因此对移动对象轨迹数据进行压缩成为当务之急。解决这三个问题可以通过使用减少轨迹数据的算法来解决。连续移动的物体采集到的轨迹数据是包含位置信息的离散轨迹点，越是以较高频率采集的运动物体的位置信息，越是接近原始物体真实的运动情况。因此，如何设计更好的轨迹压缩算法是解决问题的关键。
[0003]大规模轨迹数据的不断增加的同时，许多研究者提出了大量的轨迹压缩算法，用来减少冗余，保留对轨迹位置特征贡献大的轨迹点。传统的轨迹数据的压缩算法主要分为以下三类：
[0004]1、轨迹的线段压缩：轨迹的线段压缩通过设定误差阈值，在允许的误差阈值范围内用更少的点来表示原来的轨迹，需要关注的是算法的准确率和压缩比，删除了误差较小的点，保留误差较大即对轨迹贡献较大的点，它的主要目的就是输入一条轨迹曲线，用一条包含更少的轨迹点的曲线来近似的代替原来的曲线，并且要保证这条曲线与原始的曲线之间的误差较小。轨迹数据相比于普通的曲线，轨迹数据包含位置信息的同时，还包括了时间、速度和方向信息。轨迹的线段压缩误差阈值需要人为设定，需要不断尝试不同的误差阈值来查看实验效果，找到对应轨迹相对较优的误差阈值，操作过程十分繁琐。
[0005]轨迹的线段压缩又分为离线压缩和在线压缩两种。离线压缩算法是在获得完整的轨迹数据后进行压缩；在线压缩是随着移动对象的移动实时的对采集到的轨迹点进行取舍。
[0006]2、基于路网的轨迹压缩：移动对象的运动在一定地理空间范围内要受到路网结构的约束，路网结构是有限的，对那些空间信息相同的轨迹点只选择保留一份；在原始的轨迹数据中加入路网结构可以保证轨迹落在路段上，路网结构的不随意更改又使其具有稳定性。因为路网结构具有有限性和稳定性的优势，因此比较适合处理车辆轨迹，将车辆轨迹数据序列匹配成相对应的路段序列之后再进行压缩，基于路网的轨迹压缩因为路网的稳定性，局限于车辆的轨迹压缩，应用对象相对单一。
[0007]3、基于语义的轨迹压缩：人们不能理解原始轨迹和路网轨迹，但是可以理解语义轨迹，语义轨迹压缩是将一条轨迹进行拆分，拆分的各个事件，通过阅读语义轨迹，可以清楚地理解所阅读轨迹的起点、终点以及行驶的路段，这种轨迹压缩方法对原始轨迹提取了概要，不仅压缩了数据量，而且也使得轨迹的行为便于理解，输入一条原始轨迹就可以输出一段描述性文字，大体描述轨迹的行驶特征以及经过的重要位置。这种压缩方法在一定程
度上减少了空间开销，但同时也丢失了具体的位置信息。

技术实现思路

[0008]本专利技术的目的在于提供一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法，基于LSTM预测的移动对象轨迹数据压缩方法，将深度学习模型应用到传统的轨迹压缩领域，使用神经网络预测得到距离误差和方向误差，并采用平滑分析的思想确定压缩阈值，不需要人为设定误差阈值，同时考虑距离和方向，充分保留了原始轨迹的重要信息，根据压缩轨迹自身的特点得到误差和确定误差阈值，能够更好的适用于具有不同特点的轨迹数据。
[0009]为了达到上述目的，本专利技术提供一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法，包含以下步骤：
[0010]步骤S1、对采集的原始轨迹数据进行数据清洗；
[0011]步骤S2、制作网络模型输入的数据集格式，将数据清洗后的数据归一化，划分数据集后制作多维多步网络输入数据集；
[0012]步骤S3、处理后的轨迹作为网络输入，输入基于LSTM的预测网络模型得到预测轨迹，保存预测得到的轨迹数据；
[0013]步骤S4、恢复轨迹数据格式，多维多步数据格式恢复为最初的数据格式；
[0014]步骤S5、预测得到的数据集反归一化；
[0015]步骤S6、采用平滑分析的思想确定压缩所选取的误差阈值的范围，在随机产生的邻域半径内计算预测轨迹与数据清洗后的轨迹的距离和方向误差，得到压缩阈值SED误差和角度阈值Angle
‑
Deviation；
[0016]步骤S7、根据确定的误差阈值压缩原始轨迹，保留大于误差阈值的原始轨迹点，保留点即为压缩后的轨迹。
[0017]所述步骤S1中对采集的原始轨迹数据进行数据清洗的方法包含：
[0018]缺失值的处理：删除某个特征的缺失值大于50％的轨迹，对于小于50％的轨迹使用均值填充；
[0019]去除异常点：去除速度大于25米每秒的轨迹点；
[0020]去除重复点：去除经纬度和高度重复的轨迹点。
[0021]所述步骤S2中制作网络模型输入的数据集格式的方法包含：
[0022]数据归一化：使用min—max标准化，让所有的轨迹数据最终落在[0,1]之间；
[0023]分割数据集大小：按照4:1划分处理后的轨迹数据为训练集train和测试集test；
[0024]制作网络输入所需多维多步的数据集格式：数据特征维度使用轨迹数据中的经度longitude、纬度latitude和海拔高度altitude三个维度数据，数据量维度设置为使用前3个时刻的轨迹数据，时间步长维度设置为3，预测后3个时刻步长的轨迹状态，定义轨迹集制作函数的回滚参数look_back为3，预测轨迹步长predict_n为3，依次添加到制作的数据集中，训练集train和测试集test使用数据集制作函数得到训练集train_X、train_Y和测试集test_X、test_Y。
[0025]所述步骤S3中的设计基于LSTM的预测网络模型的方法包含：
[0026]预测网络模型包含4层LSTM网络和1层全连接层Dense；
[0027]在每一层的LSTM网络设置Dropout层；
[0028]误差函数使用均方误差MSE；
[0029]优化器为ADam。
[0030]所述步骤S4中恢复轨迹数据格式的方法包含：
[0031]预测得到的数据是多维多步的三维数组形式数据，三维数组数据中每一个元素是一个二维数组，读取到的二维数组形式为(3,3)；
[0032]提取每一个读取到的二维数组的首行元素，所有提取到的首行元素合并为新的二维数组；
[0033]最终提取到的二维数组为最初的数据格式。
[0034]所述步骤S6中采用平滑分析的思想确定压缩所选取的误差阈值的范围的方法包含：
[0035]计算预测轨迹与数据清洗后的轨迹之间对应轨迹点的空间距离d；
[0036]随机产生随机半径k，k为正整数；
[0037]从预测轨迹的第k本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，包含以下步骤：步骤S1、对采集的原始轨迹数据进行数据清洗；步骤S2、制作网络模型输入的数据集格式，将数据清洗后的数据归一化，划分数据集后制作多维多步网络输入数据集；步骤S3、处理后的轨迹作为网络输入，输入基于LSTM的预测网络模型得到预测轨迹，保存预测得到的轨迹数据；步骤S4、恢复轨迹数据格式，多维多步数据格式恢复为最初的数据格式；步骤S5、预测得到的数据集反归一化；步骤S6、采用平滑分析的思想确定压缩所选取的误差阈值的范围，在随机产生的邻域半径内计算预测轨迹与数据清洗后的轨迹的距离和方向误差，得到压缩阈值SED误差和角度阈值Angle
‑
Deviation；步骤S7、根据确定的误差阈值压缩原始轨迹，保留大于误差阈值的原始轨迹点，保留点即为压缩后的轨迹。2.如权利要求1所述的基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，所述步骤S1中对采集的原始轨迹数据进行数据清洗的方法包含：缺失值的处理：删除某个特征的缺失值大于50％的轨迹，对于小于50％的轨迹使用均值填充；去除异常点：去除速度大于25米每秒的轨迹点；去除重复点：去除经纬度和高度重复的轨迹点。3.如权利要求2所述的基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，所述步骤S2中制作网络模型输入的数据集格式的方法包含：数据归一化：使用min
‑
max标准化，让所有的轨迹数据最终落在[0，1]之间；分割数据集大小：按照4∶1划分处理后的轨迹数据为训练集train和测试集test；制作网络输入所需多维多步的数据集格式：数据特征维度使用轨迹数据中的经度longitude、纬度latitude和海拔高度altitude三个维度数据，数据量维度设置为使用前3个时刻的轨迹数据，时间步长维度设置为3，预测后3个时刻步长的轨迹状态，定义轨迹集制作函数的回滚参数look_back为3，预测轨迹步长predict_n为3，依次添加到制作的数据集中，训练集train和测试集test使用数据集制作函数得到训练集train_X、train_Y和测试集test_X、test_Y。4.如权利要求3所述的基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，所述步骤S3中的设计基于LSTM的预测网络模型的方法包含：预测网络模型包含4层LSTM网络和1层全连接层Dense；在每一层的LSTM网络设置Dropout层；误差函数使用均方误差MSE；优化器为Adam。5.如权利要求4所述的基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，所述步骤S4中恢复轨迹数据格式的方法包含：预测得到的数据是多维多步的三维数组形式数据，三维数组数据中每一个元素是一个
二维数组，读取到的二维数组形式为(3，3)；提取每一个读取到的二维数组的首行元素，所有提取到的首行元素合并为新的二维数组；最终提取到的二维数组为最初的数据格式。6.如权利要求5所述的基于LSTM预测和平滑分析思想的轨迹数据压缩方法，其特征在于，所述步骤S6中采用平滑分析的思想确定压缩所选取的误差阈值的范围的方法包含：计算预测轨迹与数据清洗后的轨迹之间对应轨迹点的空间距离d；随机产生随机半径k，k为正整数；从预测轨迹的第k+1个点p
k
开始选取其前k个点与后k个点，寻其与数据清洗后的轨迹所对应的空间距离d，寻找2k+1个点的最大空间距离值d
max
，并记下当前点的索引值i，再从k+2个点继续此操作，以此类推，寻找后续点在邻域K内的最大空间距离d的索引值；去掉索引数组中的重复索引值；计算数据清洗后的轨迹在对应索引值点的同步欧氏距离误差sederror，选择所有同步欧氏距离误差sederror中的最大值和最小值记为sederror
max
，sederror
min
，计算sederror
max
，sederror
...

【专利技术属性】
技术研发人员：陈雪松，杨智应，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：