基于迭代张量算法的丢失交通数据检测和修复方法技术

本发明专利技术公开了一种利用迭代张量分解算法(Iterative tensor decomposition,ITD)检测和修复交通丢失数据的方法。方法包括：将包含丢失数据的交通数据构建为一个位置×日期×时间的三维张量；基于Tucker分解方法，利用截断奇异值分解(Truncated Singular Value Decomposition,TSVD)方法来确定核心矩阵的大小，并获得初始化的核心矩阵以及三个因子矩阵；以张量为输入，建立目标方程，以初始化的核心矩阵以及三个因子矩阵作为初始值，利用梯度下降(Gradient Descent)方法求解目标方程，更新核心矩阵以及三个因子矩阵，利用结合截断奇异值分解的张量分解(SVD‑combined Tensor Decomposition,STD)方法获得初次修复张量；最后，以初次修复张量作为输入，利用ITD算法来检测和修复交通数据中存在的丢失数据。

【技术实现步骤摘要】
基于迭代张量算法的丢失交通数据检测和修复方法
本申请涉及智能交通领域，具体而言，涉及一种基于迭代张量算法的丢失交通数据检测和修复方法。
技术介绍
由于不断增长的交通需求，交通拥堵成为世界性的难题，并且由于经济、环境等因素限制，不能通过简单的限行和扩建来解决。智能交通系统(intelligenttransportationsystem,ITS)旨在通过优化提高既有交通系统的运行效率，成为一种更节约、高效地解决交通拥堵问题的选择。交通数据作为智能交通系统的关键输入，其质量直接影响智能交通系统的效率。目前交通数据有多种来源，如感应线圈检测器、GPS定位系统、高清摄像头和视频传感器等。然而，目前绝大部分数据源受制于设备失效、通讯丢包等软硬件问题，存在严重的数据丢失问题。考虑到智能交通系统对其输入数据质量的敏感性，因此存在丢失数据问题的数据源难以直接应用于智能交通系统。如何利用交通数据存在的时空相关性，通过一定方法修复交通丢失数据问题成为目前智能交通领域技术研究的国际前沿科学问题。张量分解方法由于其能充分利用多维数据间的相互关系，目前已经成功运用在其他领域的数据修复。2013年，北京理工大学的谭华春等人首次将张量分解方法应用于交通丢失数据修复，随后交通领域其他学者在此基础上做了很多拓展研究。总结目前的基于张量分解的交通数据修复方法，主要存在的问题为要求丢失数据发生的时间、地点已知，该假设与交通丢失数据发生的随机性矛盾，因此实际应用性不强。针对上述问题，本申请提出一种基于迭代张量算法的丢失交通数据检测和修复方法。
技术实现思路
1.专利技术目的本专利技术针对目前交通数据存在的数据丢失问题，以及目前基于张量分解方法要求预知数据丢失发生的局限，提供一种基于迭代张量算法的丢失交通数据检测和修复方法，该方法在极高的数据丢失率下依旧能够实现丢失数据的准确检测和修复。2.本专利技术所采用的技术方案本专利技术提出的基于迭代张量算法的丢失交通数据检测和修复方法可以通过以下步骤来实现：(1)将包含丢失数据的交通数据按照地点、日期、时间三个维度构建为位置×日期×时间的三维张量χ；(2)基于Tucker分解方法，将步骤(1)中的张量χ作为输入，利用TSVD方法获得初始化的核心矩阵和因子矩阵U(T-SVD),W(T-SVD),V(T-SVD)；(3)以步骤(2)中的初始化核心矩阵和因子矩阵U(T-SVD),W(T-SVD),V(T-SVD)为输入，利用STD算法获得初始恢复张量(4)以步骤(3)中的初始恢复张量为输入，利用ITD方法获得数据恢复张量和检测结果张量所述步骤(1)具体为：大范围交通数据通常由设备的位置、上传数据的日期和上传数据的时间构成，将这些信息整合构成一个交通数据的位置×日期×时间的三位张量χ，如其中n1代表上传交通数据的设备的位置数，n2代表交通数据采集的日期数，n3代表一天中交通数据采集的时间片段数。由于交通数据存在丢失，因此张量χ中存在丢失数据，本方法目的是检测出丢失数据所发生的位置、日期和时间，并用估计值来代替丢失值，从而实现修复交通数据。所述步骤(2)具体为：Tucker分解方法是一种常用的张量分解模型，能够将给定的张量χ分解成一个核心矩阵和三个因子矩阵和其中，×n为模n乘积。由于核心矩阵的大小直接影响到张量分解的结果，因此使用T-SVD算法来确定核心矩阵的大小。首先，将三维矩阵展开为模n矩阵χ(n),n＝1,2,3，分别对其进行奇异值分解后有如下公式：其中，U,V和W为左奇异向量，为奇异值对角矩阵。之后，核心矩阵的大小可以由如下方程决定：其中，参数p为比率阈值，该参数直接决定了核心矩阵和因子矩阵的大小。在确定(r1,r2,r3)后，初始化的核心矩阵和因子矩阵U(T-SVD),W(T-SVD),V(T-SVD)由如下公式获得：所述步骤(3)具体为：本方法使用的目标方程定义如下：其中λ是正则化参数。等号右边的第一部分最小化平方差，第二部分是附加正则项，是默认的二进制张量，大小与χ相同且值全为1。为了求解目标方程，采用梯度下降方法，分别对变量U,W,V求偏导，则有：其中V×3W)。之后用如下方程更新各变量：其中α是梯度下降方法的学习率。结合方程(5)-(7)，在步骤(2)得到初始化核心矩阵和因子矩阵U(T-SVD),W(T-SVD),V(T-SVD)后，STD方法的伪代码如下所示：所述步骤(4)具体为：首先计算包含丢失数据张量χ和初始恢复张量每个坐标所对应的值的相对百分误差(MeanAbsolutePercentageError,MAPE)，并根据计算结果得到一个空间Ω：其中q是预设阈值。包含丢失数据张量χ中属于空间Ω的坐标被认为是丢失数据所在的坐标，反之则为正常数据。同时，通过移除二进制张量中属于空间Ω的坐标对默认二进制张量进行更新：之后，将更新后的二进制张量和包含丢失数据张量χ作为算法1的输入，得到新的恢复张量对上述步骤进行迭代，直到相邻两步的丢失检测率(Missing-DetectingRate,MDR)的误差小于阈值后停止迭代，丢失检测率的定义如下：迭代张量算法的伪代码如下所示：附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为根据本公开具体实施方式所述的估计交叉口排队长度的方法的主要步骤图；图2为根据本公开具体实施方式所述的卡口位置示意图；图3为根据本公开具体实施方式所述的实施例的结果图。图4为根据本公开具体实施方式所述方法的主要流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。如图1所示，本专利技术步骤如下：(1)将包含丢失数据的交通数据按照地点、日期、时间三个维度构建为位置×日期×时间的三维张量χ；(2)基于Tucker分解方法本文档来自技高网...

【技术保护点】
1.一种检测和修复交通丢失数据的方法，其特征在于，包括：方法包括：将包含丢失数据的交通数据构建为一个位置×日期×时间的三维张量；基于Tucker分解方法，利用截断奇异值分解(Truncated Singular Value Decomposition,TSVD)来确定核心矩阵的大小，并获得初始化的核心矩阵以及三个因子矩阵；以张量为输入，建立目标方程，以初始化的核心矩阵以及三个因子矩阵作为初始值，利用梯度下降(Gradient Descent)方法求解目标方程，更新核心矩阵以及三个因子矩阵，利用结合截断奇异值分解的张量分解(SVD‑combined Tensor Decomposition,STD)方法获得初次修复张量；以及以初次修复张量作为输入，利用ITD算法来检测和修复交通数据中存在的丢失数据。

【技术特征摘要】
1.一种检测和修复交通丢失数据的方法，其特征在于，包括：方法包括：将包含丢失数据的交通数据构建为一个位置×日期×时间的三维张量；基于Tucker分解方法，利用截断奇异值分解(TruncatedSingularValueDecomposition,TSVD)来确定核心矩阵的大小，并获得初始化的核心矩阵以及三个因子矩阵；以张量为输入，建立目标方程，以初始化的核心矩阵以及三个因子矩阵作为初始值，利用梯度下降(GradientDescent)方法求解目标方程，更新核心矩阵以及三个因子矩阵，利用结合截断奇异值分解的张量分解(SVD-combinedTensorDecomposition,STD)方法获得初次修复张量；以及以初次修复张量作为输入，利用ITD算法来检测和修复交通数据中存在的丢失数据。2.根据权利要求1所述的方法，其特征在于，利用交通数据，建立包含丢失数据的张量的操作包括：在选取的数据集中，根据数据采集点位置数、数据采集的天数以及每天数据采集的时间片数，建立包含丢失数据的张量。3.根据权利要求2所述的方法，其特征在于，所述方法利用截断奇异值分解方法确定核心矩阵大小，其中所述截断奇异值方法还包括：利用T...

【专利技术属性】
技术研发人员：陈鹏，张涵，刘向宏，余贵珍，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11