一种时间戳修复方法及装置制造方法及图纸

本发明专利技术实施例提供一种时间戳修复方法及装置，该方法包括：基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；根据目标时间戳修改信息对异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息。通过密度异常检测算法对数据点进行异常数据点标记，并得到异常数据点集合，针对于异常数据点进行最小时间戳修复，从而实现对于异常数据点的修复，并将修复的异常数据点从异常数据点集合信息中删除，并将其添加到正常数据点中，从而实现对于数据点的分布以及密度的改变，避免了修复后的数据和原始数据之间差距过大而导致的信息丢失的问题。

A time stamp repair method and device

【技术实现步骤摘要】
一种时间戳修复方法及装置
本专利技术涉及数据处理
，尤其涉及一种时间戳修复方法及装置。
技术介绍
近些年来，随着信息技术的发展，各类数量不断增长。如何合理利用如此海量的数据已经成为学术界以及工业界研究的重点问题，由于各式各样的数据在其生命周期中会由于各种原因而产生偏差，导致最后获得的数据出现不一致、不完整、不准确等异常情况，而这些异常数据的存在将会不可避免地影响相关算法以及数据分析软件工具最后得到的分析结果。而在实际中，由于数据质量问题造成的损失也不容小视。数据质量已经成为了一个重要的研究方向，将数据进行清洗从而得到高质量的数据是在进行数据分析前必不可少的流程，而现有技术中对于时序数据的异常数据修复主要是通过异常检测，再对异常数据进行平滑处理，但是这样会导致修复后数据和初始数据之间差距过大，发生信息丢失。因此如何更有效的进行时序数据的修复已经成为业界亟待解决的问题。
技术实现思路
本专利技术实施例提供一种时间戳修复方法及装置，用以解决上述
技术介绍
中提出的技术问题，或至少部分解决上述
技术介绍
中提出的技术问题。第一方面，本专利技术实施例提供一种时间戳修复方法，包括：基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；根据所述目标时间戳修改信息对所述异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息。更具体的，所述密度异常检测算法包括：具有噪声的基于密度的聚类算法或局部异常因子算法。更具体的，所述通过密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息的步骤，具体包括：通过所述局部异常因子算法的异常度计算指标方法对数据点进行异常度计算，得到各个数据点的异常度指数；将异常度指数大于预设阈值的数据点标记为异常数据点，将所述异常数据点存入异常数据点集合，得到异常数据点集合信息。更具体的，所述基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息的步骤，具体包括：获取异常数据点集合信息中各异常数据点的时间戳属性信息；获取修改后的异常数据点时间戳属性信息，通过任意最优求解方法对异常数据点的时间戳属性信息和修改后的异常数据点时间戳属性信息之间的差值进行分析，得到目标时间戳修改信息。更具体的，所述根据所述修复后的时间戳属性信息进行异常数据修复的步骤，具体包括：获取修复后的异常数据点信息；将修复后的异常数据点信息从异常数据点中移除，并将修复后的异常数据点信息加入到正常数据点集合中，得到数据修复结果。更具体的，所述通过所述局部异常因子算法的异常度计算指标方法对数据点进行异常度计算的步骤，具体为：其中，ρ(pi)表示数据点pi的局部可达密度，Nk(pi)表示到数据点pi的距离小于等于数据点pi的第k距离的集合，p′为Nk(pi)中的数据点。更具体的，所述通过任意最优求解方法对异常数据点的时间戳属性信息和修改后的异常数据点时间戳属性信息之间的差值进行分析的步骤，具体为：argmin(Δti)＝{ti′|Δti＝|ti′-ti|,LOFk(p′i)≤1}其中，Δti＝|t′i-ti|为时间戳修改信息，其中t′i是修改后的异常数据店p′i的时间戳属性，ti为异常数据点pi的时间戳属性值。第二方面，本专利技术实施例提供一种时间戳修复装置，包括：异常检测模块，用于基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；分析模块，用于基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；修复模块，用于根据所述目标时间戳修改信息对所述异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述时间戳修复方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述时间戳修复方法的步骤。本专利技术实施例提供的一种时间戳修复方法及装置，通过密度异常检测算法对数据点进行异常数据点标记，并得到异常数据点集合，针对于异常数据点进行最小时间戳修复，从而实现对于异常数据点的修复，并将修复的异常数据点从异常数据点集合信息中删除，并将其添加到正常数据点中，从而实现对于数据点的分布以及密度的改变，避免了修复后的数据和原始数据之间差距过大而导致的信息丢失的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例中所描述的时间戳修复方法流程示意图；图2为本专利技术一实施例所描述的数据修复结果示意图；图3为本专利技术一实施例所描述的时间戳修复装置结构示意图；图4为本专利技术一实施例所描述的电子设备结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例中所描述的时间戳修复方法流程示意图，如图1所示，包括：步骤S1，基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；步骤S2，基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；步骤S3，根据所述目标时间戳修改信息对所述异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息，以根据所述修复后的时间戳属性信息进行异常数据修复。具体的，本专利技术实施例中所描述的密度异常检测算法可以是指具有噪声的基于密度的聚类算法(Density-BasedSpatialClusteringofApplicationswithNoise,DBSCAN)或局部异常因子算法(LocalOutlierFactor,LOF)。本专利技术实施例中所描述的异常数据点集合信息是指被判断的异常数据的数据点的集合。具体的，通过密度异常检测算法中的异常度指标计算方法，确定每个数据点的异常度指标，将每个数据的异常度指标与异常度预设阈值进行比较，将异常度指标大于异常度预设阈值的数据点标记为异常数据点，将所有标记为异常点的异常数据点集中存贮在异常数据点集合中，得到异常数据点集合信息。在得到异常数据点集合信息的基础上，获取异常数据点集合本文档来自技高网...

【技术保护点】
1.一种时间戳修复方法，其特征在于，包括：/n基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；/n基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；/n根据所述目标时间戳修改信息对所述异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息，以根据所述修复后的时间戳属性信息进行异常数据修复。/n

【技术特征摘要】
1.一种时间戳修复方法，其特征在于，包括：
基于密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息；
基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息；
根据所述目标时间戳修改信息对所述异常数据点集合信息进行时间戳修复，得到修复后的时间戳属性信息，以根据所述修复后的时间戳属性信息进行异常数据修复。


2.根据权利要求1所述时间戳修复方法，其特征在于，所述密度异常检测算法包括：具有噪声的基于密度的聚类算法或局部异常因子算法。


3.根据权利要求2所述时间戳修复方法，其特征在于，所述通过密度异常检测算法对数据点进行异常检测，得到异常数据点集合信息的步骤，具体包括：
通过所述局部异常因子算法的异常度计算指标方法对数据点进行异常度计算，得到各个数据点的异常度指数；
将异常度指数大于预设阈值的数据点标记为异常数据点，将所述异常数据点存入异常数据点集合，得到异常数据点集合信息。


4.根据权利要求1所述时间戳修复方法，其特征在于，所述基于任意最优求解方法对异常数据点集合信息进行分析，得到目标时间戳修改信息的步骤，具体包括：
获取异常数据点集合信息中各异常数据点的时间戳属性信息；
获取修改后的异常数据点时间戳属性信息，通过任意最优求解方法对异常数据点的时间戳属性信息和修改后的异常数据点时间戳属性信息之间的差值进行分析，得到目标时间戳修改信息。


5.根据权利要求1所述时间戳修复方法，其特征在于，所述根据所述修复后的时间戳属性信息进行异常数据修复的步骤，具体包括：
获取修复后的异常数据点信息；
将修复后的异常数据点信息从异常数据点中移除，并将修复后的异常数据点信息加入...

【专利技术属性】
技术研发人员：宋韶旭，龚怿焜，王建民，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11