The embodiment of the present invention discloses a data repair method and device, which includes: firstly, acquiring the first abnormal data vector set with at least one abnormal data; further acquiring Z first reference data vector sets with the same type vectors as the first abnormal data vector set; and then determining each abnormal data vector set corresponding to the first abnormal data vector set. Abnormal data bits; then, according to the determined abnormal data bits, the first abnormal data vector set is repaired based on the Z first reference data vector set.
【技术实现步骤摘要】
一种数据修复方法及装置
本专利技术涉及大数据分析
,尤其涉及一种数据修复方法及装置。
技术介绍
目前各大数据服务平台均围绕数据采集、数据挖掘、数据应用及数据共享,在包括环保、安全、健康等众多领域推出产品和服务。在以车辆网相关的大数据支持与应用服务为例来说,由于数据采集的准确性受诸多因素的影响,数据异常的情况时有发生。相关技术中,为了实现异常数据的修复,通常采用线性插值法或数据点平滑处理算法。然而,相关技术中的数据修复算法存在如下明显的缺陷:1)算法不够成熟,修复准确性低;2)算法执行时间长,不稳定;3)很多异常数据不能识别或识别不准确。
技术实现思路
本专利技术实施例为了有效克服现有数据修复算法的缺陷,创造性地提供一种数据修复方法及装置。根据本专利技术的第一方面,提供一种数据修复方法,所述方法包括:获取至少存在一个异常数据的第一异常数据向量集Amn,m,n均为大于等于2的正整数;获取具有与所述第一异常数据向量集Amn互为同型向量的z个第一参考数据向量集Bmn(z),z为大于等于2的正整数;确定所述第一异常数据向量集中每一个异常数据对应的异常数据位;根据所确定的异 ...
【技术保护点】
1.一种数据修复方法,其特征在于,所述方法包括:获取至少存在一个异常数据的第一异常数据向量集Amn,m,n均为大于等于2的正整数;获取具有与所述第一异常数据向量集Amn互为同型向量的z个第一参考数据向量集Bmn(z),z为大于等于2的正整数;确定所述第一异常数据向量集中每一个异常数据对应的异常数据位;根据所确定的异常数据位,基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。
【技术特征摘要】
1.一种数据修复方法,其特征在于,所述方法包括:获取至少存在一个异常数据的第一异常数据向量集Amn,m,n均为大于等于2的正整数;获取具有与所述第一异常数据向量集Amn互为同型向量的z个第一参考数据向量集Bmn(z),z为大于等于2的正整数;确定所述第一异常数据向量集中每一个异常数据对应的异常数据位;根据所确定的异常数据位,基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。2.根据权利要求1所述的方法,其特征在于,根据所确定的异常数据位,基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复,包括:根据所确定的异常数据位省略所述第一异常数据向量集中与所述异常数据位对应的行向量和列向量,得到第二异常数据向量集;根据所确定的异常数据位分别省略所述z个第一参考数据向量集中与所述异常数据位对应的行向量和列向量,得到z个第二参考数据向量集;确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度;基于所述每一个第二参考数据向量集与第二异常数据向量集之间的相关度,利用所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。3.根据权利要求2所述的方法,其特征在于,确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度,包括:针对所述z个第二参考数据向量集中每一个第二参考数据向量集,分别计算每一个第二参考数据向量集与第二异常数据向量集之间的余弦相似度;根据所计算的每一个第二参考数据向量集与第二异常数据向量集之间的余弦相似度大小确定每一个第二参考数据向量集与第二异常数据向量集之间的相关度。4.根据权利要求2所述的方法,其特征在于,确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度,包括:针对所述z个第二参考数据向量集中每一个第二参考数据向量集,分别计算每一个第二参考数据向量集与第二异常数据向量集之间的距离;根据所计算的每一个第二参考数据向量集与第二异常数据向量集之间的距离大小确定每一个第二参考数据向量集与第二异常数据向量集之间的相关度。5.根据权利要求2所述的方法,其特征在于,基于所述每一个第二参考数据向量集与第二异常数据向量集之间的相关度,利用所述z个第一参考数据向量集对所述第一异常数据向量集进行修复,包括:根据所述异常数据位分别从所述z个第一参考数据向量集中获取对应异常数据位的数据;将每一个第二参考数据向量集与第二异常数据向量集之间的相关度对应作为从每一个第二参考数据向量集所获取的对应异常数据位的数据的加权因子,将所有获取的对应...
【专利技术属性】
技术研发人员:李明,
申请(专利权)人:北京睦合达信息技术股份有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。