一种动态测量数据的处理方法和装置制造方法及图纸

本申请公开一种动态测量数据的处理方法和装置，该方法包括：从新能源云数据库获取原始数据，原始数据为动态测量过程中获取到的所有数据；对原始数据进行预处理，以得到动态测量数据；建立动态测量数据的组合模型，组合模型用于对动态测量数据进行特征分析，以得到动态量测数据的系统误差和随机误差；根据系统误差分离动态测量数据中的包含系统误差的数据；根据随机误差分离动态测量数据中的包含随机误差的数据；根据分离出的包含系统误差和随机误差的数据，从动态测量数据中得到动态测量数据的真实值。利用本申请实施例提供的方案，能够通过坏数据定位及纠错、系统性的和随机性的误差分离来实现数据清洗，得到高质量的动态测量数据。量数据。量数据。

【技术实现步骤摘要】
一种动态测量数据的处理方法和装置


[0001]本申请涉及数据处理
，尤其涉及一种动态测量数据的处理方法和装置。

技术介绍

[0002]目前，新能源行业数据不仅体量巨大、类型多样、构成复杂，而且更重要的是数据质量良莠不齐，数据缺失、异常、混乱、重复等现象明显，直接导致国网消纳云的数据价值密度低、数据质量待提高、数据孤岛、数据潜在价值未充分挖掘等问题突出。
[0003]然而，目前采用的“数据清洗”，是在数据引入前，去掉空值数据和不满足有效性要求的数据，仍属于数据筛选的范畴，并不是真正意义上的数据清洗，不能得到足以用于研究的高质量动态测量数据。

技术实现思路

[0004]本申请基于上述问题，提供一种动态测量数据的处理方法和装置，通过坏数据定位及纠错、系统性的和随机性的误差分离来实现数据清洗。
[0005]本申请一方面提供了一种动态测量数据的处理方法，该方法包括：
[0006]从新能源云数据库获取原始数据，其中，所述原始数据为动态测量过程中获取到的所有数据；
[0007]对所述原始数据进行预处理，以得到动态测量数据，其中，所述预处理至少包括如下一种：数据截断、离散化、初辨统计特性和剔点处理；
[0008]建立所述动态测量数据的组合模型，所述组合模型用于对所述动态测量数据进行特征分析，以得到所述动态量测数据的系统误差和随机误差；
[0009]根据所述组合模型输出的所述系统误差分离所述动态测量数据中的包含系统误差的数据；
[0010]根据所述组合模型输出的所述随机误差分离所述动态测量数据中的包含随机误差的数据；
[0011]根据分离出的所述包含系统误差的数据和分离出的所述包含随机误差的数据，从所述动态测量数据中得到所述动态测量数据的真实值。
[0012]优选地，对所述原始数据进行数据截断，包括：
[0013]根据预设的截取长度对所述原始数据进行截断，以得到所述动态测量数据；
[0014]其中，所述截取长度为一个或多个动态测量过程中所需要测量的最大数据长度。
[0015]优选地，对所述原始数据进行剔点处理，包括：
[0016]根据所述原始数据构造第一中位数序列；
[0017]根据所述第一中位数序列构成与所述第一中位数序列相邻的三个数据的第二中位数序列；
[0018]根据所述相邻的三个数据的第二中位数序列构建第三序列，其中，所述第三序列的构建方法通过如下公式所示：
[0019][0020]其中，{x
″′
i
}为第三序列，{x
″
i
}为第二中位数序列；
[0021]计算所述第一中位数序列中的第一值减去所述第三序列中对应的第一值的差的绝对值，得到差值，并判断所述差值是否大于预设的阈值；
[0022]若所述差值大于预设的阈值，则从所述原始数据中剔除所述第一中位数序列中的第一值，并根据所述第一中位数序列中的第一值的相邻数据计算一个平滑的线性插值，再用所述线性插值代替所述第一中位数序列中的第一值。
[0023]优选地，所述动态测量数据的组合模型，包括：确定性函数f(n)、随机函数Y(n)；
[0024]通过如下公式对所述动态测量数据X(n)进行特征提取；
[0025]X(n)＝f(n)+Y(n)＝d(n)+p(n)+Y(n)；
[0026]其中，所述随机函数Y(n)用于计算外界因素对数据测量产生的误差；所述确定性函数f(n)划分成非周期函数d(n)和周期函数p(n)，所述周期函数p(n)用于计算所述动态测量数据中有规律波动的数据，所述非周期函数d(n)用于计算所述动态测量数据中无规律波动的数据；
[0027]动态测量数据X(n)包括动态测量数据真实值X0(n)及测量误差e(n)，所述动态测量数据真实值X0(n)包括所述确定性函数f(n)对应的真实值f0(n)和所述随机性函数的真实值Y0(n)；所述测量误差e(n)由系统误差e
s
(n)和随机误差e
r
(n)组成，通过如下公式表示：
[0028]X(n)＝X0(n)+e(n)＝f0(n)+Y0(n)+e
s
(n)+e
r
(n)＝d0(n)+p0(n)+Y0(n)+e
s
(n)+e
r
(n)；
[0029]其中，d0(n)是非周期函数的真实值；p0(n)是周期函数的真实值。
[0030]优选地，所述动态测量数据的组合模型还用于计算系统误差，通过如下公式实现：E[e(n)]＝e
s
(n)，其中，E[e(n)]为所述测量误差e(n)的期望值；
[0031]所述系统误差用于分离所述动态测量数据中的包含系统误差的数据。
[0032]优选地，所述动态测量数据的组合模型还用于计算随机误差，通过如下公式实现：
[0033]e
r
(n)＝X(n)
‑
X0(n)＝X(n)
‑
E[X(n)]；
[0034]其中，E[X(n)]通过如下公式计算：
[0035]X0(n)＝E[X(n)]＝E[X0(n)+e
r
(n)]＝d0(n)+p0(n)；
[0036]其中，E[X0(n)+e(n)]为所述动态测量数据的真实值X0(n)与所述测量误差e(n)之和的期望值；
[0037]所述随机误差用于分离所述动态测量数据中的包含随机误差的数据。
[0038]优选地，所述动态测量数据的组合模型还用于计算随机误差的方差值，通过如下公式实现：
[0039]其中，σ
r2
(n)为随机误差的方差值；D[X(n)
‑
X0(n)]为动态测量数据X(n)与动态测量数据的真实值X0(n)之差的方差值；D[X(n)]为动态测量数据X(n)的方差值。
[0040]本申请一方面提供了一种动态测量数据的处理装置，该装置包括：获取模块，处理模块和模型建立模块；
[0041]所述获取模块，用于从新能源云数据库获取原始数据，其中，所述原始数据为动态测量获取到的所有数据；
[0042]所述处理模块，用于对所述原始数据进行预处理，以得到动态测量数据，其中，所述预处理至少包括如下一种：数据截断、离散化、初辨统计特性和剔点处理；
[0043]所述模型建立模块，用于建立所述动态测量数据的组合模型，所述组合模型用于对所述动态测量数据进行特征分析，以得到所述动态量测数据的系统误差和随机误差；
[0044]所述处理模块，还用于根据所述组合模型输出的所述系统误差分离所述动态测量数据中的包含系统误差的数据；
[0045]所述处理模块，还用于根据所述组合模型输出的所述随机误差分离所述动态测量数据中的包含随机误差的数据；
[0046]所述处理模块，还用于根据分离出的所述包含系统误差的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态测量数据的处理方法，其特征在于，所述方法包括：从新能源云数据库获取原始数据，其中，所述原始数据为动态测量过程中获取到的所有数据；对所述原始数据进行预处理，以得到动态测量数据，其中，所述预处理至少包括如下一种：数据截断、离散化、初辨统计特性和剔点处理；建立所述动态测量数据的组合模型，所述组合模型用于对所述动态测量数据进行特征分析，以得到所述动态量测数据的系统误差和随机误差；根据所述组合模型输出的所述系统误差分离所述动态测量数据中的包含系统误差的数据；根据所述组合模型输出的所述随机误差分离所述动态测量数据中的包含随机误差的数据；根据分离出的所述包含系统误差的数据和分离出的所述包含随机误差的数据，从所述动态测量数据中得到所述动态测量数据的真实值。2.根据权利要求1所述的方法，其特征在于，对所述原始数据进行数据截断，包括：根据预设的截取长度对所述原始数据进行截断，以得到所述动态测量数据；其中，所述截取长度为一个或多个动态测量过程中所需要测量的最大数据长度。3.根据权利要求1所述的方法，其特征在于，对所述原始数据进行剔点处理，包括：根据所述原始数据构造第一中位数序列；根据所述第一中位数序列构成与所述第一中位数序列相邻的三个数据的第二中位数序列；根据所述相邻的三个数据的第二中位数序列构建第三序列，其中，所述第三序列的构建方法通过如下公式所示：其中，{x
″′
i
}为第三序列，{x
″
i
}为第二中位数序列；计算所述第一中位数序列中的第一值减去所述第三序列中对应的第一值的差的绝对值，得到差值，并判断所述差值是否大于预设的阈值；若所述差值大于预设的阈值，则从所述原始数据中剔除所述第一中位数序列中的第一值，并根据所述第一中位数序列中的第一值的相邻数据计算一个平滑的线性插值，再用所述线性插值代替所述第一中位数序列中的第一值。4.根据权利要求1所述的方法，其特征在于，所述动态测量数据的组合模型，包括：确定性函数f(n)、随机函数Y(n)；通过如下公式对所述动态测量数据X(n)进行特征提取；X(n)＝f(n)+Y(n)＝d(n)+p(n)+Y(n)；其中，所述随机函数Y(n)用于计算外界因素对动态测量过程产生的误差；所述确定性函数f(n)划分成非周期函数d(n)和周期函数p(n)，所述周期函数p(n)用于计算所述动态测量数据中有规律波动的数据，所述非周期函数d(n)用于计算所述动态测量数据中无规律波动的数据；
动态测量数据X(n)包括动态测量数据真实值X0(n)及测量误差e(n)，所述动态测量数据真实值X0(n)包括所述确定性函数f(n)对应的真实值f0(n)和所述随机性函数Y(n)对应的真实值Y0(n)；所述测量误差e(n)由系统误差e
s
(n)和随机误差e
r
(n)组成，通过如下公式表示：X(n)＝X0(n)+e(n)＝f0(n)+Y0(n)+e
s
(n)+e
r
(n)＝d0(n)+p0(n)+Y0(n)+e
s
(n)+e
r
(n)；其中，d0(n)是非周期函数的真实值；p0(n)是周期函数的真实值。5.根据权利要求4所述的方法，其特征在于，所述动态测量数据的组合模型还用于计算系统误差，通...

【专利技术属性】
技术研发人员：韩碧彤，解鸿斌，单雨，葛乐矣，陈明冬，隋佳音，李岩昊，
申请(专利权)人：国网新能源云技术有限公司，
类型：发明
国别省市：