一种多源异构能源数据融合方法技术

本发明专利技术提供了一种多源异构能源数据融合方法、装置、计算机设备和存储介质，属于大数据处理技领域。其中方法包括：收集多源异构能源数据，将收集的多源异构能源数据进行数据质量评估；数据质量评估对多源异构能源数据的数据准确性、数据完备性、数据一致性、数据关联性、数据统一性中的一个或多个指标进行评估，得到数据质量；根据数据质量评估的到的结果，对多源异构能源数据进行数据融合。本发明专利技术的方法能够提高数据融合的准确性。够提高数据融合的准确性。够提高数据融合的准确性。

【技术实现步骤摘要】
一种多源异构能源数据融合方法


[0001]本专利技术属于大数据处理
，具体涉及一种多源异构能源数据融合方法、装置、计算机设备和存储介质。

技术介绍

[0002]大数据时代，数据已经成为能源行业的重要资产，水、电、煤、油、气、热力等能源数据中蕴含着大量的数据信息。而多源异构的能源数据为后续数据处理带来了困难。数据信息的多源异构问题，使得人们难以充分挖掘大数据的隐含信息。数据融合技术作为一种重要的数据处理手段，从原始数据和数据特征等多个层次对数据进行综合处理,获得应用需求的有价值信息,在降低多源异构数据的冗余度和存储资源浪费方面具有重要价值。
[0003]在数据融合过程中，数据质量就显得尤为重要，如存在数据缺失、数据格式不规范、数据不一致、数据不准确、数据重复等各类情况，那么融合后利用这些数据进行决策和评估就不再可靠。

技术实现思路

[0004]本专利技术的目的在于解决上述现有技术中存在的难题，提供一种多源异构能源数据融合方法，以有效提高能源数据融合过程中融合数据有效性的问题。
[0005]本专利技术是通过以下技术方案实现的：
[0006]为了实现上述目的，本专利技术第一方面提供一种多源异构能源数据融合方法，所述融合方法包括：
[0007]收集多源异构能源数据；
[0008]将所述收集的多源异构能源数据进行数据质量评估；
[0009]所述数据质量评估对所述多源异构能源数据的数据准确性、数据完备性、数据一致性、数据关联性、数据统一性进行评估，得到数据质量；
[0010]所述数据准确性利用传感器测量误差、计算误差、经验公式误差进行评估；所述数据完备性包括需要融合数据的完整性、融合时间分布需求满足度、类型分布需求满足度；所述数据一致性包括可用时间一致性、空间一致性、计量一致性；所述数据关联性包括数据的协同性、交互性、网络性；所述数据统一性包括描述统一性、可用描述方式统一性、时间周期统一性、位置空间统一性；
[0011]所述数据质量评估采用基于位置权重的方法进行评估，对于n个指标数据 a1,a2,
…
,a
n
，确定排序位置的参考值p1,p2,
…
,p
n
，所述参考值由能源融合数据的应用场景确定，利用所述参考值获得排序位置，重新构建指标数据序列 a
(1)
,a
(2)
,
…
,a
(n)
，基于位置的权重为W＝(w1,w2,
…
,w
n
)，则最终评价值为
[0012][0013]式中p1,p2,
…
,p
n
为排序参考值，用于对a1,a2,
…
,a
n
进行排序，其中a
(i)
表示a1,
a2,
…
,a
n
中第i大的数；
[0014]对多源异构数据进行预处理，按照类型、时间、空间进行配准，并转换为统一的描述方式；
[0015]对多源异构数据进行所述预处理后，按照统一标准进行数据转换；
[0016]根据所述数据质量评估的所述数据质量，对所述多源异构能源数据进行数据融合；
[0017]所述数据融合计算公式为
[0018][0019]式中，a
ij
为转换后的数据，N个数据源数据进行融合，Q
i
为第i个数据源的数据质量评估结果，Q0为数据质量基准，数据质量越好，其在融合结果中所占越大。
[0020]优选的，所述融合方法还包括：所述按照统一标准进行数据转换包括将成本型数据、效益型数据和折中型数据进行转换，实现统一描述类型。
[0021]优选的，所述融合方法还包括：能源感知设备生成的数据、运行状态数据或监测数据中的一种或多种；通过各类能源使用情况的传感器采集数据，包括用户在某时刻的电、水、气、热能源使用情况中的一种或多种；各类设备运行状态的监测，包括风、光、储设备单元的监测数据、冷热电联供分布式能源运行信息、智能家电、智慧家具设备运行监测数据中的一种或多种。
[0022]优选的，所述融合方法还包括：所述数据准确性利用传感器测量误差E
M
、计算误差E
C
、经验公式误差E
H
进行评估，其中E
M
主要与传感器性能相关，E
C
是计算误差，E
H
与数理处理的经验公式精确度相关，利用经验公式与实际偏差的相对值确定，具体计算方式为
[0023][0024]式中，分别表示测量误差、计算误差和经验公式误差的权重，取值范围为(0，1)，可根据所述多源异构能源数据实际测量和处理过程确定。
[0025]优选的，所述融合方法还包括：所述多源异构数据预处理包括将不同类型数据进行初步滤波处理，减少误差和野点，按照类型、时间、空间进行配准，并转换为统一的描述方式。
[0026]在本专利技术的第二方面，还提供了一种综合能源数据融合装置，用于执行前述融合方法，具体包括：数据收集模块，用于收集多源异构能源数据；
[0027]数据评估模块，用于将所述收集的多源异构能源数据进行数据质量评估；所述数据质量评估对所述多源异构能源数据的数据准确性、数据完备性、数据一致性、数据关联性、数据统一性中的一个或多个指标进行评估，得到数据质量；
[0028]数据融合模块，用于根据所述数据质量评估的到的所述数据质量，对所述多源异构能源数据进行数据融合。
[0029]在本专利技术的第三方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述数据融合的步骤。
[0030]在本专利技术的第四方面，还提供了一种计算机存储介质，其上存储有计算机程序，被处理器执行时实现前述数据融合的步骤。
[0031]与现有技术相比，本专利技术的有益效果是：
[0032]1)本专利技术在能源数据融合前，对数据进行数据质量进行评估，可以提高数据融合的数据有效性；
[0033]2)本专利技术对数据的准确性、数据完备性、数据关联性、数据统一性进行多方位的评估，数据评估的全面性较好；
[0034]3)本专利技术采用基于位置权重的方法进行评估，评估的准确性大大提高；
[0035]4)本专利技术按照成本型、效益型、折中型数据的方法分别对数据进行转化，实现同一描述数据类型；
[0036]5)本专利技术采用了考虑数据质量的数融合方法，综合考虑数据质量来对数据进行融合，提升了数据融合的准确性。
附图说明
[0037]图1为本专利技术实施例的一种多源异构能源数据的步骤示意图；
[0038]图2为本专利技术的多源异构能源数据融合装置示意图。
具体实施方式
[0039]下面结合附图对本专利技术作进一步详细描述：
[0040]为了更好地理解本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构能源数据融合方法，其特征在于：收集多源异构能源数据；将所述收集的多源异构能源数据进行数据质量评估；所述数据质量评估对所述多源异构能源数据的数据准确性、数据完备性、数据一致性、数据关联性、数据统一性进行评估，得到数据质量；所述数据准确性利用传感器测量误差、计算误差、经验公式误差进行评估；所述数据完备性包括需要融合数据的完整性、融合时间分布需求满足度、类型分布需求满足度；所述数据一致性包括可用时间一致性、空间一致性、计量一致性；所述数据关联性包括数据的协同性、交互性、网络性；所述数据统一性包括描述统一性、可用描述方式统一性、时间周期统一性、位置空间统一性；所述数据质量评估采用基于位置权重的方法进行评估，对于n个指标数据a1,a2,
…
,a
n
，确定排序位置的参考值p1,p2,
…
,p
n
，所述参考值由能源融合数据的应用场景确定，利用所述参考值获得排序位置，重新构建指标数据序列a
(1)
,a
(2)
,
…
,a
(n)
，基于位置的权重为W＝(w1,w2,
…
,w
n
)，则最终评价值为式中p1,p2,
…
,p
n
为排序参考值，用于对a1,a2,
…
,a
n
进行排序，其中a(
i
)表示a1,a2,
…
,a
n
中第i大的数；对所述多源异构能源数据进行预处理，按照类型、时间、空间进行配准，并转换为统一的描述方式；对所述多源异构能源数据进行所述预处理后，按照统一标准进行数据转换；根据所述数据质量评估的所述数据质量，对所述多源异构能源数据进行数据融合；所述数据融合计算公式为式中，a
ij
为转换后的数据，N个数据源数据进行融合，Q
i
为第i个数据源的数据质量评估结果，Q0为数据质量基准，数据质量越好，其在融合结果中所占越大。2.根据权利要求1所述的融合方法，其...

【专利技术属性】
技术研发人员：潘建宏，王磊，张俊茹，樊家树，董爱迪，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：