海量数据精准实时线损全量统计的方法、系统及存储介质技术方案

本发明专利技术涉及配电网多维数据融合的技术领域，特别是涉及一种海量数据精准实时线损全量统计的方法、系统及存储介质，其能够实现对海量数据的分段实时计算，实现对全链条的线损穿透分析；包括以下步骤：S1、建立海量数据计算模型：响应于海量数据表的统计需求，通过海量数据表相应的查询专用语言建立海量数据计算模型；S2、获取离线统计数据和实时统计数据：海量数据计算模型将查询专用语言映射为海量数据表的字段，并对海量数据表的字段进行离线统计和实时统计，分别得到离线统计数据和实时统计数据；S3、将离线统计数据和实时统计数据进行汇总，得到海量数据全量统计结果；S4、将得到的海量数据全量数据统计结果进行数据存储落库。海量数据全量数据统计结果进行数据存储落库。海量数据全量数据统计结果进行数据存储落库。

【技术实现步骤摘要】
海量数据精准实时线损全量统计的方法、系统及存储介质


[0001]本专利技术涉及配电网多维数据融合的
，特别是涉及一种海 量数据精准实时线损全量统计的方法、系统及存储介质。

技术介绍

[0002]随着配电网络迅速的发展，配电自动化水平和监测手段的提升， 采集频次向每五分钟一次实时数据发展，多业务系统采集的数据量成 指数规模增长，电力网络的规模正在呈现指数级的增加，形成了配电 网大数据。
[0003]对于目前技术来说，基于多维数据，能够实现对线损分时分段的 计算，但是现有的计算模式和系统还无法满足对线损分析实时性的要 求，还不能支撑对海量数据的分段实时计算，不能够对全链条的线损 穿透分析。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种能够实现对海量数据的分 段实时计算，实现对全链条的线损穿透分析的海量数据精准实时线损 全量统计的方法、系统及存储介质。
[0005]本专利技术的一种海量数据精准实时线损全量统计的方法，包括以下 步骤：
[0006]S1、建立海量数据计算模型：响应于海量数据表的统计需求，通 过海量数据表相应的查询专用语言建立海量数据计算模型；
[0007]S2、获取离线统计数据和实时统计数据：海量数据计算模型将查 询专用语言映射为海量数据表的字段，并对海量数据表的字段进行离 线统计和实时统计，分别得到离线统计数据和实时统计数据；
[0008]S3、将离线统计数据和实时统计数据进行汇总，得到海量数据全 量统计结果；
[0009]S4、将得到的海量数据全量数据统计结果进行数据存储落库。
[0010]本专利技术的一种海量数据精准实时线损全量统计的方法，所述通过 海量数据表相应的查询专用语言建立海量数据计算模型的具体流程 为：
[0011]①
、对海量数据表中相应的查询专用语言进行各个维度的检索和 统计，得到检索和统计结果；
[0012]②
、通过检索和统计结果建立海量数据计算模块。
[0013]本专利技术的一种海量数据精准实时线损全量统计的方法、系统及存 储介质，所述对海量数据表的字段进行离线统计和实时统计具体是 指：
[0014]①
、离线统计：通过hivesql定时计算得到；
[0015]②
、实时统计：通过查询实时接口得到。
[0016]本专利技术的一种海量数据精准实时线损全量统计的方法，所述离线 统计和实时统计不受各种需求的限制。
[0017]本专利技术的一种海量数据精准实时线损全量统计的系统，其特征在 于，该系统包括模型建立模块、计算模块、汇总模块和存储模块，其 中，
[0018]模型建立模块：用于响应于海量数据表的统计需求，通过海量数 据表相应的查询专用语言建立海量数据计算模型；
[0019]计算模块：用于海量数据计算模型将查询专用语言映射为海量数 据表的字段，并对海量数据表的字段进行离线统计和实时统计，分别 得到离线统计数据和实时统计数据；
[0020]汇总模块：用于将离线统计数据和实时统计数据进行汇总，得到 海量数据全量统计结；
[0021]存储模块：用于对统计的全量海量数据进行落库。
[0022]本专利技术的一种海量数据精准实时线损全量统计的存储介质，该介 质包括计算机可读存储介质，其存储有计算机程序，该程序被处理器 执行时按照上述方法步骤运行。
[0023]与现有技术相比本专利技术的有益效果为：通过对海量数据进行实时 统计和离线统计，能够有效规避离线海量数据计算的性能问题，另外 由于离线数据可以按需求随时重建，增加了数据统计的容错性和自恢 复性，既能够灵活的承接各种统计需求，又能保证高性能的对历史数 据的统计和错误的数据清理，从而能够实现对海量数据的分段实时计 算，实现对全链条的线损穿透分析。
附图说明
[0024]图1是本专利技术的结构示意图；图2是本专利技术的模块结构框架图；
具体实施方式
[0025]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细 描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0026]如图1所示，本专利技术的一种海量数据精准实时线损全量统计的方 法，包括以下步骤：
[0027]S1、建立海量数据计算模型：响应于海量数据表的统计需求，通 过海量数据表相应的查询专用语言建立海量数据计算模型；
[0028]S2、获取离线统计数据和实时统计数据：海量数据计算模型将查 询专用语言映射为海量数据表的字段，并对海量数据表的字段进行离 线统计和实时统计，分别得到离线统计数据和实时统计数据；
[0029]S3、将离线统计数据和实时统计数据进行汇总，得到海量数据全 量统计结果；
[0030]S4、将得到的海量数据全量数据统计结果进行数据存储落库；通 过对海量数据进行实时统计和离线统计，能够有效规避离线海量数据 计算的性能问题，另外由于离线数据可以按需求随时重建，增加了数 据统计的容错性和自恢复性，既能够灵活的承接各种统计需求，又能 保证高性能的对历史数据的统计和错误的数据清理，从而能够实现对 海量数据的分段实时计算，实现对全链条的线损穿透分析。
[0031]本专利技术的一种海量数据精准实时线损全量统计的方法，所述通过 海量数据表相应的查询专用语言建立海量数据计算模型的具体流程 为：
[0032]①
、对海量数据表中相应的查询专用语言进行各个维度的检索和 统计，得到检索和统计结果；
[0033]②
、通过检索和统计结果建立海量数据计算模块。
[0034]本专利技术的一种海量数据精准实时线损全量统计的方法，所述对海 量数据表的字段进行离线统计和实时统计具体是指：
[0035]①
、离线统计：通过hivesql定时计算得到；
[0036]②
、实时统计：通过查询实时接口得到；在具体实施时，离线统 计可通过hivesql每天定时计算，根据需求设定时间间隔，利用 hivesql来进行离线统计，可以得到离线统计数据；实时统计可通过 调用业务方提供的实时接口去查询实时的数据量。
[0037]本专利技术的一种海量数据精准实时线损全量统计的方法，所述离线 统计和实时统计不受各种需求的限制；对统计的全量海量数据统计库 中，离线统计是可以采用hive等离线统计数据库，实时统计可以采用 mysql,es等的实时统计库，也就是说，离线统计库和实时统计库只是 本专利技术限定的一种框架，具体的实现形式可以根据各自项目而定，此 步骤其实是将统计的全量海量数据进行保存，保存在统计库中，也就 是说，通过离线统计数据加实时统计数据汇总出当前的全量统计数 据，落库后给对应的查询api来查，后续可对外提供服务。
[0038]本专利技术的一种海量数据精准实时线损全量统计的方法，其运转流 程为，首先建立海量数据计算模型：响应于海量数据表的统计需求， 通过海量数据表相应的查询专用语言建立海量数据计算模型；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据精准实时线损全量统计的方法，其特征在于，包括以下步骤：S1、建立海量数据计算模型：响应于海量数据表的统计需求，通过海量数据表相应的查询专用语言建立海量数据计算模型；S2、获取离线统计数据和实时统计数据：海量数据计算模型将查询专用语言映射为海量数据表的字段，并对海量数据表的字段进行离线统计和实时统计，分别得到离线统计数据和实时统计数据；S3、将离线统计数据和实时统计数据进行汇总，得到海量数据全量统计结果；S4、将得到的海量数据全量数据统计结果进行数据存储落库。2.如权利要求1所述的一种海量数据精准实时线损全量统计的方法，其特征在于，所述通过海量数据表相应的查询专用语言建立海量数据计算模型的具体流程为：
①
、对海量数据表中相应的查询专用语言进行各个维度的检索和统计，得到检索和统计结果；
②
、通过检索和统计结果建立海量数据计算模块。3.如权利要求2所述的一种海量数据精准实时线损全量统计的方法，其特征在于，所述对海量数据表的字段进行离线统计...

【专利技术属性】
技术研发人员：章姝俊，赵扉，胡程平，叶炯，陈鼎，薛龙江，
申请(专利权)人：国网浙江省电力有限公司平湖市供电公司，
类型：发明
国别省市：