一种基于消息总线的电能表数据处理方法、系统和电能表技术方案

本发明专利技术公开了一种基于消息总线的电能表数据处理方法和系统，所述方法包括如下步骤：向kafka总线中写入原始数据，所述原始数据包括HES数据转存程序从kafka总线中读取HES数据，并将所述HES数据转换成中间数据；将所述中间数据写入到所述kafka总线；批量读取kafka总线中的中间数据，并将所述中间数据进行转换、合并；将转换合并后的中间数据写入数据库中。所述方法和系统基于kafka总线的分布式发布

【技术实现步骤摘要】
一种基于消息总线的电能表数据处理方法、系统和电能表


[0001]本专利技术涉及电能表领域，特别涉及一种基于消息总线的电能表数据处理方法和系统。

技术介绍

[0002]用电采集系统需要接入大量的设备，采集的数据非常密集，保存的数据量非常大。现有技术中采用merge(replac)操作，具体采集后的处理方法为：对于采集结果，分析处理后，在第一次写入数据库时，使用merge(replace)操作；在第二批及之后的数据采集处理入库时，依然使用merge(replace)操作对比，写入新的数据，并替换同一设备同一时间的数据。采集过程中，设备信息全部加载到缓存中，在收到请求时，多个相同应用会重复处理请求并下发。在收到返回结果后，应用需多次将请求中间状态写入数据库，最后在请求彻底结束后返回给调用方。而上述采集后处理方法存在如下问题：1、频繁使用merge(replace)操作，数据写入数据库的速度较慢；2、记录抄表成功率时，频繁操作数据库，性能较差；3、处理中间状态时，频繁操作数据库；4、批量部署时存在重复操作请求的情况；5、不能充分发挥多程序处理的优势。

技术实现思路

[0003]本专利技术其中一个专利技术目的在于提供一种基于消息总线的电能表数据处理方法、系统和电能表，所述方法和系统基于kafka总线的分布式发布
‑
订阅消息系统，通过分布式的，可划分的，冗余备份的持久性的日志服务，可提高数据在各个子系统中的流转性能，并降低数据延迟。
[0004]本专利技术另一个专利技术目的在于提供一种基于消息总线的电能表数据处理方法、系统和电能表，所述方法和系统不直接处理数据库，通过转存程序读取kafka总线上的数据进行处理后再写入kafka总线，从而可以避免抄表过程中频繁操作数据带来的性能损耗。
[0005]本专利技术再一个专利技术目的在于提供一种基于消息总线的电能表数据处理方法、系统和电能表，所述方法和系统采用UA程序处理不同程序以及第三方程序的请求，所述UA程序将请求转化为HES可识别的请求，并将处理时使用的数据和状态保存于kafka总线中，从而可以在获取相同请求时快速响应，提高数据处理效率。
[0006]本专利技术另一个专利技术目的在于提供一种基于消息总线的电能表数据处理方法、系统和电能表，所述方法和系统通过DP程序处理数据库中保存的定时策略，在处理定时策略的过程中将DP程序需要用到的数据和状态保存于kafka总线中，从而可以在获取相同请求时快速响应，提高数据处理效率。
[0007]为了实现至少一个上述专利技术目的，本专利技术进一步提供一种基于消息总线的电能表数据处理方法，所述方法包括如下步骤：
[0008]向kafka总线中写入原始数据，所述原始数据包括HES数据；
[0009]转存程序从kafka总线中读取HES数据，并将所述HES数据转换成中间数据；
[0010]将所述中间数据写入到所述kafka总线；
[0011]批量读取kafka总线中的中间数据，并将所述中间数据进行转换、合并；
[0012]将转换合并后的中间数据写入数据库中。
[0013]根据本专利技术其中一个较佳实施例，UA程序、HES程序和DP程序定时从数据库加载档案和量纲信息，并从kafka总线中查找电能表设备上下文，若查找失败则新建电能表设备上下文并将新建的电能表设备上下文更新到kakfa总线中。
[0014]根据本专利技术另一较佳实施例，UA程序接收来自电能表设备主站和第三方应用请求，并将该请求转换为HES程序可识别处理数据，并将转换后的HES程序可识别处理数据发送到kafka总线，将UA程序处理请求时用到的数据和状态保存于kafka总线中。
[0015]根据本专利技术另一较佳实施例，通过DP程序处理定时策略数据，所述DP程序将所述定时策略数据转换为HES程序可识别处理数据，并将转换后HES程序可识别处理数据保存于kafka总线中，将DP程序处理定时策略数据中用到的数据和状态保存于所述kafka总线中。
[0016]根据本专利技术另一较佳实施例，通过HES程序采集电能表设备数据，所述HES程序从kafak总线中获取UA程序或DP程序的请求数据，并将请求数据发送给电能表设备，HES程序解析处理电能表设备数据并保存于kafka总线中，并将解析处理电能表设备数据需要的数据和状态保存于kafka总线中。
[0017]根据本专利技术另一较佳实施例，转存程序将最后一次批量读出的中间数据生成实体类，并根据实体类生成sql语句，并将所述实体类批量存入数据库。
[0018]根据本专利技术另一较佳实施例，所述转存程序计算所有电能表设备状态信息，并根据所述状态信息计算单个电能表设备单个时间点单个任务执行数据，并根据所述执行数据统计任务漏点，根据所述任务漏点计算任务成功率。
[0019]根据本专利技术另一较佳实施例，将计算获得的任务执行数据和漏点数据批量保存于数据库中。
[0020]为了实现至少一个上述专利技术目的，本专利技术进一步提供一种基于消息总线的电能表数据处理系统，所述系统采用上述基于消息总线的电能表数据处理方法。
[0021]为了实现至少一个上述专利技术目的，本专利技术进一步提供一种电能表，所述电能表采用上述一种基于消息总线的电能表数据处理系统。
附图说明
[0022]图1显示的是本专利技术一种基于消息总线的电能表数据处理方法流程示意图。
具体实施方式
[0023]以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本专利技术的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本专利技术的精神和范围的其他技术方案。
[0024]可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
[0025]请结合图1，本专利技术提供了一种基于消息总线的电能表数据处理方法和系统，所述系统包括kafka总线、UA程序服务器、DP程序服务器、HES程序服务器和转存程序服务器，其中所述UA程序为Universal Adaptor(统一接口服务)程序，用于获取电能表主站和第三方应用请求，并将电能表主站和第三方应用的程序的请求转化为所述HES程序可识别数据，其中所述HES程序为Head End System(前置机)程序，当所述UA程序将电能表主站和第三方应用的程序的请求转化为HES程序可识别数据后，将转化后的写入kafka总线中，并且UA程序将转化请求需要用到的数据和状态保存于所述kafka总线中，从而使得所述UA程序在进行请求数据转化操作时，可以快速响应。需要说明的是，本专利技术中多个UA程序可以同时处理同一请求中的不同过程。
[0026]所述DP程序为Data Polling(数据召测)程序，所述DP程序用于处理保存于数据库中的定时策略数据，所述DP程序获取数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息总线的电能表数据处理方法，其特征在于，所述方法包括如下步骤：向kafka总线中写入原始数据，所述原始数据包括HES数据；转存程序从kafka总线中读取HES数据，并将所述HES数据转换成中间数据；将所述中间数据写入到所述kafka总线；批量读取kafka总线中的中间数据，并将所述中间数据进行转换、合并；将转换合并后的中间数据写入数据库中。2.根据权利要求1所述的一种基于消息总线的电能表数据处理方法，其特征在于，UA程序、HES程序和DP程序定时从数据库加载档案和量纲信息，并从kafka总线中查找电能表设备上下文，若查找失败则新建电能表设备上下文并将新建的电能表设备上下文更新到kakfa总线中。3.根据权利要求2所述的一种基于消息总线的电能表数据处理方法，其特征在于，UA程序接收来自电能表设备主站和第三方应用请求，并将该请求转换为HES程序可识别处理数据，并将转换后的HES程序可识别处理数据发送到kafka总线，将UA程序处理请求时用到的数据和状态保存于kafka总线中。4.根据权利要求2所述的一种基于消息总线的电能表数据处理方法，其特征在于，通过DP程序处理定时策略数据，所述DP程序将所述定时策略数据转换为HES程序可识别处理数据，并将转换后HES程序可识别处理数据保存于kafka总线中，将DP程序处理定时策略数据中用到的数据和状态保存于所...

【专利技术属性】
技术研发人员：彭中华，汪扬，
申请(专利权)人：杭州海兴电力科技股份有限公司宁波恒力达科技有限公司南京海兴电网技术有限公司，
类型：发明
国别省市：