本发明专利技术提供一种基于分布式内存计算技术的电力量费计算方法，通过预设的分布式内存计算引擎来实现，包括：在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；基于营销档案数据和表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将电量计算结果与电量结算规则相结合进行电费计算，得到电费计算结果；将电量计算结果和电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。实施本发明专利技术，能克服现有技术中存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷的问题，降低维护成本。降低维护成本。降低维护成本。
【技术实现步骤摘要】
一种基于分布式内存计算技术的电力量费计算方法及装置
[0001]本专利技术涉及电力电量电费计算
，尤其涉及一种基于分布式内存计算技术的电力量费计算方法及装置。
技术介绍
[0002]在传统的电力市场中，电力电量的计费主要通过人工方式对每个用户或企业的电表进行电量统计以及电费计算。
[0003]随着大数据的发展，已出现通过数据库存储数据和使用存储过程来进行开放或表码查询，最后使用内存计算引擎来进行电量电费计算和量费计算。例如，专利申请号为201410608955.5，名称为一种同于电力的实时算费系统的专利技术专利，该系统包括数据库服务器、应用服务器、加密前置服务器和存储设备，采用分布式的B/A/S多层体系结构，对数据库服务器、应用服务器核客户端进行分层部署，达到了在低成本的前提下提高电力实时算费的效率和安全性。又如，专利申请号为201410710769.2，名称为一种海量用电数据分析系统及用电数据实时计算方法的专利技术专利，该系统包括：数据源、数据获取模块和数据存储模块；采用数据获取模块中的ETL方式从数据源中获取海量用电数据；根据计算所需要达到的指标，基于数据计算模块的Spark框架，采用内存并行计算技术对海量用电数据进行数据处理，并进行去噪、过滤重复主题/删除与制定目标无关的冗余和垃圾信息；基于数据计算模块的Spark框架，采用内存并行计算技术对数据处理结果进行汇总，并将汇总结果存储到数据仓库中；结合基础服务模块的GIS服务和/或可视化服务对数据仓库的数据进行展现。
[0004]但是，上述通过数据库进行电量电费计算的方式，存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷。
技术实现思路
[0005]本专利技术实施例所要解决的技术问题在于，提供一种基于分布式内存计算技术的电力量费计算方法及装置，能克服现有技术中存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷的问题，降低维护成本。
[0006]为了解决上述技术问题，本专利技术实施例提供了一种基于分布式内存计算技术的电力量费计算方法，其通过预设的分布式内存计算引擎来实现，所述方法包括以下步骤：
[0007]S1、在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；
[0008]S2、基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；
[0009]S3、将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。
[0010]其中，所述方法进一步包括：
[0011]将所述电量计算结果和所述电费计算结果，从预设分布式文件系统对应存储计算结果的存储节点转移至预设营销系统的关系数据库中。
[0012]其中，在步骤S1之前，还包括以下步骤：
[0013]在检测到预设营销系统的关系数据库空闲时，分批次从预设营销系统的关系数据库中提取营销档案数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中；
[0014]采用分布式多线程并行方式，从预设计量系统的关系数据库中提取表码数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中。
[0015]其中，所述分布式多线程并行方式是先根据预定的数据分块规则，在分布节点上动态生成多个Spark DataFrame，再通过线程池启动多个线程来调用数据处理模块对每个Spark DataFrame进行并行处理来实现的。
[0016]其中，所述营销档案数据和所述表码数据均以列式存储的方式存储。
[0017]其中，所述方法进一步包括：
[0018]从预设分布式文件系统对应存储计算结果的存储节点中，获取所述电量计算结果和所述电费计算结果，并结合预设的量费核查逻辑，以进行数据核查，且在核查出有异常量费数据时，对所述异常量费数据进行分析并校正，进一步将核查后的电量计算结果和电费计算结果存储至对应原有的存储节点中。
[0019]其中，所述方法进一步包括：
[0020]在预设分布式文件系统对应存储原始数据的存储节点中，获取所述表码数据，并结合预设的表码核查逻辑，以进行数据校核，且在校核出所述表码数据有异常表码数据时，对所述异常表码数据进行校正后存储至对应原有的存储节点中，或根据所述异常表码数据生成异常数据表。
[0021]其中，所述方法进一步包括：
[0022]在对所述异常量费数据进行分析时，结合所述异常表码数据，以进行综合分析来得到所述异常量费数据与所述异常表码数据之间的关联性。
[0023]其中，所述方法进一步包括：
[0024]根据预设的定时任务，将所述异常量费数据和所述异常表码数据，从预设分布式文件系统各自对应的存储节点转移至预设营销系统的关系数据库中。
[0025]本专利技术实施例还提供了一种基于分布式内存计算技术的电力量费计算装置，包括分布式内存计算引擎；其中，所述分布式内存计算引擎包括：
[0026]获取单元，用于在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；
[0027]计算单元，用于基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；
[0028]分布存储单元，用于将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。
[0029]实施本专利技术实施例，具有如下有益效果：
[0030]1、本专利技术将营销档案数据和表码数据集成到分布式文件系统中并以列式存储格
式保存，可以提高数据的吞吐量，减少对关系型数据库的依赖，摆脱关系型数据库的限制，且整个计算过程全部基于分布式内存计算引擎进行处理，方案统一，代码能够实现复用，便于系统的维护和管理；
[0031]2、本专利技术的分布式内存计算引擎具备良好的横向扩展、容错能力，且相对于关系型数据库更适合数据校验和数值计算等操作，数据类型丰富，数据操作更加完备，并在系统稳定性、架构统一性、系统可扩展性以及容错性等方面均有提高，同时计算时间大大缩短，可进一步通过增加计算节点的方式来进行计算资源的水平扩展从而提升计算能力；
[0032]3、本专利技术通过实现错峰批量的方式将数据回流到关系型数据库中，为业务系统提供数据支撑，降低数据回流的时间，提升数据库使用率；
[0033]4、相对于传统方式从关系型数据库中数据提取时数据吞吐量明显受制于关系型数据库性能，本专利技术基于内存缓存，计算输入数据源由关系型数据库改为分布式文件系统，使得计算性能更高。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于分布式内存计算技术的电力量费计算方法，其特征在于，其通过预设的分布式内存计算引擎来实现，所述方法包括以下步骤：S1、在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；S2、基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；S3、将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。2.如权利要求1所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：将所述电量计算结果和所述电费计算结果，从预设分布式文件系统对应存储计算结果的存储节点转移至预设营销系统的关系数据库中。3.如权利要求2所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，在步骤S1之前，还包括以下步骤：在检测到预设营销系统的关系数据库空闲时，分批次从所述预设营销系统的关系数据库中提取营销档案数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中；采用分布式多线程并行方式，从预设计量系统的关系数据库中提取表码数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中。4.如权利要求3所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述分布式多线程并行方式是先根据预定的数据分块规则，在分布节点上动态生成多个Spark DataFrame，再通过线程池启动多个线程来调用数据处理模块对每个Spark DataFrame进行并行处理来实现的。5.如权利要求4所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述营销档案数据和所述表码数据均以列式存储的方式存储。6.如权利要求2所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一...
【专利技术属性】
技术研发人员：陈华锋，廖家敏，陈本权，陈喆，黄勇光，孙涛，董伟峰，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。