电力量测系统数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及一种电力量测系统数据处理方法、装置、计算机设备和存储介质。通过在接收到电力量测系统的待处理数据时，根据待处理数据的业务类型确定数据类型，并根据数据类型将待处理数据存储至分布式文件系统的数据存储区域中的第一存储位置，并基于第一存储位置对应的计算组件和存储周期，将第一存储数据存储至分布式文件系统中的第二存储位置，并将第二存储数据发送至设置于电力量测系统的数据发布区域，从而电力量测系统中的业务应用可以访问第二存储数据。相较于传统的电力量测系统数据存储和处理的方式，本方案通过将不同类型的数据按照不同的存储策略进行存储，实现了对海量计量数据的精细化处理，提高了电力系统数据的处理合理性。处理合理性。处理合理性。

【技术实现步骤摘要】
电力量测系统数据处理方法、装置和计算机设备


[0001]本申请涉及数据处理
，特别是涉及一种电力量测系统数据处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着以服务“双碳”为目标的新型电力系统建设和数字电网的深入推进，电力系统发输配用各环节采集数据范围更加广泛，采集的数据项和数据类型更丰富，数据采集的频率大幅增加，数据采集量和处理量呈现动态的增长，对实现数据采集的智能量测系统主站的数据存储计算提出了更高要求。目前对于电力量测系统主站数据采用的处理方式通常是通过Oracle架构的方式进行存储和处理，然而，随着量测数据的高速增长，Oracle架构的数据处理方式已逐渐无法满足数字电网和新型电力系统建设下的业务增长需求。
[0003]因此，目前对电力量测系统数据处理的方法存在处理不合理的缺陷。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高处理合理性的电力量测系统数据处理方法、装置、计算机设备和存储介质。
[0005]一种电力量测系统数据处理方法，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述方法包括：
[0006]接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；
[0007]根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；
[0008]根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据；
[0009]将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存储数据。
[0010]在其中一个实施例中，所述接收到电力量测系统的待处理数据，包括：
[0011]获取所述电力量测系统的报文数据，将所述报文数据进行解析，得到原始采集数据；
[0012]通过卡夫卡消息队列接收所述原始采集数据，作为所述待处理数据。
[0013]在其中一个实施例中，所述业务类型包括非实时业务以及实时业务；
[0014]所述根据所述业务类型确定所述待处理数据的数据类型，包括：
[0015]获取所述待处理数据在所述电力量测系统中对应的业务类型；
[0016]若所述业务类型为非实时业务，确定所述待处理数据的数据类型为非实时数据；
[0017]若所述业务类型为实时业务，确定所述待处理数据的数据类型为实时数据。
[0018]在其中一个实施例中，所述根据所述数据类型将所述待处理数据存储至对应的第
一存储位置，包括：
[0019]若所述数据类型为非实时数据，通过Sparkstreaming计算组件读取所述待处理数据，并将所述待处理数据存储至数据准备层；所述数据准备层设置于所述分布式文件系统中；
[0020]若所述数据类型为实时数据，通过Sparkstreaming计算组件和sparksql计算组件读取所述待处理数据并对所述待处理数据进行数据清洗，得到清洗数据，将所述清洗数据存储至redis内存数据库；所述redis内存数据库设置于所述分布式文件系统中；
[0021]其中，所述数据准备层的数据存储时间小于所述redis内存数据库的数据存储时间。
[0022]在其中一个实施例中，所述根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，包括：
[0023]若所述第一存储位置为数据准备层，通过sparksql计算组件将所述第一存储数据实时存储至所述分布式文件系统中的细节数据层；所述细节数据层用于存储进行数据清洗后的数据和/或永久存储的数据；
[0024]若所述第一存储位置为redis内存数据库，通过sparksql计算组件将所述第一存储数据按照预设存储周期定时存储至所述细节数据层。
[0025]在其中一个实施例中，所述将所述第二存储数据发送至所述数据处理设备中的数据发布区域之前，还包括：
[0026]根据大规模并行分析数据库、CTSDB时序数据库以及redis内存数据库，得到所述数据发布区域。
[0027]在其中一个实施例中，所述将所述第二存储数据发送至所述数据处理设备中的数据发布区域，包括：
[0028]通过sparksql计算组件从所述第二存储位置读取所述第二存储数据，并根据预设算法以及预设统计规则获取所述第二存储数据对应的统计结果数据和所述第二存储数据对应的报表数据；
[0029]将所述第二存储数据、所述统计结果数据以及所述报表数据发送至所述数据发布区域中的大规模并行分析数据库、CTSDB时序数据库以及redis内存数据库中并存储。
[0030]一种电力量测系统数据处理装置，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述装置包括：
[0031]获取模块，用于接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；
[0032]第一存储模块，用于根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；
[0033]第二存储模块，用于根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据；
[0034]访问模块，用于将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存
储数据。
[0035]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0036]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0037]上述电力量测系统数据处理方法、装置、计算机设备和存储介质，通过在接收到电力量测系统的待处理数据时，根据待处理数据的业务类型确定数据类型，并根据数据类型将待处理数据存储至分布式文件系统的数据存储区域中的第一存储位置，得到第一存储数据，并基于第一存储位置对应的计算组件和存储周期，将第一存储数据存储至分布式文件系统中的第二存储位置，得到第二存储数据，并将第二存储数据发送至设置于电力量测系统的数据发布区域，从而电力量测系统中的业务应用可以访问第二存储数据。相较于传统的通过Oracle架构的方式进行存储和处理的方式，本方案通过将不同类型的数据按照不同的存储策略进行存储，实现了对海量计量数据的精细化处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力量测系统数据处理方法，其特征在于，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述方法包括：接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据；将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存储数据。2.根据权利要求1所述的方法，其特征在于，所述接收到电力量测系统的待处理数据，包括：获取所述电力量测系统的报文数据，将所述报文数据进行解析，得到原始采集数据；通过卡夫卡消息队列接收所述原始采集数据，作为所述待处理数据。3.根据权利要求1所述的方法，其特征在于，所述业务类型包括非实时业务以及实时业务；所述根据所述业务类型确定所述待处理数据的数据类型，包括：获取所述待处理数据在所述电力量测系统中对应的业务类型；若所述业务类型为非实时业务，确定所述待处理数据的数据类型为非实时数据；若所述业务类型为实时业务，确定所述待处理数据的数据类型为实时数据。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据存储至对应的第一存储位置，包括：若所述数据类型为非实时数据，通过Sparkstreaming计算组件读取所述待处理数据，并将所述待处理数据存储至数据准备层；所述数据准备层设置于所述分布式文件系统中；若所述数据类型为实时数据，通过Sparkstreaming计算组件和sparksql计算组件读取所述待处理数据并对所述待处理数据进行数据清洗，得到清洗数据，将所述清洗数据存储至redis内存数据库；所述redis内存数据库设置于所述分布式文件系统中；其中，所述数据准备层的数据存储时间小于所述redis内存数据库的数据存储时间。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，包括：若所述第一存储位...

【专利技术属性】
技术研发人员：曾璐琨，梁洪浩，郑楷洪，陈晓伟，李胜，马越，龚起航，姜和芳，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：