电气监测数据处理方法及装置、电子设备和存储介质制造方法及图纸

本公开提供了一种电气监测数据处理方法及装置、电子设备和存储介质，可以应用于智慧用电技术领域。该电气监测数据处理方法包括：在从消息队列中读取到多个第一电气监测数据的情况下，调用数据减量服务对多个第一电气监测数据进行减量处理后得到多个第二电气监测数据；调用数据打包服务将多个第二电气监测数据作为增量数据添加至第一数据包中后得到第二数据包；在第二数据包的数据量大于第一预设数量阈值的情况下，调用批量数据入库服务将第二数据包中的数据批量写入数据库中。二数据包中的数据批量写入数据库中。二数据包中的数据批量写入数据库中。

【技术实现步骤摘要】
电气监测数据处理方法及装置、电子设备和存储介质


[0001]本公开涉及智慧用电
，具体地涉及一种电气监测数据处理方法、装置、设备、介质和程序产品。

技术介绍

[0002]在防范电气火灾的物联网应用中，在大楼内对电气线路回路上设置监测点位，安装边缘端电气火灾传感器，通过电气火灾传感器实时监测点位的电压、电流、温度数据，并对这些数据进行传输、存储、分析等处理以预防电气火灾。
[0003]在实现本公开构思的过程中发现，由于边缘端电气回路监测点位数量庞大，导致监测采集的数据量也非常庞大，若直接将这些数据实时入库，在数据传输入库的过程中，数据库无法及时响应数量庞大的数据逐条插入，存在并发性能瓶颈。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种电气监测数据处理方法、装置、设备、介质和程序产品。
[0005]本公开的一个方面，提供了一种电气监测数据处理方法，包括：
[0006]在从消息队列中读取到多个第一电气监测数据的情况下，调用数据减量服务对多个第一电气监测数据进行减量处理后得到多个第二电气监测数据；
[0007]调用数据打包服务将多个第二电气监测数据作为增量数据添加至第一数据包中后得到第二数据包；
[0008]在第二数据包的数据量大于第一预设数量阈值的情况下，调用批量数据入库服务将第二数据包中的数据批量写入数据库中。
[0009]根据本公开的实施例，其中，对多个第一电气监测数据进行减量处理后得到多个第二电气监测数据包括：
[0010]对多个第一电气监测数据进行分组处理后得到至少一个数组，其中同一数组中的多个第一电气监测数据属于同一个电气数据类型；
[0011]对数组中的多个第一电气监测数据进行去同质化处理后得到多个第二电气监测数据。
[0012]根据本公开的实施例，其中，对数组中的多个第一电气监测数据进行去同质化处理后得到多个第二电气监测数据包括：
[0013]计算数组中的多个第一电气监测数据的平均值，得到目标均值；
[0014]分别计算数组中的多个第一电气监测数据与目标均值的差值；
[0015]根据多个第一电气监测数据与目标均值的差值，确定多个第一电气监测数据中的目标同质数据，其中目标同质数据为：多个第一电气监测数据中，与目标均值的差值小于预设差值阈值的第一电气监测数据；
[0016]将多个第一电气监测数据中的目标同质数据删除后得到多个第二电气监测数据。
[0017]根据本公开的实施例，其中，对多个第一电气监测数据进行分组处理后得到至少一个数组包括：
[0018]按照电气数据类型的不同，对多个第一电气监测数据进行分组处理后得到电压数组、电流数组、温度数组。
[0019]根据本公开的实施例，其中，调用批量数据入库服务将第二数据包中的数据批量写入数据库中包括：
[0020]将第二数据包中的同一种数据类型的数据组装至同一个目标数据库操作语句中；
[0021]利用目标数据库操作语句执行批量数据写入操作。
[0022]根据本公开的实施例，上述方法还包括：
[0023]在从消息队列中未读取到第一电气监测数据的情况下，调用批量数据入库服务将第一数据包中的数据批量写入数据库中。
[0024]根据本公开的实施例，其中，从消息队列中读取多个第一电气监测数据包括：
[0025]在消息队列中的数据量大于等于第二预设数量阈值的情况下，从消息队列中读取预设数量的数据作为多个第一电气监测数据，其中预设数量等于第二预设数量阈值；
[0026]在消息队列中的数据量小于第二预设数量阈值的情况下，从消息队列中读取全部数据作为多个第一电气监测数据。
[0027]本公开的另一个方面提供了一种电气监测数据处理装置，包括减量模块、打包模块、第一批量入库模块。
[0028]其中，减量模块，用于在从消息队列中读取到多个第一电气监测数据的情况下，调用数据减量服务对多个第一电气监测数据进行减量处理后得到多个第二电气监测数据；
[0029]打包模块，用于调用数据打包服务将多个第二电气监测数据作为增量数据添加至第一数据包中后得到第二数据包；
[0030]第一批量入库模块，用于在第二数据包的数据量大于第一预设数量阈值的情况下，调用批量数据入库服务将第二数据包中的数据批量写入数据库中。
[0031]根据本公开的实施例，其中，减量模块包括分组单元、去同质化单元。
[0032]其中，分组单元，用于对多个第一电气监测数据进行分组处理后得到至少一个数组，其中同一数组中的多个第一电气监测数据属于同一个电气数据类型；去同质化单元，用于对数组中的多个第一电气监测数据进行去同质化处理后得到多个第二电气监测数据。
[0033]根据本公开的实施例，其中，去同质化单元包括第一计算子单元、第二计算子单元、确定子单元、删除子单元。
[0034]其中，第一计算子单元，用于计算数组中的多个第一电气监测数据的平均值，得到目标均值；第二计算子单元，用于分别计算数组中的多个第一电气监测数据与目标均值的差值；确定子单元，用于根据多个第一电气监测数据与目标均值的差值，确定多个第一电气监测数据中的目标同质数据，其中目标同质数据为：多个第一电气监测数据中，与目标均值的差值小于预设差值阈值的第一电气监测数据；删除子单元，用于将多个第一电气监测数据中的目标同质数据删除后得到多个第二电气监测数据。
[0035]根据本公开的实施例，其中，分组单元对包括分组子单元，用于按照电气数据类型的不同，对多个第一电气监测数据进行分组处理后得到电压数组、电流数组、温度数组。
[0036]根据本公开的实施例，其中，第一批量入库模块包括组装单元、批量入库单元。
[0037]其中，组装单元，用于将第二数据包中的同一种数据类型的数据组装至同一个目标数据库操作语句中；批量入库单元，用于利用目标数据库操作语句执行批量数据写入操作。
[0038]根据本公开的实施例，上述装置还包括第二批量入库模块，用于在从消息队列中未读取到第一电气监测数据的情况下，调用批量数据入库服务将第一数据包中的数据批量写入数据库中。
[0039]根据本公开的实施例，上述装置还包括读取模块，用于从消息队列中读取多个第一电气监测数据，其中读取模块包括第一读取单元、第二读取单元。
[0040]其中，第一渎取单元，用于在消息队列中的数据量大于等于第二预设数量阈值的情况下，从消息队列中读取预设数量的数据作为多个第一电气监测数据，其中预设数量等于第二预设数量阈值；第二读取单元，用于在消息队列中的数据量小于第二预设数量阈值的情况下，从消息队列中读取全部数据作为多个第一电气监测数据。
[0041]本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述电气监测数据处理方法。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电气监测数据处理方法，包括：在从消息队列中读取到多个第一电气监测数据的情况下，调用数据减量服务对所述多个第一电气监测数据进行减量处理后得到多个第二电气监测数据；调用数据打包服务将所述多个第二电气监测数据作为增量数据添加至第一数据包中后得到第二数据包；在所述第二数据包的数据量大于第一预设数量阈值的情况下，调用批量数据入库服务将所述第二数据包中的数据批量写入数据库中。2.根据权利要求1所述的方法，其中，对所述多个第一电气监测数据进行减量处理后得到多个第二电气监测数据包括：对所述多个第一电气监测数据进行分组处理后得到至少一个数组，其中同一数组中的多个第一电气监测数据属于同一个电气数据类型；对所述数组中的多个第一电气监测数据进行去同质化处理后得到所述多个第二电气监测数据。3.根据权利要求2所述的方法，其中，对所述数组中的多个第一电气监测数据进行去同质化处理后得到所述多个第二电气监测数据包括：计算所述数组中的多个第一电气监测数据的平均值，得到目标均值；分别计算所述数组中的多个第一电气监测数据与所述目标均值的差值；根据所述多个第一电气监测数据与所述目标均值的差值，确定所述多个第一电气监测数据中的目标同质数据，其中所述目标同质数据为：所述多个第一电气监测数据中，与所述目标均值的差值小于预设差值阈值的第一电气监测数据；将所述多个第一电气监测数据中的所述目标同质数据删除后得到所述多个第二电气监测数据。4.根据权利要求2所述的方法，其中，对所述多个第一电气监测数据进行分组处理后得到至少一个数组包括：按照电气数据类型的不同，对所述多个第一电气监测数据进行分组处理后得到电压数组、电流数组、温度数组。5.根据权利要求1所述的方法，其中，调用批量数据入库服务将所述第二数据包中的数据批量写入数据库中包括：将所述第二数据包中的同一...

【专利技术属性】
技术研发人员：韩亚辉，方赤，吴宇光，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：