一种用电数据信息的多维度数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种用电数据信息的多维度数据处理方法和装置，所述方法采用统一采集与点对点采集相结合的方式，引入采集优先级，提高数据采集效率；采集用户用电数据信息，按照用电数据信息的不同属性进行分类，根据属性类别划分为不同级别，按照分类、级别对用电数据进行存储，同时根据不同属性计算健值对，将健值对保存在索引文件中，读取数据时，解析健值对，快速定位到用电数据。本申请统一采集与点对点采集相结合，提高了数据采集效率；根据数据属性进行计算得到的键值对，使数据存取方便快捷，提高了数据处理效率。

A multi dimensional data processing method and device for power consumption data information

【技术实现步骤摘要】
一种用电数据信息的多维度数据处理方法和装置
本专利技术涉及用电数据处理
，尤其是涉及一种用电数据信息的多维度数据处理方法和装置。
技术介绍
生活离不开水和电，对于用电信息的采集与处理，目前大多采用用户用电信息采集系统进行，对电力用户的用电信息进行采集、处理和实时监控的系统，实现用电信息的自动采集、计量异常监测、电能质量监测、用电分析和管理、相关信息发布、分布式能源监控、智能用电设备的信息交互等功能。系统中的用电信息采集终端（electricenergydataacquireterminal）是对各信息采集点用电信息采集的设备，简称采集终端，作为电力物联系统中的边缘感知设备，是整个用电侧数据采集与交互的重要枢纽，采用单一采用方式，实现电能表数据的采集、数据管理、数据双向传输以及转发或执行控制命令的设备。但由于电能表等海量设备的接入需求和采集数据的种类增多，用电信息采集终端也面临更大的数据处理压力，导致采集终端数据传输速度慢，准确率低，数据帧丢失等现象，造成数据采集和传输方式相对低效。因此，提高用电信息的处理效率及准确率，是目前亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种用电数据信息的多维度数据处理方法和装置，采用统一采集与点对点采集相结合的方式，引入采集优先级，提高数据采集效率；对用电数据进行多向分类，形成数据库，引入索引文件，为数据库制定索引目录，实现数据的分类管理、快速定位。第一方面，本专利技术的上述专利技术目的通过以下技术方案得以实现：一种用电数据信息的多维度数据处理方法，采集用户用电数据信息，按照用电数据信息的不同属性进行分类，根据属性类别划分为不同级别，按照分类、级别对用电数据进行存储，同时根据不同属性计算健值对，将健值对保存在索引文件中，读取数据时，解析健值对，快速定位到用电数据。本专利技术进一步设置为：根据用电数据类型进行采集方式分级，实时数据采用高优先级采集方式，历史数据采用低优先级采集方式。本专利技术进一步设置为：实时数据采集包括以下步骤：S1、开始；S2、i=1；S3、采集第i个电表数据并存储；S4、判断采集数据是否正确，若是，进入下一步，若否，转S7；S5、i=i+1；S6、判断i是否大于设定值N，若是，转S8，若否，转S3；S7、记录采集点与错误数据项记录在失败数据集中，转S5；S8、从失败数据集中获取失败采集点数量M；S9、j=1；S10、读取失败数据集中的第j个采集点及错误数据项；S11、重新采集第j个采集点及错误数据项对应的数据；S12、j=j+1；S13、判断j是否大于设定值M，若是，进入下一步，若否，转S10；S14、结束。本专利技术进一步设置为：历史数据采集包括以下步骤：A1、开始；A2、k=1；A3、采集第k个电表数据并存储；A4、判断采集数据是否正确，若是，进入下一步，若否，转A7；A5、k=k+1；A6、判断k是否大于设定值Q，若是，转A8，若否，转A3；A7、记录采集点与错误数据项记录在失败数据集中，转A5；A8、判断程序是否空闲，若是，进入下一步，若否，继续等待；A9、从失败数据集中获取失败采集点数量W；A10、p=1；A11、读取失败数据集中的第p个采集点及错误数据项；A12、重新采集第p个采集点及错误数据项对应的数据；A13、p=p+1；A14、判断p是否大于设定值W，若是，进入下一步，若否，转A11；A15、结束。本专利技术进一步设置为：采集数据时，对每个数据按照一定时间间隔进行设定次数的采集。本专利技术进一步设置为：以数据的第一属性作为目录，第二属性作为文件名创建文件，以键值对作为数据头进行数据存储；或将键值对分为两部分，以键值对第一部分作为数据头进行数据存储，以键值对建立索引表。本专利技术进一步设置为：用电数据信息属性包括测量点号、保存时间标识、数据类型标识；根据用电数据信息属性计算关键字索引，以关键字索引和数据所在行号构成所述数据的键值对。本专利技术进一步设置为：读取数据时，根据数据属性，生成数据关键字索引，根据数据关键字索引在索引表中查找到数据键值对，根据数据键值对中的行号，直接读取对应行数据。本专利技术进一步设置为：读取后，将数据头的键值对与索引表中的键值对进行比对，验证数据。本专利技术进一步设置为：还包括数据传输，在数据报文传输时，增加校验位和传输控制字符，保证数据传输正确。第二方面，本专利技术的上述专利技术目的通过以下技术方案得以实现：一种用电数据信息的多维度数据处理装置，包括存储器和控制器，存储器存储有能够被控制器加载并执行的如权利要求1至10任意一项所述方法的计算机程序。与现有技术相比，本专利技术的有益技术效果为：1.本申请通过采用数据统一采集和点对点采集相结合的方式，引入采集优先级，先对台区内数据进行批量采集，对未采集成功的测量点数据进行点对点补采集，避免补充采集时可能重复采集已有数据，提高数据采集效率；2.进一步地，本申请对采集到的数据进行多向分类，通过类别判断存储的唯一数据空间，形成数据库，实现数据存储的安全与快速定位；3.进一步地，本申请通过引入索引文件，为数据库制定索引目录，实现数据的分类管理，减少遍历时间，提高处理效率。附图说明图1是本专利技术的一个具体实施例的数据采集方式结构示意图；图2是本专利技术的又一个具体实施例的数据采集方式结构示意图。具体实施方式以下结合附图对本专利技术作进一步详细说明。具体实施例一本专利技术的一种用电数据信息的多维度数据处理方法，包括对用电数据的采集与存取。根据统一采集命令，对台区内的用电信息采集批量采集，在采集过程中监测用电数据采集是否成功，对未成功采集的用电数据进行记录，在台区内用电表全部采集完成后，根据未成功采集数据记录，进行点对点采集。具体地，对用电数据进行分级，对优先级别高的用电数据，在批量采集完成后，即开始对未成功采集数据的点对点采集，如图1所示；对优先级别低的用电数据，在批量采集完成后，监测程序空闲时，再对未成功采集数据的点对点采集，如图2所示。在本申请的一个具体实施例中，定义实时数据为高优先级别，历史数据为低优先级别。实时数据采集包括以下步骤：S1、开始；S2、i=1；S3、采集第i个电表数据并存储；S4、判断采集数据是否正确，若是，进入下一步，若否，转S7；S5、i=i+1；S6、判断i是否大于设定值N，若是，转S8，若否，转S3；S7、记录采集点与错误数据项记录在失败数据集中，转S5；S8、从失败数据集中获取失败采集点数量M；S9、j=1；S10、读取失败数据集中的第j个采集点及错误数据项；S11、重新采本文档来自技高网...

【技术保护点】
1.一种用电数据信息的多维度数据处理方法，其特征在于：采集用户用电数据信息，按照用电数据信息的不同属性进行分类，根据属性类别划分为不同级别，按照分类、级别对用电数据进行存储，同时根据不同属性计算健值对，将健值对保存在索引文件中，读取数据时，解析健值对，快速定位到用电数据。/n

【技术特征摘要】
1.一种用电数据信息的多维度数据处理方法，其特征在于：采集用户用电数据信息，按照用电数据信息的不同属性进行分类，根据属性类别划分为不同级别，按照分类、级别对用电数据进行存储，同时根据不同属性计算健值对，将健值对保存在索引文件中，读取数据时，解析健值对，快速定位到用电数据。


2.根据权利要求1所述多维度数据处理方法，其特征在于：根据用电数据类型进行采集方式分级，实时数据采用高优先级采集方式，历史数据采用低优先级采集方式。


3.根据权利要求2所述多维度数据处理方法，其特征在于：实时数据采集包括以下步骤：
S1、开始；
S2、i=1；
S3、采集第i个电表数据并存储；
S4、判断采集数据是否正确，若是，进入下一步，若否，转S7；
S5、i=i+1；
S6、判断i是否大于设定值N，若是，转S8，若否，转S3；
S7、记录采集点与错误数据项记录在失败数据集中，转S5；
S8、从失败数据集中获取失败采集点数量M；
S9、j=1；
S10、读取失败数据集中的第j个采集点及错误数据项；
S11、重新采集第j个采集点及错误数据项对应的数据；
S12、j=j+1；
S13、判断j是否大于设定值M，若是，进入下一步，若否，转S10；
S14、结束。


4.根据权利要求2所述多维度数据处理方法，其特征在于：历史数据采集包括以下步骤：
A1、开始；
A2、k=1；
A3、采集第k个电表数据并存储；
A4、判断采集数据是否正确，若是，进入下一步，若否，转A7；
A5、k=k+1；
A6、判断k是否大于设定值Q，若是，转A8，若否，转A3；
A7、记录采集点与错误数据项...

【专利技术属性】
技术研发人员：唐芳苹，丁成，
申请(专利权)人：深圳市航天泰瑞捷电子有限公司，
类型：发明
国别省市：广东;44