数据处理方法、数据处理装置和电子设备制造方法及图纸

本申请提供的数据处理方法、数据处理装置和电子设备，涉及异构化数据存储技术领域。其中，数据处理方法包括：获取待处理的异构化数据的属性信息，其中，所述异构化数据由多组数据构成；根据所述属性信息进行等级划分处理得到多个数据等级，其中，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储。通过上述方法，可以改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题。

Data Processing Method, Data Processing Device and Electronic Equipment

The data processing method, data processing device and electronic equipment provided in this application relate to the technical field of heterogeneous data storage. Among them, the data processing method includes: acquiring attribute information of the heterogeneous data to be processed, in which the heterogeneous data is composed of multiple groups of data; dividing and processing according to the attribute information to obtain multiple data levels, in which the corresponding data amount of each data level is different; generating a corresponding mapping relationship for each data level, and subordinating it to Each group of data at the same data level is stored based on the mapping relationship corresponding to the data level. By using the above method, the problem of waste of storage resources or unfavorable search after storage of heterogeneous data in the prior art can be improved.

【技术实现步骤摘要】
数据处理方法、数据处理装置和电子设备
本申请涉及异构化数据存储
，具体而言，涉及一种数据处理方法、数据处理装置和电子设备。
技术介绍
在工业IoT物联网环境中，散布在各个区域的IoT设备通常是属于某个具体的租户，而属于每个租户的IoT设备则可能会成千上万。并且，不同设备之间工况参数(如设备机械、电气和GPS位置属性等)的个数变化较大，从几个到几百个都有。作为最终用户登陆入口的SaaS系统，需要有效地管理这些多租户环境下的多设备，应用大数据OLAP技术去多维度、多参数地监控、统计和展示这些异构化数据。在面对上述应用需求时，现有技术中存在两种技术方案。例如，一种方案为：如果使用常见的关系数据库系统的话，一个IoT设备类型就创建一张数据库表(Table)。因此，在每个租户会有多种设备类型的基础上，每个租户名下就会有多张数据库表。按照这样的设计，每新增一种设备类型都需要创建一张新的数据库表，这样做的一个明显的后果就是如果按以租户、设备类型等为维度的进行查询，则演变为对多个表的关联操作，势必极大影响系统性能。或者，如果对这些设备类型表进行归纳，用一张大表或者少数几张表去映射这些设备，则这些表本质上就是这些设备属性的合集，这样一来，不少行的某些列的数值肯定是空，但数据库系统不得不为之占位，进而造成空间上的浪费。另外众所周知的是，一张表中如果有太多的数据条数会影响系统数据处理的性能。另一种方案为：用面向列存储的NoSQL系统，如MongoDB，去存这些异构化数据。由于是面向列存储系统设计，这些系统先天就具有schema-free优势，比较适合存贮字段变长或不固定的数据。但是放在本方案的实际环境中，这种方案就会存在存储后不利于查找的问题。因此，提供一种既可以避免存储资源浪费，又可以在存储后有效地进行数据查找的技术方案，是亟待解决的技术问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据处理方法、数据处理装置和电子设备，以改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题。为实现上述目的，本申请实施例采用如下技术方案：一种数据处理方法，包括：获取待处理的异构化数据的属性信息，其中，所述异构化数据由多组数据构成；根据所述属性信息进行等级划分处理得到多个数据等级，其中，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储。在本申请实施例较佳的选择中，在上述数据处理方法中，所述获取待处理的异构化数据的属性信息的步骤，具体为：针对待处理的异构化数据中的每一组数据，获取该组数据中各子数据具有的数据类型和每一种数据类型对应的子数据的数量，其中，每一组数据包括多个子数据。在本申请实施例较佳的选择中，在上述数据处理方法中，所述数据类型包括字符串型、浮点型、长整型、日期型和布尔型中的至少一种。在本申请实施例较佳的选择中，在上述数据处理方法中，所述获取待处理的异构化数据的属性信息的步骤，包括：在待处理的异构化数据中选择部分数据作为样本数据；获取所述样本数据的属性信息。在本申请实施例较佳的选择中，在上述数据处理方法中，所述根据所述属性信息进行等级划分处理得到多个数据等级的步骤，包括：获取数据等级的预设数量；根据所述属性信息和所述预设数量进行划分处理得到预设数量个数据等级。本申请实施例还提供了一种数据处理装置，包括：属性信息获取模块，用于获取待处理的异构化数据的属性信息，其中，所述异构化数据由多组数据构成；数据等级划分模块，用于根据所述属性信息进行等级划分处理得到多个数据等级，其中，各数据等级对应的数据量大小不同；数据存储模块，用于对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储。在本申请实施例较佳的选择中，在上述数据处理装置中，所述属性信息获取模块具体用于：针对待处理的异构化数据中的每一组数据，获取该组数据中各子数据具有的数据类型和每一种数据类型对应的子数据的数量，其中，每一组数据包括多个子数据。在本申请实施例较佳的选择中，在上述数据处理装置中，所述属性信息获取模块包括：样本数据选择子模块，用于在待处理的异构化数据中选择部分数据作为样本数据；属性信息获取子模块，用于获取所述样本数据的属性信息。在本申请实施例较佳的选择中，在上述数据处理装置中，所述数据等级划分模块包括：预设数量获取子模块，用于获取数据等级的预设数量；数据等级划分子模块，用于根据所述属性信息和所述预设数量进行划分处理得到预设数量个数据等级。在上述基础上，本申请实施例还提供了一种电子设备，包括存储器、处理器以及存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序运行时实现上述数据处理方法。本申请提供的数据处理方法、数据处理装置和电子设备，通过基于异构化数据的属性信息得到对应数据量大小不同的多个数据等级，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储，从而实现具有不同数据量的各组数据之间的分别存储，在保证存储后能够有效进行查找的基础上，还能避免存储资源浪费的问题，从而改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题，对于异构化数据的存储具有极高的实用价值。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明图1为本申请实施例提供的电子设备的方框示意图。图2为本申请实施例提供的数据处理方法的流程示意图。图3为图2中步骤S110的流程示意图。图4为图2中步骤S130的流程示意图。图5为本申请实施例提供的数据处理装置包括的功能模块的方框示意图。图6为图5中属性信息获取模块包括的子功能模块的方框示意图。图7为图5中数据等级划分模块包括的子功能模块的方框示意图。图标：10-电子设备；12-存储器；14-处理器；100-数据处理装置；110-属性信息获取模块；111-样本数据选择子模块；113-属性信息获取子模块；130-数据等级划分模块；131-预设数量获取子模块；133-数据等级划分子模块；150-数据存储模块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。如图1所示，本申请实施例提供了一种电子设备10，可以包括存储器12、处理器14和存储于该存储器12并能够在该处理器14上本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取待处理的异构化数据的属性信息，其中，所述异构化数据由多组数据构成；根据所述属性信息进行等级划分处理得到多个数据等级，其中，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理的异构化数据的属性信息，其中，所述异构化数据由多组数据构成；根据所述属性信息进行等级划分处理得到多个数据等级，其中，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取待处理的异构化数据的属性信息的步骤，具体为：针对待处理的异构化数据中的每一组数据，获取该组数据中各子数据具有的数据类型和每一种数据类型对应的子数据的数量，其中，每一组数据包括多个子数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据类型包括字符串型、浮点型、长整型、日期型和布尔型中的至少一种。4.根据权利要求1-3任意一项所述的数据处理方法，其特征在于，所述获取待处理的异构化数据的属性信息的步骤，包括：在待处理的异构化数据中选择部分数据作为样本数据；获取所述样本数据的属性信息。5.根据权利要求1-3任意一项所述的数据处理方法，其特征在于，所述根据所述属性信息进行等级划分处理得到多个数据等级的步骤，包括：获取数据等级的预设数量；根据所述属性信息和所述预设数量进行划分处理得到预设数量个数据等级。6.一种数据处理装置，其特征在于，包括：属性信息获取...

【专利技术属性】
技术研发人员：陈英豪，刘震，杨鑫，焦若彤，唐洪斌，
申请(专利权)人：北京树根互联科技有限公司，树根互联技术有限公司，广州树根互联技术有限公司，江苏树根互联技术有限公司，上海树根互联技术有限公司，长沙树根互联技术有限公司，
类型：发明
国别省市：北京,11