数据处理方法、数据处理装置和电子设备制造方法及图纸

本申请提供的数据处理方法、数据处理装置和电子设备，涉及异构化数据存储技术领域。其中，数据处理方法包括：根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级，其中，所述异构化数据由多组数据构成，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储；判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调整。通过上述方法，可以改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题。

Data Processing Method, Data Processing Device and Electronic Equipment

The data processing method, data processing device and electronic equipment provided in this application relate to the technical field of heterogeneous data storage. Among them, the data processing method includes: according to the attribute information of the heterogeneous data to be processed, the hierarchical data is divided into several data levels, in which the heterogeneous data is composed of multiple groups of data, and the corresponding data volume of each data level is different; a mapping relationship is generated for each of the data levels, and each group of data belonging to the same data level is generated. Based on the mapping relationship corresponding to the data level, the storage is carried out; the existence of the data level that needs to be adjusted is judged, and the mapping relationship corresponding to the data level that needs to be adjusted is adjusted. By using the above method, the problem of waste of storage resources or unfavorable search after storage of heterogeneous data in the prior art can be improved.

【技术实现步骤摘要】
数据处理方法、数据处理装置和电子设备
本申请涉及异构化数据处理存储
，具体而言，涉及一种数据处理方法、数据处理装置和电子设备。
技术介绍
在工业IoT物联网环境中，散布在各个区域的IoT设备通常是属于某个具体的租户，而属于每个租户的IoT设备则可能会成千上万。并且，不同设备之间工况参数(如设备机械、电气和GPS位置属性等)的个数变化较大，从几个到几百个都有。作为最终用户登陆入口的SaaS系统，需要有效地管理这些多租户环境下的多设备，应用大数据OLAP技术去多维度、多参数地监控、统计和展示这些异构化数据。在面对上述应用需求时，现有技术中存在两种技术方案。例如，一种方案为：如果使用常见的关系数据库系统的话，一个IoT设备类型就创建一张数据库表(Table)。因此，在每个租户会有多种设备类型的基础上，每个租户名下就会有多张数据库表。按照这样的设计，每新增一种设备类型都需要创建一张新的数据库表，这样做的一个明显的后果就是如果按以租户、设备类型等为维度的进行查询，则演变为对多个表的关联操作，势必极大影响系统性能。或者，如果对这些设备类型表进行归纳，用一张大表或者少数几张表去映射这些设备，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级，其中，所述异构化数据由多组数据构成，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储；判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调整。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级，其中，所述异构化数据由多组数据构成，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储；判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调整。2.根据权利要求1所述的数据处理方法，其特征在于，所述判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调的步骤，包括：判断是否存在需要进行调整的数据等级；若存在需要进行调整的数据等级，则判断是否需要重新进行等级划分处理；若需要重新进行等级划分处理，则根据重新划分得到的数据等级生成对应的映射关系。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据重新划分得到的数据等级生成对应的映射关系的步骤，具体为：根据重新划分得到的数据等级和一致性哈希算法生成对应的映射关系。4.根据权利要求1-3任意一项所述的数据处理方法，其特征在于，所述根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级的步骤，包括：针对待处理的异构化数据中的每一组数据，获取该组数据中各子数据具有的数据类型和每一种数据类型对应的子数据的数量，其中，每一组数据包括多个子数据；根据所述数据类型和每一种数据类型对应的子数据的数量进行等级划分处理得到多个数据等级。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述数据类型和每一种数据类型对应的子数据的数量进行等级划分处理得到多个数据等级的步骤，具体为：根据所述数据类型、每一种数据类型对应的子数据的数量和一预设数量进行...

【专利技术属性】
技术研发人员：唐洪斌，刘震，杨鑫，张春海，
申请(专利权)人：北京树根互联科技有限公司，树根互联技术有限公司，广州树根互联技术有限公司，江苏树根互联技术有限公司，上海树根互联技术有限公司，长沙树根互联技术有限公司，
类型：发明
国别省市：北京,11