基于弹性表模型的大规模多源异构数据持久化方法技术

本发明专利技术提供一种大规模多源异构数据的存储方法及装置，所述方法包括：基于内存中的待存储数据对象构建弹性表模型；遍历所述弹性表模型的每个刻面，在每个刻面对应的文件夹下创建数据文件，将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象；遍历所有目标数据对象中的每个目标数据对象，将每个目标数据对象的所有属性进行排序，并存储于所述数据文件中。本发明专利技术提供的大规模多源异构数据的存储方法及装置，以构建出的弹性表模型进行数据的存储和查询，适用于大规模多源异构数据的弹性表模型持久化。 1

Large scale multi-source heterogeneous data persistence method based on resilient table model

The invention provides a storage method and device for large-scale multisource heterogeneous data. The method includes: building an elastic table model based on the stored data object in memory; traversing each face of the elastic table model, creating data text under each folder corresponding to each facet, and all the corresponding faces to be stored Each stored data object in the storage object is used as a target data object, traverses each target data object in all target data objects, and sorts all the attributes of each target data object, and stores it in the data file. The storage method and device of the large-scale heterogeneous data provided by the invention are used to store and query the data with the constructed elastic table model, which is suitable for the persistence of the elastic table model of large-scale heterogeneous data. One

【技术实现步骤摘要】
基于弹性表模型的大规模多源异构数据持久化方法
本专利技术涉及计算机数据管理
，尤其涉及一种基于弹性表模型的大规模多源异构数据持久化方法。
技术介绍
随着大数据应用的普及，人们需要管理数据的种类和数量在不断增长，这些数据不仅包括传统的结构化数据，还包括文本、图像、视频等非结构化数据，以及基于这些数据提取和挖掘的二次加工数据等。此外，数据的来源也变得更加多样，例如对于一个设备工作状况的描述信息既包括设备上的传感器采集到的时序数据，还包括用户录入系统的巡查、检修等数据。这些多源异构数据的使用对现有的数据管理系统提出了巨大挑战，其中主要的问题就在于，现有的以关系模型为主的数据管理系统无法应对这些多源异构数据的两大特性：(1)同一对象的具有多种异构数据，且在不断演化；(2)一个对象的一种数据的属性值在不断演化。现有技术中，没有针对大规模多源异构数据持久化方法，故而现在亟须提供一种针对大规模多源异构数据持久化方法。
技术实现思路
(一)要解决的技术问题本专利技术的目的是提供一种基于弹性表模型的大规模多源异构数据持久化方法，解决了现有技术中没有针对大规模多源异构数据持久化方法的技术问题。(二)技术方案为了解决上述技术问题，一方面，本专利技术提供一种基于弹性表模型的大规模多源异构数据持久化方法，包括：基于内存中的待存储数据对象构建弹性表模型，所述弹性表模型包含多个刻面，所述多个刻面包括多个数据刻面和一个辅助刻面，并为每个刻面构建一个对应的文件夹，每个数据刻面表示一类多源异构数据，所述辅助刻面对应的文件夹下保存有每个待存储数据对象包含的数据刻面名，每个待存储数据对象对应至少一个数据刻面；遍历所述弹性表模型的每个刻面，在每个刻面对应的文件夹下创建数据文件，将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象；遍历所有目标数据对象中的每个目标数据对象，将每个目标数据对象的所有属性进行排序，并存储于所述数据文件中。进一步地，所述并存储于所述数据文件中之后，还包括：清空所述内存中的所有待存储数据对象；当内存中产生新的待存储数据对象时，更新所述弹性表模型，并存储所述新的待存储数据对象。进一步地，所述并存储于所述数据文件中之后，还包括：创建每个数据文件的索引文件，所述索引文件用于存储每个待存储数据对象在对应的数据文件中的起始位置。进一步地，所述创建每个数据文件的索引文件之后，还包括：遍历所述弹性表模型中的所述辅助刻面对应的文件夹下的每个数据文件，检查所述辅助刻面对应的文件夹下是否包含与每个数据文件对应的索引文件；若判断获知所述辅助刻面对应的文件夹下包含与每个数据文件对应的索引文件，则根据每个数据文件对应的索引文件，查找待查找数据对象在每个数据文件中的起始位置；若判断获知所述辅助刻面对应的文件夹下不包含与每个数据文件对应的索引文件，则直接查找所述待查找数据对象在每个数据文件中的起始位置；根据所述待查找数据对象在每个数据文件中的起始位置，读取所述待查找数据对象的全部数据。进一步地，所述创建每个数据文件的索引文件之后，还包括：遍历所述弹性表模型中的每个数据刻面对应的文件夹下的每个数据文件，检查每个数据刻面对应的文件夹下是否包含与每个数据文件对应的索引文件；若判断获知每个数据刻面对应的文件夹下包含与每个数据文件对应的索引文件，则根据每个数据文件对应的索引文件，查找待查找数据对象在每个数据文件中的起始位置；若判断获知每个数据刻面对应的文件夹下不包含与每个数据文件对应的索引文件，则直接查找所述待查找数据对象在每个数据文件中的起始位置；从所述待查找数据对象在每个数据文件中的起始位置开始，读取所述待查找数据对象的属性。另一方面，本专利技术提供一种基于弹性表模型的大规模多源异构数据持久化装置，其特征在于，包括：构建模块，用于基于内存中的待存储数据对象构建弹性表模型，所述弹性表模型包含多个刻面，所述多个刻面包括多个数据刻面和一个辅助刻面，并为每个刻面构建一个对应的文件夹，每个数据刻面表示一类多源异构数据，所述辅助刻面对应的文件夹下保存有每个待存储数据对象包含的数据刻面名，每个待存储数据对象对应至少一个数据刻面；存储模块，用于遍历所述弹性表模型的每个刻面，在每个刻面对应的文件夹下创建数据文件，将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象；遍历所有目标数据对象中的每个目标数据对象，将每个目标数据对象的所有属性进行排序，并存储于所述数据文件中。再一方面，本专利技术提供一种用于存储大规模多源异构数据的电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。又一方面，本专利技术提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。又一方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。(三)有益效果本专利技术提供的大规模多源异构数据的存储方法及装置，以构建出的弹性表模型进行数据的存储和查询，适用于大规模多源异构数据的弹性表模型持久化。附图说明图1为依照本专利技术实施例的大规模多源异构数据的存储方法示意图；图2为依照本专利技术实施例的弹性表模型的刻面在磁盘上的组织方式示意图；图3为依照本专利技术实施例的大规模多源异构数据的存储装置示意图；图4为本专利技术实施例提供的用于大规模多源异构数据持久化的电子设备的结构示意图。具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1：图1为依照本专利技术实施例的，如图1所示，本专利技术实施例提供一种基于弹性表模型的大规模多源异构数据持久化方法，包括：步骤S10、基于内存中的待存储数据对象构建弹性表模型，所述弹性表模型包含多个刻面，所述多个刻面包括多个数据刻面和一个辅助刻面，并为每个刻面构建一个对应的文件夹，每个数据刻面表示一类多源异构数据，所述辅助刻面对应的文件夹下保存有每个待存储数据对象包含的数据刻面名，每个待存储数据对象对应至少一个数据刻面；步骤S20、根据所述弹性表模型将待存储数据对象存储到磁盘中，具体按照如下步骤存储：遍历所述弹性表模型的每个刻面，在每个刻面对应的文件夹下创建数据文件，将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象；遍历所有目标数据对象中的每个目标数据对象，将每个目标数据对象的所有属性进行排序，并存储于所述数据文件中。进一步地，所述并存储于所述数据文件中之后，还包括：清空所述内存中的所有待存储数据对象；当内存中产生新的待存储数据对象时，更新所述弹性表模型，并存储所述新的待存储数据对象。进一步地，所述并存储于所述数据文件中之后，还包括：创建每个数据文件的索引文件，所述索引文件用于存储每个待存储数据对象本文档来自技高网...

【技术保护点】
1.一种基于弹性表模型的大规模多源异构数据持久化方法，其特征在于，包括：

【技术特征摘要】
1.一种基于弹性表模型的大规模多源异构数据持久化方法，其特征在于，包括：基于内存中的待存储数据对象构建弹性表模型，所述弹性表模型包含多个刻面，所述多个刻面包括多个数据刻面和一个辅助刻面，并为每个刻面构建一个对应的文件夹，每个数据刻面表示一类多源异构数据，所述辅助刻面对应的文件夹下保存有每个待存储数据对象包含的数据刻面名，每个待存储数据对象对应至少一个数据刻面；遍历所述弹性表模型的每个刻面，在每个刻面对应的文件夹下创建数据文件，将每个刻面对应的所有待存储数据对象中的每一待存储数据对象作为一个目标数据对象；遍历所有目标数据对象中的每个目标数据对象，将每个目标数据对象的所有属性进行排序，并存储于所述数据文件中。2.根据权利要求1所述的方法，其特征在于，所述并存储于所述数据文件中之后，还包括：清空所述内存中的所有待存储数据对象；当内存中产生新的待存储数据对象时，更新所述弹性表模型，并存储所述新的待存储数据对象。3.根据权利要求1所述的方法，其特征在于，所述并存储于所述数据文件中之后，还包括：创建每个数据文件的索引文件，所述索引文件用于存储每个待存储数据对象在对应的数据文件中的起始位置。4.根据权利要求3所述的方法，其特征在于，所述创建每个数据文件的索引文件之后，还包括：遍历所述弹性表模型中的所述辅助刻面对应的文件夹下的每个数据文件，检查所述辅助刻面对应的文件夹下是否包含与每个数据文件对应的索引文件；若判断获知所述辅助刻面对应的文件夹下包含与每个数据文件对应的索引文件，则根据每个数据文件对应的索引文件，查找待查找数据对象在每个数据文件中的起始位置；若判断获知所述辅助刻面对应的文件夹下不包含与每个数据文件对应的索引文件，则直接查找所述待查找数据对象在每个数据文件中的起始位置；根据所述待查找数据对象在每个数据文件中的起始位置，读取所述待查找数据对象的全部数据。5.根...

【专利技术属性】
技术研发人员：王建民，黄向东，龙明盛，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11