实时数据的动态存储方法、装置、设备及存储介质制造方法及图纸

本公开提供一种实时数据的动态存储方法、装置、设备及存储介质，可以应用于数据存储技术领域。该方法包括：将第一实时数据存入第一类动态缓冲区，将第二实时数据存入第二类动态缓冲区；分别对第一实时数据和第二实时数据进行数据标准化处理，得到第一目标实时数据和第二目标实时数据；将第一目标实时数据和第二目标实时数据存入统一异构数据对象中，并为第一目标实时数据和第二目标实时数据分别建立索引结构；根据索引结构、第一目标实时数据和第二目标实时数据的数据访问特征，确定第一目标实时数据和第二目标实时数据对应的存储设备；根据存储设备性能和数据访问特征，对第一目标实时数据和第二目标实时数据进行数据迁移。实时数据和第二目标实时数据进行数据迁移。实时数据和第二目标实时数据进行数据迁移。

【技术实现步骤摘要】
实时数据的动态存储方法、装置、设备及存储介质


[0001]本公开涉及数据存储
，尤其涉及一种实时数据的动态存储方法、装置、设备、存储介质和程序产品。

技术介绍

[0002]随着科学技术的发展，各类信息数据以指数级的速度持续增长，面对海量实时数据的数据异构化的问题，传统的解决方案采用多个存储数据模型并存，多个存储系统分别独立，分别处理的方式解决，随着数据规模的不断增大，多数据模型底层并存的存储方式必然会导致数据存储的巨大冗余，异构数据系统之间的数据同步也会增加大量的额外开销。
[0003]在考虑到数据的实时性要求时，对于海量异构数据的高速存储一般是需要在缓冲区中进行一系列复杂的操作，单缓冲区将很难胜任。同时，由于现阶段海量异构数据资源存储设备的逐渐增多，设备之间的性能也在逐渐减少，即使在性能较低的设备也能提供比较优越的存储能力，若只将高频访问的数据集中放置于高性能的存储设备上，也会导致设备出现性能瓶颈。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种实时数据的动态存储方法、装置、设备、存储介质和程序产品。
[0005]根据本公开的一方面，提供了一种实时数据的动态存储方法，包括：将第一实时数据存入第一类动态缓冲区，将第二实时数据存入第二类动态缓冲区，其中，第一实时数据和第二实时数据是对获取到的实时数据进行预处理后得到的；
[0006]分别对存入第一类动态缓冲区的第一实时数据和存入第二类动态缓冲区的第二实时数据进行数据标准化处理，得到第一目标实时数据和第二目标实时数据；
[0007]将第一目标实时数据和第二目标实时数据存入统一异构数据对象中，并为第一目标实时数据和第二目标实时数据分别建立索引结构；
[0008]根据索引结构、第一目标实时数据的数据访问特征和第二目标实时数据的数据访问特征，确定第一目标实时数据和第二目标实时数据分别对应的存储设备；
[0009]根据存储设备的性能和数据访问特征，对第一目标实时数据和第二目标实时数据进行存储设备间的数据迁移，以实现实时数据的动态存储。
[0010]根据本公开的实施例，在将第一实时数据存入第一类动态缓冲区之前，还包括：分别建立第一类动态缓冲区和第二类动态缓冲区。
[0011]根据本公开的实施例，其中，分别建立第一类动态缓冲区和第二类动态缓冲区，包括：
[0012]分别统计第一实时数据和第二实时数据占获取的实时数据的比例；
[0013]设置具有相同容量的第一类动态缓冲区和第二类动态缓冲区；
[0014]根据第一实时数据在获取的实时数据的比例和第二实时数据在获取的实时数据
的比例，对第一类动态缓冲区和第二动态缓冲区进行动态划分。
[0015]根据本公开的实施例，其中，第一实时数据包括第一标记实时数据和第一非标记实时数据；第一类动态缓冲区包括第一子动态缓冲区和第二子动态缓冲区；
[0016]其中，将第一实时数据存入第一类动态缓冲区，包括：
[0017]设置具有相同容量的第一子动态缓冲区和第二子动态缓冲区，其中，第一子动态缓冲区包括第一标记实时数据缓冲区和第一非标记实时数据缓冲区；
[0018]统计当前第一标记实时数据和当前第一非标记实时数据分别占第一实时数据的比例；
[0019]根据当前第一标记实时数据和当前第一非标记实时数据分别占第一实时数据的比例，对第一标记实时数据缓冲区和第一非标记实时数据缓冲区进行动态划分；
[0020]将当前第一标记实时数据写入第一子动态缓冲区中的第一标记实时数据缓冲区，将当前第一非标记实时数据写入第一非标记实时数据缓冲区。
[0021]根据本公开的实施例，其中，第二子动态缓冲区包括第二标记实时数据缓冲区和第二非标记实时数据缓冲区；
[0022]其中，将第一实时数据存入第一类动态缓冲区，还包括：
[0023]在第一子动态缓冲区写满的情况下，统计当前第一标记实时数据和当前第一非标记实时数据分别占第一实时数据的比例；
[0024]根据当前第一标记实时数据和当前第一非标记实时数据分别占第一实时数据的比例，对第二标记实时数据缓冲区和第二非标记实时数据缓冲区进行动态划分；
[0025]将当前第一标记实时数据写入第二子动态缓冲区中的第二标记实时数据缓冲区，将当前第一非标记实时数据写入第二非标记实时数据缓冲区；
[0026]在第二子动态缓冲区写满的情况下，回到第一子动态缓冲区，用覆盖的方式将新获取的当前第一标记实时数据和当前第一非标记实时数据写入第一子动态缓冲区。
[0027]根据本公开的实施例，其中，为第一目标实时数据和第二目标实时数据分别建立索引结构，包括：
[0028]基于内存分配策略，对内存进行分配，并记录每个内存页面的写入次数；
[0029]根据写入次数，将内存页面进行分类，并动态调整内存页面的磨损范围；
[0030]根据内存页面磨损范围，将第一目标实时数据和第二目标实时数据建立索引结构。
[0031]根据本公开的实施例，其中，根据索引结构、第一目标实时数据的数据特征和第二目标实时数据的数据特征，分别确定第一目标实时数据和第二目标实时数据的分别对应的存储设备，包括：
[0032]根据索引结构，确定第一目标实时数据和第二目标实时数据的存储设备；
[0033]根据第一目标实时数据和第二目标实时数据在存储设备上的读写频率，确定第一目标实时数据和第二目标实时数据在分别对应存储设备上的访问特征；
[0034]根据存储设备上的访问特征，将第一目标实时数据和第二目标实时数据分别存储在对应的存储设备上。
[0035]根据本公开的实施例，其中，根据存储设备的性能和数据访问特征，对第一目标实时数据和第二目标实时数据进行存储设备间的数据迁移，包括：
[0036]根据对第一目标实时数据和第二目标实时数据的数据访问特征，分别确定第一目标实时数据和第二目标实时数据中的目标迁移数据；
[0037]根据存储设备的性能，确定存储设备的负载能力；
[0038]根据预设数据迁移比例和存储设备的负载能力，将目标迁移数据进行存储设备间的数据迁移。
[0039]本公开的另一方面提供了一种实时数据的动态存储装置，包括：第一存储模块，用于将第一实时数据存入第一类动态缓冲区，将第二实时数据存入第二类动态缓冲区，其中，第一实时数据和第二实时数据是对获取到的实时数据进行预处理后得到的；
[0040]处理模块，用于分别对存入第一类动态缓冲区的第一实时数据和存入第二类动态缓冲区的第二实时数据进行数据标准化处理，得到第一目标实时数据和第二目标实时数据；
[0041]第二存储模块，用于将第一目标实时数据和第二目标实时数据存入统一异构数据对象中；
[0042]建立模块，用于为第一目标实时数据和第二目标实时数据分别建立索引结构；
[0043]确定模块，用于根据索引结构、第一目标实时数据的数据访问特征和第二目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据的动态存储方法，包括：将第一实时数据存入第一类动态缓冲区，将第二实时数据存入第二类动态缓冲区，其中，所述第一实时数据和所述第二实时数据是对获取到的实时数据进行预处理后得到的；分别对存入所述第一类动态缓冲区的所述第一实时数据和存入所述第二类动态缓冲区的所述第二实时数据进行数据标准化处理，得到第一目标实时数据和第二目标实时数据；将所述第一目标实时数据和所述第二目标实时数据存入统一异构数据对象中，并为所述第一目标实时数据和所述第二目标实时数据分别建立索引结构；根据所述索引结构、所述第一目标实时数据的数据访问特征和所述所述第二目标实时数据的数据访问特征，确定所述第一目标实时数据和所述第二目标实时数据分别对应的存储设备；根据所述存储设备的性能和数据访问特征，对所述第一目标实时数据和所述第二目标实时数据进行所述存储设备间的数据迁移，以实现所述实时数据的动态存储。2.根据权利要求1所述的方法，在将第一实时数据存入第一类动态缓冲区之前，还包括：分别建立所述第一类动态缓冲区和所述第二类动态缓冲区。3.根据权利要求2所述的方法，其中，所述分别建立所述第一类动态缓冲区和所述第二类动态缓冲区，包括：分别统计所述第一实时数据和所述第二实时数据占所述获取的实时数据的比例；设置具有相同容量的所述第一类动态缓冲区和所述第二类动态缓冲区；根据所述第一实时数据在所述获取的实时数据的比例和所述第二实时数据在所述获取的实时数据的比例，对所述第一类动态缓冲区和所述第二动态缓冲区进行动态划分。4.根据权利要求1所述的方法，其中，所述第一实时数据包括第一标记实时数据和第一非标记实时数据；所述第一类动态缓冲区包括第一子动态缓冲区和第二子动态缓冲区；其中，所述将第一实时数据存入第一类动态缓冲区，包括：设置具有相同容量的所述第一子动态缓冲区和所述第二子动态缓冲区，其中，所述第一子动态缓冲区包括第一标记实时数据缓冲区和第一非标记实时数据缓冲区；统计当前所述第一标记实时数据和当前所述第一非标记实时数据分别占所述第一实时数据的比例；根据所述当前所述第一标记实时数据和当前所述第一非标记实时数据分别占所述第一实时数据的比例，对所述第一标记实时数据缓冲区和所述第一非标记实时数据缓冲区进行动态划分；将当前所述第一标记实时数据写入所述第一子动态缓冲区中的所述第一标记实时数据缓冲区，将当前所述第一非标记实时数据写入所述第一非标记实时数据缓冲区。5.根据权利要求4所述的方法，其中，所述第二子动态缓冲区包括第二标记实时数据缓冲区和第二非标记实时数据缓冲区；其中，所述将第一实时数据存入第一类动态缓冲区，还包括：在所述第一子动态缓冲区写满的情况下，统计当前所述第一标记实时数据和当前所述第一非标记实时数据分别占所述第一实时数据的比例；
根据所述当前所述第一标记实时数据和当前所述第一非标记实时数据分别占所述第一实时数据的比例，对所述第二标记实时数据缓冲区和所述第二非标记实时数据缓冲区进行动态划分；将当前所述第一标记实时数据写入所述第二子动态缓冲区中的所述第二标记实时数据缓冲区，将当前所述第一非标记实时数据写入所述第二非标记实时数据缓冲区；在所述第二子动态缓冲区写满的情况下，回到所述第一子动态缓冲区，用覆盖的方式将新获取的...

【专利技术属性】
技术研发人员：黄若山，高佳腾，罗云康，曹力元，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：