一种大数据场景下的数据信息存储系统及方法技术方案

本发明专利技术公开了一种大数据场景下的数据信息存储系统及方法，包括：数据信息采集模块、数据库、数据存储规划模块、数据动态监测模块和异常处理模块，通过数据信息采集模块采集存储空间、存储地址和存储数据类型信息，通过数据库存储并管理接收到的数据，通过数据存储规划模块分析存储数据间的逻辑关系，规划数据存储方式并存储数据，通过数据动态监测模块实时监测已存储数据的动态变化情况，通过异常处理模块对数据变化情况进行溯源，并分析是否需要为数据预留存储地址：若需要预留存储地址，规划预留存储地址的位置，数据无需从头调取，加快了存储数据调取速度，加快了修复中断链路前调取连接数据的速度。取连接数据的速度。取连接数据的速度。

【技术实现步骤摘要】
一种大数据场景下的数据信息存储系统及方法


[0001]本专利技术涉及数据存储
，具体为一种大数据场景下的数据信息存储系统及方法。

技术介绍

[0002]数据存储指的是将数据流在加工过程中产生的临时文件或加工过程中需要查找的信息存储起来，随着科技的迅速发展，产生的数据越来越多，数据存储的方式由单一的顺序存储逐步向其它存储方式扩展，有利于最大程度上充分利用存储空间存储大数据；
[0003]现有的存储方式存在一定弊端：首先，在顺序存储结构中，一组数据要占据一段连续的存储地址，要求必须预先在内存中找到一段足够存储这些数据的空间，存储空间中也不能有别的数据，数据修改也多有不便；其次，链式存储结构虽然能够在一定程度上改善顺序存储结构的部分缺陷，但是，现有链式存储结构存在过于分散、无法统一调试的问题；最后，链式存储结构中调取数据需要从头调取，容易导致存储数据调取时间延长，无法处理一些紧急状况。
[0004]所以，人们需要一种大数据场景下的数据信息存储系统及方法来解决上述问题。

技术实现思路

[0005]本专利技术的目的在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据场景下的数据信息存储系统，其特征在于：所述系统包括：数据信息采集模块、数据库、数据存储规划模块、数据动态监测模块和异常处理模块；所述数据信息采集模块用于采集存储空间、存储地址和存储数据类型信息，将采集到的所有信息传输到所述数据库中；所述数据库用于存储并管理接收到的数据，供所述数据存储规划模块调取；所述数据存储规划模块用于分析存储数据间的逻辑关系，规划数据存储方式并存储数据；所述数据动态监测模块用于实时监测已存储数据的动态变化情况，在数据动态发生变化时发送预警信号至所述异常处理模块中；所述异常处理模块用于对数据变化情况进行溯源，并分析是否需要为数据预留存储地址：若需要预留存储地址，规划预留存储地址的位置。2.根据权利要求1所述的一种大数据场景下的数据信息存储系统，其特征在于：所述数据信息采集模块包括存储空间采集单元、存储地址采集单元和存储数据采集单元，所述存储空间采集单元用于采集数据存储的空间容量数据；所述存储地址采集单元用于采集存储空间中默认分配的存储地址数据；所述存储数据采集单元用于采集待存储的数据类型。3.根据权利要求1所述的一种大数据场景下的数据信息存储系统，其特征在于：所述数据存储规划模块包括逻辑关系分析单元、整体链路规划单元、数据分块判断单元和分块存储控制单元，所述逻辑关系分析单元用于调取采集到的待存储数据类型，并分析待存储数据间的逻辑关系，将分析结果传输到所述整体链路规划单元中；所述整体链路规划单元用于依据待存储数据间的逻辑关系，设置指针，构建链式存储结构，将数据进行链式存储；所述数据分块判断单元用于依据数据的被调取情况，判断是否需要进行数据分块存储，若判断结果为需要分块存储数据，通过所述分块存储控制单元控制对应数据进行分块存储。4.根据权利要求1所述的一种大数据场景下的数据信息存储系统，其特征在于：所述数据动态监测模块包括变化动态监测单元、调取数据监测单元和变化预警单元，所述变化动态监测单元用于实时监测进行链式存储的数据变化情况：在存储的数据被删除时，利用所述变化预警单元发送预警信号至所述异常处理模块中；所述调取数据监测单元用于实时监测进行链式存储的数据被调取情况：若在存储数据被删除后，且在连接好因删除数据而中断的存储链路前，被删除数据的指针指向的数据被调取，通过所述变化预警单元发送预警信号至所述异常处理模块中。5.根据权利要求1所述的一种大数据场景下的数据信息存储系统，其特征在于：所述异常处理模块包括数据变化溯源单元和地址预留分析单元，所述数据变化溯源单元用于在接收到数据变化的预警信号后，查询进行链式存储的数据变化原因；所述地址预留分析单元用于在接收到被删除数据的指针指向的数据被调取的预警信号后，分析是否需要为指向的数据设置预留存储地址：若需要预留存储地址，规划存储地址的预留位置。6.一种大数据场景下的数据信息存储方法，其特征在于：包括以下步骤：S1：采集存储空间、存储地址和存储数据信息；S2：分析存储数据间的逻辑关系，构建链式存储结构；S3：判断数据是否需要分块存储：若不需要，按原链式存储结构存储数据；若需要，拆分链式存储结构，控制对应数据进行分块存储；
S4：实时监测数据的变化情况和被调取情况，在数据变化异常时进行预警；S5：对数据变化进行溯源，预留存储地址。7.根据权利要求6所述的一种大数据场景下的数据信息存储方法，其特征在于：在步骤S1
‑
S2中：利用存储空间采集单元采集到待存储的空间容量为W，利用存储地址采集单元采集到存储空间中默认分配的存储单元集合为a＝{a1，a2，
…
，an}，其中，n表示默认分配的存储单元数量，利用存储数据采集单元采集到待存储的数据集为A＝{A1，A2，
…
，Am}，共有m种数据，m种数据的容量集合为W
’
＝{W1
’
，W2
’
，
…
，Wm
’
}，利用逻辑关系分析单元分析待存储数据间的逻辑关系：获取到数据被调取总次数为K，选取随机两种数据Ai和Aj，统计到随机两种数据被同时调取的次数为k，根据下列公式计算随机两种数据间的逻辑关系系数Q
i
：其中，sim(Ai,Aj)表示数据Ai和数据Aj间的相关系数，sim(Ai,Aj)的范围为(0，1]，得到待存储的数据集...

【专利技术属性】
技术研发人员：贾浩，
申请(专利权)人：淮北鹏顺信息科技有限公司，
类型：发明
国别省市：