一种适用于大数据环境的数据流存储管理方法及系统技术方案

本发明专利技术公开了一种适用于大数据环境的数据流存储管理方法和系统，首先建立数据服务器；然后获取存储数据；最后判断存储数据的数据量，数据量大时采用事件触发机制控制存储方式将存储数据存入数据服务器；数据量小时采用时钟频率控制存储方式将存储数据存入数据服务器。本发明专利技术提供一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。对数据进行简单的处理和索引更新。提高数据流存储效率，提高信息服务响应速度，兼顾检索过程，提高检索效率；从而提高企业的运作效率。

【技术实现步骤摘要】

本专利技术涉及计算机信息数据存储，特别涉及一种适用于大数据环境的数据流存储管理方法及系统。 
技术介绍
大数据环境下现有的数据记录体系大多采用固定窗口大小批量存储的方式来存储数据。随着数据规模的扩大，存储的效率不高。 现有数据记录体系在对数据记录高并发性和数据的海量性的存储能力不足，并且数据记录对数据进行任何处理，后续查询就需要耗费更多的时间和资源来对数据进行检索。 因此需要一种适用于大数据环境的数据流存储管理方法及系统。 
技术实现思路
有鉴于此，本专利技术所要解决的技术问题是提供一种适用于大数据环境的数据流存储管理方法及系统。 本专利技术是通过以下技术方案来实现的： 本专利技术的目的之一是提出一种适用于大数据环境的数据流存储管理方法；本专利技术的目的之二是提出一种适用于大数据环境的数据流存储管理系统。 本专利技术的目的之一是通过以下技术方案来实现的： 本专利技术提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤： S1：建立数据服务器； S2：获取存储数据； S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器； S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。 进一步，所述时钟频率控制存储过程采用以下步骤： S31：获取数据量和数据类型； S32：根据数据量和数据类型设置批量存储的动态窗口； S33：设置存储时钟频率； <br>S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器； S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； S36：如果否，则返回步骤S34。 进一步，所述事件触发机制控制存储过程采用以下步骤： S41：获取数据量和数据类型； S42：按照数据量和数据类型设置存储缓冲器； S43：将数据存入存储缓冲器； S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； S45：如果否，则返回步骤S43。 进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整： S5：获取存储数据的数据量； S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大； S7：如果否，则将缓冲器的大小按预设倍率减小。 进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。 进一步，所述动态窗口采用以下步骤来调整： 首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。 本专利技术的目的之二是通过以下技术方案来实现的： 本专利技术提供的一种适用于大数据环境的数据流存储管理系统，包括数据服务器单元、数据采集单元、存储模式单元； 所述数据服务器单元，用于建立数据服务器； 所述数据采集单元，用于获取存储数据； 所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式； 所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器； 所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。 所述时钟频率控制存储模式采用以下步骤： S31：获取数据量和数据类型； S32：根据数据量和数据类型设置批量存储的动态窗口； S33：设置存储时钟频率； S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器； S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； S36：如果否，则返回步骤S34； 所述事件触发机制控制存储模式采用以下步骤： S41：获取数据量和数据类型； S42：按照数据量和数据类型设置存储缓冲器； S43：将数据存入存储缓冲器； S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； S45：如果否，则返回步骤S43。 进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整： S5：获取存储数据的数据量； S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大； S7：如果否，则将缓冲器的大小按预设倍率减小。 进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。 进一步，所述动态窗口采用以下步骤来调整： 首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。 本专利技术的有益效果在于：本专利技术提供了一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。并对数据进行简单的处理，进行索引更新。提高了数据流存储效率，提高了信息服务响应速度，并且兼顾后续的检索过程，为数据添加索引，提高检索效率；从而提高企业的运作效率。 附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中： 图1为本专利技术实施例提供的适用于大数据环境的数据流存储管理方法流程图； 图2为本专利技术实施例提供的适用于大数据环境的数据流存储管理系统图。 具体实施方式以下将参照附图，对本专利技术的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。 图1为本专利技术实施例提供的适用于大数据环境的数据流存储管理方法流程图；图2为本专利技术实施例提供的适用于大数据环境的数据流存储管理系统图，如图所示：本专利技术提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤： S1：建立数据服务器； S2：获取存储数据； S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器； S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。 所述时钟频率控制存储过程采用以下步骤： S31：获取数据量和数据类型； S32：根据数据量和数据类型设置批量存储的动态窗口； S33：设置存储时钟频率； S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器； S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； S本文档来自技高网...

【技术保护点】
一种适用于大数据环境的数据流存储管理方法，其特征在于：包括以下步骤：S1：建立数据服务器；S2：获取存储数据；S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。

【技术特征摘要】
1.一种适用于大数据环境的数据流存储管理方法，其特征在于：包括以下步骤：
S1：建立数据服务器；
S2：获取存储数据；
S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储
方式将存储数据存入数据服务器；
S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
2.根据权利要求1所述的适用于大数据环境的数据流存储管理方法，其特征在于：所
述时钟频率控制存储过程采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34。
3.根据权利要求1所述的适用于大数据环境的数据流存储管理方法，其特征在于：所
述事件触发机制控制存储过程采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
4.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于：所
述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
5.根据权利要求4所述的适用于大数据环境的数据流存储管理方法，其特征在于：所
述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器

\t采用以下方式来调整：将缓冲器的大小调整到预设最大值。
6.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于：所
述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相
应的窗口大小值。
7.一种适用于大数据环境的数据流存储管理系统，其特征在于：包...

【专利技术属性】
技术研发人员：张可，柴毅，周国庆，汪嘉文，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;85