一种面向大数据的数据流式缓存方法及系统技术方案

本发明专利技术涉及一种面向大数据的数据流式缓存方法及系统。方法包括：完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。本发明专利技术能够在确保原有的流序列不变的情况下，提供高性能的数据存取访问的缓存机制。提供高性能的数据存取访问的缓存机制。提供高性能的数据存取访问的缓存机制。

【技术实现步骤摘要】
一种面向大数据的数据流式缓存方法及系统


[0001]本专利技术涉及大数据处理
，特别是涉及一种面向大数据的数据流式缓存方法及系统。

技术介绍

[0002]现有的大数据缓存方式通常是基于键值对的KV形式，主要解决在已知关键Key的情况下快速读取或更新数值的需求。这种方式仅仅能够解决点状的数据存取缓存的需求，对于大数据中更为常见的基于时间序列所形成的流式数据则缺乏简单有效的缓存方案。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种面向大数据的数据流式缓存方法及系统，能够在确保原有的流序列不变的情况下，提供高性能的数据存取访问的缓存机制。
[0004]本专利技术解决其技术问题所采用的技术方案是：提供一种面向大数据的数据流式缓存方法，包括以下步骤：
[0005](1)完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；
[0006](2)选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；...

【技术保护点】

【技术特征摘要】
1.一种面向大数据的数据流式缓存方法，其特征在于，包括以下步骤：(1)完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；(2)选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；(3)对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；(4)在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。2.根据权利要求1所述的面向大数据的数据流式缓存方法，其特征在于，所述步骤(4)中还将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。3.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存读取访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。4.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存写入访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。5.根据权利要求4所述的面向大数据的数据流式缓存方法，其特征在于，在重新写入数据流缓存资源时，在所述数据流缓存资源的元信息上增加数据流存储待更新的标记，并在系统闲时以延迟写出的方式对数据流存储执行相应的更新操作。6.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存进行清除操作时，通过对所述数据流缓存资源的元信息...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海健交科技服务有限责任公司，
类型：发明
国别省市：