一种增量式数据存取系统技术方案

技术编号:23161625 阅读:28 留言:0更新日期:2020-01-21 21:58
本发明专利技术涉及数据库技术领域,公开了一种增量式数据存取系统,其包括缓冲层和物理层;所述缓冲层将输入数据存储到物理层,并根据缓冲层大小缓存全部或者部分数据在缓冲层,所述缓冲层还用于外部查询访问;所述物理层用于数据存储,所述物理层对已存入的数据按输入操作关系存储,保留数据输入的历史,已存入数据的历史不进行修改和删除操作,所存储的输入数据以及派生的结构化数据均为增量式数据。本申请采用多级分层的存取结构设计,使得系统可以根据自身业务情况选择合适的内存数据结构,在对整个历史数据保持高效率地索引读取的同时,对远超过设备内存容量的大规模增量式数据结构进行自适应的持久化存储,提高了整个数据存取系统的实际可持续性。

An incremental data access system

【技术实现步骤摘要】
一种增量式数据存取系统
本专利技术涉及数据库
,特别是一种增量式数据存取系统。
技术介绍
当前在某些
,例如区块链
,其数据存取系统对于内存存储的管理提出了挑战。在这类系统中,计算机系统除了按时间顺序对数据输入进行记录外,还需要构建派生于这些数据输入的系统状态或历史状态数据以提供给外界快速的查询和索引操作。按时序记录的数据存储的是输入数据的原始信息,可以按照时间顺序存储,内存管理和数据存取的性能对于验证这些数据历史的完整性以及在系统所在计算机重启时根据逻辑规则重构整个数据结构的历史状态至关重要。例如社交应用系统中用户账户的历史操作,账户历史操作记录包含系统中每个用户的所有操作状态,如帐户余额的变化、账户行为以及行为产生的结果等。为了对海量账户的历史操作数据进行存储和快速访问,直接的做法是将账户历史操作记录数据常驻内存中。但是,由于用户的某些操作会衍生出数量众多的关联操作,比如一个社交行为可以衍生出极其庞大的社交状态结果。当这样的社交应用构建在区块链技术之上时,由于区块链系统数据历史不可修改和不可删除的特性,账户历史操作本文档来自技高网...

【技术保护点】
1.一种增量式数据存取系统,其特征在于,包括缓冲层和物理层;所述缓冲层将输入数据存储到物理层,并根据缓冲层大小缓存全部或者部分数据在缓冲层,所述缓冲层还用于外部查询访问;所述物理层用于数据存储,所述物理层对已存入的数据按输入操作关系存储,保留数据输入的历史,已存入数据的历史不进行修改和删除操作,所存储的输入数据以及派生的结构化数据均为增量式数据。/n

【技术特征摘要】
1.一种增量式数据存取系统,其特征在于,包括缓冲层和物理层;所述缓冲层将输入数据存储到物理层,并根据缓冲层大小缓存全部或者部分数据在缓冲层,所述缓冲层还用于外部查询访问;所述物理层用于数据存储,所述物理层对已存入的数据按输入操作关系存储,保留数据输入的历史,已存入数据的历史不进行修改和删除操作,所存储的输入数据以及派生的结构化数据均为增量式数据。


2.如权利要求1所述的增量式数据存取系统,其特征在于,所述输入操作关系包括但不限于时间顺序。


3.如权利要求1所述的增量式数据存取系统,其特征在于,所述增量式数据存取系统还包括访问接口层,所述访问接口层包括业务输入API数据接口和业务查询API数据接口,所述业务输入API数据接口用于输入数据的输入操作,所述业务查询API数据接口用于查询数据的查询操作。


4.如权利要求1所述的增量式数据存取系统,其特征在于,所述缓冲层采用Key-Value形式的内存数据库结构,对整个业务应用的访问接口层表现为一致的数据输入、查询或索引方法,并且对访问接口层提供统一的包含整个业务数据的数据视图,并向访问接口层返回满足业务数据结构要求的结果。


5.如权利要求1所述的增量式数据存取系...

【专利技术属性】
技术研发人员:彭韬王毅峰段江
申请(专利权)人:成都九宽科技有限公司
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1