用于数据集的数据存储方法和系统技术方案

用于数据集的数据存储方法和系统。系统和方法以用于存储的中间格式存储数据，将中间数据格式转换成两个数据卷的生产数据格式，以及将该两个数据卷合并成一个数据卷。

【技术实现步骤摘要】
用于数据集的数据存储方法和系统
本公开总体涉及代码处理和数据技术。
技术介绍
当需要对静态和只读数据的大量集合(数万亿条记录)执行单密钥查找时，传统的DBMS(数据库管理系统)不仅响应时间不足，而且跨服务器同步数据或执行备份所需的时间也不足。考虑到对大量静态数据进行的单密钥只读搜索的简单任务，标准DBMS中的内部机制(包括但不限于并发控制、访问控制、事务处理和日志记录)阻碍了性能。
技术实现思路
提供以下简化
技术实现思路
以基本理解本公开中描述的各种实施方式的一些方面。该
技术实现思路
不是本公开的广泛概述。该
技术实现思路
既不旨在指明所要求保护的本专利技术的关键或重要要素，也不旨在描绘本专利技术的范围。以下
技术实现思路
仅作为针对本公开描述的实施方式的更详细描述的序言，以简化形式呈现这些实施方式中使用的一些概念。本公开描述的一些实施方式的一个目的是布置用于消除由标准DBMS(数据库管理系统)系统导致的开销的系统和方法。这通过包括以下步骤的数据处理方法来实现：以用于存储的中间格式存储数据；将中间数据格式转换成两个数据卷本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括以下步骤：/n-以用于存储的中间格式存储数据，/n-将中间数据格式转换成至少两个数据卷的生产数据格式，以及/n-将所述至少两个数据卷合并成一个数据卷。/n

【技术特征摘要】
20190117 US 16/250,8591.一种数据处理方法，其特征在于，所述方法包括以下步骤：
-以用于存储的中间格式存储数据，
-将中间数据格式转换成至少两个数据卷的生产数据格式，以及
-将所述至少两个数据卷合并成一个数据卷。


2.根据权利要求1所述的数据处理方法，其特征在于，所述至少两个数据卷包括数据索引和数据记录。


3.根据权利要求2所述的数据处理方法，其特征在于，所述数据索引被从中间格式转换成生产格式，并且以二进制形式与指向数据记录文件中的所述数据记录的固定长度数据指针一起位于索引文件中。


4.根据权利要求1所述的数据处理方法，其特征在于，通过使用加密算法处理来执行所述转换。


5.根据权利要求2所述的数据处理方法，其特征在于，各个数据记录卷包括对数据记录长度和完整性校验和中的至少一者进行描述的报头。


6.根据权利要求2所述的数据处理方法，其特征在于，通过以下步骤来对所述至少两个数据卷进行检索：对数据索引文件执行搜索；根据要检索的数据记录的指针获得数据位置；以及通过从与下一顺序数据记录的指针相关联的值中减去与要检索的数据记录的指针相关联的值来获得数据长度，或者如果要检索的数据记录的指针是要检索的数据记录所在的数据卷中的最后指针，则从该数据卷的长度中减去与要检索的数据记录的指针相关联的值来...

【专利技术属性】
技术研发人员：J·克希亚，D·阿克鲁德，
申请(专利权)人：福斯德公司，
类型：发明
国别省市：瑞典;SE