日志结构存储系统技术方案

本文公开了用于数据处理和存储的方法、系统和装置，包括编码在计算机存储设备上的计算机程序。方法之一包括：存储系统维护所述存储系统的源存储设备中的数据日志文件。存储系统识别所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性，并基于所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性确定所述数据日志文件的迁移度量。存储系统根据所述迁移度量确定是否迁移所述数据日志文件。响应于确定迁移所述数据日志文件，存储系统将所述数据日志文件从所述源存储设备中的源位置迁移至目标存储设备。

Log structure storage system

【技术实现步骤摘要】
【国外来华专利技术】日志结构存储系统
本文涉及日志结构存储系统。
技术介绍
分布式账本系统(DLS)，也可称为共识网络和/或区块链网络，使得参与的实体能够安全且不可篡改地存储数据。在不引用任何特定用例的情况下，DLS通常被称为区块链网络。区块链网络类型的示例可以包括公共区块链网络、私有区块链网络和联盟区块链网络。为选定的实体群组提供联盟区块链网络，所述实体控制共识处理，并且所述联盟区块链网络包括访问控制层。通常，DLS的每个节点(例如，区块链网络节点)存储或具有区块链网络数据的完整备份，使得每个节点可以是独立的，并且每个节点处的本地数据可以被信任以提供服务。然而，这种存储方案提出了苛刻的存储要求，并增加了每个节点的存储成本，尤其是随着DLS达到规模。因此，期望用于提高效率并降低存储系统成本的解决方案。
技术实现思路
本文描述了用于将数据存储在例如分布式账本系统(例如，区块链网络)和/或基于区块链的中心化账本系统(例如，通用可审计账本服务系统)中的日志结构存储系统的技术，所述分布式账本系统和/或基于区块链的中心化账本系统采用区块链的数据结构以利用存储在区块链上的数据的不可变性、可靠性以及可信性。本文还提供了耦接到一个或多个处理器并且其上存储有指令的一个或多个非暂态计算机可读存储介质，当所述指令由所述一个或多个处理器执行时，所述指令将促使所述一个或多个处理器按照本文提供的方法的实施例执行操作。本文还提供了用于实施本文提供的所述方法的系统。日志结构存储系统包括一个或多个处理器以及耦接到所述一个或多个处理器并且其上存储有指令的计算机可读存储介质，当所述指令由所述一个或多个处理器执行时，所述指令将促使所述一个或多个处理器按照本文提供的方法的实施例执行操作。应了解，依据本文的方法可以包括本文描述的方面和特征的任意组合。也就是说，根据本文的方法不限于本文具体描述的方面和特征的组合，还包括所提供的方面和特征的任意组合。以下在附图和描述中阐述了本文的一个或多个实施方式的细节。根据说明书和附图以及权利要求，本文的其他特征和优点将显现。附图说明图1是示出可用于执行本文实施例的环境的示例的图。图2是示出根据本文实施例的架构的示例的图。图3是示出根据本文实施例的基于区块链的日志结构存储系统的示例的图。图4是示出根据本文实施例的分层存储系统的示例的图。图5是示出根据本文实施例的用于执行日志结构存储系统的写入操作的处理的示例的流程图。图6是示出根据本文实施例的用于生成与日志结构存储系统的写入操作有关的索引的处理的示例的流程图。图7是示出根据本文实施例的用于执行日志结构存储系统的读取操作的处理的示例的流程图。图8是示出根据本文实施例的用于改善日志结构存储系统的读取操作的处理的示例的流程图。图9是示出根据本文实施例的用于管理存储在日志结构存储系统中的数据日志文件的处理的示例的流程图。图10是示出根据本文实施例的用于在日志结构存储系统中执行数据迁移的处理的示例的流程图。图11是示出根据本文实施例的用于在日志结构存储系统中执行数据流控制的处理的示例的流程图。图12是示出可根据本文实施例执行的处理的示例的流程图。图13是示出可根据本文实施例执行的处理的示例的流程图。图14是示出可根据本文实施例执行的处理的示例的流程图。图15是示出根据本文实施例的装置的模块的示例的图。在各个附图中，相同的附图标记和名称表示相同的元件。具体实施方式本文描述了用于将数据存储在例如分布式账本系统(例如，区块链网络)和/或基于区块链的中心化账本系统(例如，通用可审计账本服务系统)中的日志结构存储系统的技术，所述分布式账本系统和/或基于区块链的中心化账本系统采用区块链的数据结构以利用存储在区块链上的数据的不可变性、可靠性以及可信性。在一些实施例中，分布式账本系统和基于区块链的中心化账本系统可以统称为基于区块链的账本系统。在一些实施例中，基于区块链的中心化账本系统可以是基于中心化的账本系统，其可以提供具有时间关键性审计(具有不可否认性和防篡改性)的、密码学可验证的与状态无关的数据账本存储。在一些实施例中，基于区块链的中心化账本系统可以基于云平台提供账本服务，该云平台的特征在于具有可信度和中立性的中心化背书。基于区块链的中心化账本系统可以提供高可靠性和高性能的可审计流水账本服务，其组合了区块链系统的高可信度以及中心化系统的高性能和低延迟，以处理具有审计要求、可追溯性和跟踪的各种数据和日志。本文中描述的技术产生若干技术效果。在一些实施例中，所描述的技术可以被应用在各种应用和场景中，以提供有效的、可信的、可扩展的、成本有效的和高性能的数据存储和管理。所描述的技术可以为包括例如交易数据、区块数据、状态数据和索引数据的区块链数据提供简单且定义良好的应用编程接口(API)集。所描述的技术提供了一种日志结构存储系统，该系统不仅提供I/O服务，还考虑了成本和个性化需求，以提供诸如分层、数据压缩、共享存储、纠错编码和状态快照的功能，尤其是在存储在区块链系统中的数据量达到规模之后。日志结构存储系统可以提供诸如日志结构数据存储以及异步和/或并发处理等特征，以实现性能优化、高效处理、可信环境、通用性(例如，分布式账本系统和基于区块链的中心化账本系统均可用)和改进的存储方案。所描述的技术可以提供用于提供这样的功能和特征的总体框架或架构。通常，在分布式账本系统(例如，区块链网络)中生成和/或存储的数据可以被称为区块链数据。区块链数据可以包括或分类为交易数据、区块数据、状态数据和索引数据。在一些实施例中，在基于区块链的中心化账本系统(例如，通用可审计账本服务系统)中生成和/或存储的数据可以包括或分类为交易数据、区块数据和索引数据。在一些实施例中，可以以表示为<hash(value),value>的键值对(KVP)的形式来接收各种区块链数据。该值可以是表示区块、交易或区块链网络状态中一个或多个的实际数据。键可以是该值的哈希值。在一些实施例中，对于区块数据，每个区块可以包括区块头和区块体。区块头可以包括特定区块的身份信息，并且区块体可以包括用该区块确认的交易。在一些实施例中，区块数据是区块链系统中的数据结构，并且通常具有以下一个或多个特性。例如，(1)在区块链网络中达成共识后，存储在区块链网络中的每个节点中的区块数据的内容在理论上是一致的。(2)区块号密集地增加。(3)连续区块之间存在哈希纠缠(hashentanglement)。(4)区块数据是仅追加(append-only)的。也就是说，一旦达成共识，历史区块数据将不会被修改。(5)区块数据的访问频率通常较低。区块数据占用的存储空间通常很大。在一些实施例中，状态数据可以被组装(assemble)为全局共享状态(也称为世界状态)。世界状态可以包括账户地址和账户状态之间的映射。世界状态可以存储在诸如默克尔帕特丽夏树(MerkleP本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n存储系统维护所述存储系统的源存储设备中的数据日志文件；/n识别所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性；/n基于所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性确定所述数据日志文件的迁移度量；/n根据所述迁移度量确定是否迁移所述数据日志文件；以及/n响应于确定迁移所述数据日志文件，将所述数据日志文件从所述源存储设备中的源位置迁移至目标存储设备。/n

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：
存储系统维护所述存储系统的源存储设备中的数据日志文件；
识别所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性；
基于所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性确定所述数据日志文件的迁移度量；
根据所述迁移度量确定是否迁移所述数据日志文件；以及
响应于确定迁移所述数据日志文件，将所述数据日志文件从所述源存储设备中的源位置迁移至目标存储设备。


2.如权利要求1所述的计算机实现的方法，其中，所述数据日志文件的一个或多个特性包括以下中的至少一个：所述数据日志文件的数据类型、创建时间、数据大小、活跃性、垃圾率或碎片水平。


3.如权利要求1所述的计算机实现的方法，其中，所述源存储设备的一个或多个特性包括以下中的至少一个：所述源存储设备的访问速度、访问带宽、访问延迟、使用率、垃圾率、碎片水平或输入/输出I/O请求。


4.如权利要求1所述的计算机实现的方法，其中，所述迁移度量包括迁移得分，并且基于所述数据日志文件的一个或多个特性以及所述源存储设备的一个或多个特性确定所述数据日志文件的迁移度量，包括：
基于使用率、访问频率、原始数据创建时间和迁移成本中的至少一个，确定所述数据日志文件的迁移得分。


5.如权利要求4所述的计算机实现的方法，还包括：
确定所述数据日志文件的所述迁移得分是否达到或超过预定阈值；
响应于确定所述数据日志文件的所述迁移得分达到或超过所述预定阈...

【专利技术属性】
技术研发人员：田世坤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY