基于区块技术的分布式KV存储系统技术方案

提供了基于区块技术的分布式KV存储系统。所提供的分布式存储系统，包括耦合到网络的查询节点、中继节点与资源节点，查询节点用于向网络发出用于查询网络中的资源的查询请求资源节点用于提供分布式存储系统的资源，资源节点和/或中继节点广播查询请求或广播指示查询成功的消息；资源节点和/或中继节点记录了资源映射信息，资源映射信息包括多条记录，每条记录指示查询请求从被查询节点发出到资源节点应答所经历的各个网络节点的区块，其中区块包括节点的节点标识、节点的特征信息的数字签名与指示区块被添加的时间的时间戳；资源节点记录了转换信息，转换信息的每条记录指示从键到地址的映射。

【技术实现步骤摘要】
基于区块技术的分布式KV存储系统
本申请涉及存储系统，具体地，涉及使用KV存储设备通过区块技术构建的分布式存储系统。
技术介绍
图1A展示了固态存储设备的框图。固态存储设备102同主机相耦合，用于为主机提供存储能力。主机同固态存储设备102之间可通过多种方式相耦合，耦合方式包括但不限于通过例如SATA(SerialAdvancedTechnologyAttachment，串行高级技术附件)、SCSI(SmallComputerSystemInterface，小型计算机系统接口)、SAS(SerialAttachedSCSI，串行连接SCSI)、IDE(IntegratedDriveElectronics，集成驱动器电子)、USB(UniversalSerialBus，通用串行总线)、PCIE(PeripheralComponentInterconnectExpress,PCIe，高速外围组件互联)、NVMe(NVMExpress，高速非易失存储)、以太网、光纤通道、无线通信网络等连接主机与固态存储设备102。主机可以是能够通过上述方式同存储设备相通信的信息处理设备，例如，个人计算机、平板电脑、服务器、便携式计算机、网络交换机、路由器、蜂窝电话、个人数字助理等。存储设备102包括接口103、控制部件104、一个或多个NVM芯片105以及DRAM(DynamicRandomAccessMemory，动态随机访问存储器)110。NAND闪存、相变存储器、FeRAM(FerroelectricRAM，铁电存储器)、MRAM(MagneticRandomAccessMemory，磁阻存储器)、RRAM(ResistiveRandomAccessMemory，阻变存储器)等是常见的NVM。接口103可适配于通过例如SATA、IDE、USB、PCIE、NVMe、SAS、以太网、光纤通道等方式与主机交换数据。控制部件104用于控制在接口103、NVM芯片105以及DRAM110之间的数据传输，还用于存储管理、主机逻辑地址到闪存物理地址映射、擦除均衡、坏块管理等。控制部件104可通过软件、硬件、固件或其组合的多种方式实现，例如，控制部件104可以是FPGA(Field-programmablegatearray，现场可编程门阵列)、ASIC(ApplicationSpecificIntegratedCircuit，应用专用集成电路)或者其组合的形式。控制部件104也可以包括处理器或者控制器，在处理器或控制器中执行软件来操纵控制部件104的硬件来处理IO(Input/Output)命令。控制部件104还可以耦合到DRAM110，并可访问DRAM110的数据。在DRAM可存储FTL表和/或缓存的IO命令的数据。控制部件104包括闪存接口控制器(或称为介质接口控制器、闪存通道控制器)，闪存接口控制器耦合到NVM芯片105，并以遵循NVM芯片105的接口协议的方式向NVM芯片105发出命令，以操作NVM芯片105，并接收从NVM芯片105输出的命令执行结果。已知的NVM芯片接口协议包括“Toggle”、“ONFI”等。存储器目标(Target)是NAND闪存封装内的共享CE(,ChipEnable，芯片使能)信号的一个或多个逻辑单元(LUN，LogicUNit)。NAND闪存封装内可包括一个或多个管芯(Die)。典型地，逻辑单元对应于单一的管芯。逻辑单元可包括多个平面(Plane)。逻辑单元内的多个平面可以并行存取，而NAND闪存芯片内的多个逻辑单元可以彼此独立地执行命令和报告状态。存储介质上通常按页来存储和读取数据。而按块来擦除数据。块(也称物理块)包含多个页。块包含多个页。存储介质上的页(称为物理页)具有固定的尺寸，例如17664字节。物理页也可以具有其他的尺寸。在固态存储设备中，利用FTL(FlashTranslationLayer，闪存转换层)来维护从逻辑地址到物理地址的映射信息。逻辑地址构成了操作系统等上层软件所感知到的固态存储设备的存储空间。物理地址是用于访问固态存储设备的物理存储单元的地址。在相关技术中还可利用中间地址形态实施地址映射。例如将逻辑地址映射为中间地址，进而将中间地址进一步映射为物理地址。存储了从逻辑地址到物理地址的映射信息的表结构被称为FTL表。FTL表是固态存储设备中的重要元数据。通常FTL表的数据项记录了固态存储设备中以数据页为单位的地址映射关系。FTL表包括多个FTL表条目(或称表项)。在一种情况下，每个FTL表条目中记录了一个逻辑页地址与一个物理页的对应关系。在另一种情况下，每个FTL表条目中记录了连续的多个逻辑页地址与连续的多个物理页的对应关系。在又一种情况下，每个FTL表条目中记录了逻辑块地址与物理块地址的对应关系。在依然又一种情况下，FTL表中记录逻辑块地址与物理块地址的映射关系，和/或逻辑页地址与物理页地址的映射关系。支持Key-Value(键-数据，也简称为“KV”)存储模型的存储设备，提供基于键(Key)的读操作(Get(Key))与写操作(Put(Key,Value))。为执行写操作，主机向存储设备提供键(Key)与数据(Value)，以将数据写入存储设备，并将键作为所写入的数据的索引。为执行读操作，主机向存储设备提供键，存储设备根据键找到数据，并将数据提供给主机。因而在KV存储系统中，键是用来访问数据的索引，而数据(Value)是被访问的数据。图1B展示了现有技术的KV存储设备的地址转换系统的示意图。支持KV存储模型的固态存储设备的地址转换系统(也称为FTL表)提供从键到逻辑地址或物理地址的映射。可选地，FTL表中记录的逻辑地址或物理地址可以是数据帧(Dataframe)的起始地址。数据帧是具有固定大小的数据单元，物理页包括1个或多个数据帧。键作为FTL表的索引。用键作为索引查询FTL表，得到对应的物理地址。FTL表可以由数组、链表、树等多种数据结构实现。可选地，将不定长的键进行哈希运算，得到定长的哈希键(例如，4字节/8字节)，作为FTL表的索引。
技术实现思路
分布式存储系统需要解决全网存储资源的管理与使用问题，还要应对非法节点对网络的入侵，防止非法节点窃取网络中的资源数据以及对分布式存储系统正常运行的干扰。根据本申请的第一方面，提供了根据本申请第一方面的第一分布式存储系统，包括耦合到网络的查询节点、中继节点与资源节点，查询节点用于向网络发出用于查询网络中的资源的查询请求，中继节点用于在网络中转发查询请求或转发指示查询成功的消息，资源节点用于提供分布式存储系统的资源；中继节点记录了资源映射信息，资源映射信息包括多条记录，每条记录指示查询请求从被查询节点发出到资源节点应答所经历的各个网络节点的区块；资源节点记录了转换信息，转换信息的每条记录指示从键到地址的映射。根据本申请第一方面的第一分布式存储系统，提供了根据本申请第一方面的第二分布式存储系统，其中查询请求携带了键。根据本申请第一方面的第一本文档来自技高网...

【技术保护点】
1.一种分布式存储系统，包括耦合到网络的查询节点、中继节点与资源节点，查询节点用于向网络发出用于查询网络中的资源的查询请求资源节点用于提供分布式存储系统的资源，资源节点和/或中继节点广播查询请求或广播指示查询成功的消息；/n资源节点和/或中继节点记录了资源映射信息，资源映射信息包括多条记录，每条记录指示查询请求从被查询节点发出到资源节点应答所经历的各个网络节点的区块，其中区块包括节点的节点标识、节点的特征信息的数字签名与指示区块被添加的时间的时间戳；/n资源节点记录了转换信息，转换信息的每条记录指示从键到地址的映射。/n

【技术特征摘要】
1.一种分布式存储系统，包括耦合到网络的查询节点、中继节点与资源节点，查询节点用于向网络发出用于查询网络中的资源的查询请求资源节点用于提供分布式存储系统的资源，资源节点和/或中继节点广播查询请求或广播指示查询成功的消息；
资源节点和/或中继节点记录了资源映射信息，资源映射信息包括多条记录，每条记录指示查询请求从被查询节点发出到资源节点应答所经历的各个网络节点的区块，其中区块包括节点的节点标识、节点的特征信息的数字签名与指示区块被添加的时间的时间戳；
资源节点记录了转换信息，转换信息的每条记录指示从键到地址的映射。


2.根据权利要求1所述的分布式存储系统，其中查询请求携带了键，或者资源节点根据查询请求生成键。


3.根据权利要求1或2所述的分布式存储系统，其中资源节点根据转换信息识别自身是否记录了查询请求所指示的键所对应的值，并在自身记录了查询请求所指示的键所对应的值的情况下，生成指示查询成功的消息，并在网络内广播指示查询成功的消息。


4.根据权利要求3所述的分布式存储系统，其中资源节点在自身未记录查询请求所指示的键所对应的值的情况下，在查询请求中添加记录了自身信息的区块，并向网络广播查询请求。


5.根据权利要求1-4之一所述的分布式存储系统，所述分布式存储系统包括多个网络，其中查询节点通过广播向网络发送查询请求，中继节点通过广播在网络之间转发查询请求或指示查询成功的消息。


...

【专利技术属性】
技术研发人员：孙唐，沈飞，古进，谈笑，
申请(专利权)人：北京忆芯科技有限公司，
类型：发明
国别省市：北京;11