在分散存储网络的区域中顺序地存储数据制造技术

一种由分散存储网络(DSN)中的存储单元执行的方法包括基于区域分配参数选择该存储单元的一个存储设备的多个存储区域的第一存储区域，并将多个存储区域的第一存储区域指定为对写入开放。经由网络接收用于存储的第一数据切片。基于确定多个存储区域的第一存储区域被指定为对写入开放，将第一数据切片顺序地写入多个存储区域的第一存储区域的一个存储位置。生成指示多个存储区域的第一存储区域和该存储位置的对应于第一数据切片的指针。经由网络从请求实体接收指示第一数据切片的第一读取请求。基于该指针从存储设备检索第一数据切片，发送到请求实体。

Sequential storage of data in areas of a decentralized storage network

【技术实现步骤摘要】
【国外来华专利技术】在分散存储网络的区域中顺序地存储数据
本专利技术一般涉及计算机网络，更具体地说，涉及分散差错编码数据。
技术介绍
已知计算设备传送数据、处理数据和/或存储数据。这样的计算设备的范围从无线智能电话、笔记本电脑、平板电脑、个人计算机(PC)、工作站和视频游戏设备，到每天支持数以百万计的网络搜索、股票交易或在线购买的数据中心。通常，计算设备包括中央处理单元(CPU)、存储器系统、用户输入/输出接口、外围设备接口和互连总线结构。如进一步已知的，计算机可以通过使用“云计算”来代表该计算机执行一个或多个计算功能(例如，服务、应用、算法、算术逻辑功能等)来有效地扩展其CPU。此外，对于大型服务、应用和/或功能，云计算可以由分布式的多个云计算资源执行，以改善完成服务、应用和/或功能的响应时间。例如，Hadoop是一个开源软件框架，支持分布式应用程序，使数千台计算机能够执行应用程序。除了云计算之外，计算机可以使用“云存储”作为其存储系统的一部分。众所周知，云存储使用户能够通过其计算机在因特网存储系统上存储文件、应用程序等。因特网存储系统可以包括RAID(独立磁盘冗余阵列)系统和/或分散存储系统，其使用纠错方案来编码用于存储的数据。附图说明现在将仅通过示例的方式参考附图描述本专利技术的实施例，附图中：图1是根据本专利技术的分散或分布式存储网络(DSN)的实施例的示意框图；图2是根据本专利技术的计算核(core)的实施例的示意框图；图3是根据本专利技术的数据的分散存储差错编码的示例的示意框图；图4是根据本专利技术的差错编码功能的一般例子的示意框图；图5是根据本专利技术的差错编码功能的具体例子的示意方框图；图6是根据本专利技术的编码数据切片(EDS)的切片名称的示例的示意框图；图7是根据本专利技术的数据的分散存储差错解码的示例的示意框图；图8是根据本专利技术的差错解码功能的一般例子的示意框图；图9是根据本专利技术的分散或分布式存储网络(DSN)的实施例的示意框图；和图10是根据本专利技术在区域中顺序存储的方法的示例的逻辑图。具体实施方式图1是分散存储网络或分布式存储网络(DSN)10的实施例的示意性框图，该DSN包括多个计算设备12-16、管理单元18、完整性(integrity)处理单元20和DSN存储器22。DSN10的组件耦合到网络24，网络24可以包括一个或多个无线和/或有线通信系统；一个或多个非公共内联网系统和/或公共互联网系统；和/或一个或多个局域网(LAN)和/或广域网(WAN)。DSN存储器22包括多个存储单元36，其可以位于地理上不同的站点(例如，芝加哥的一个站点，密尔沃基的一个站点等)、公共站点或其组合。例如，如果DSN存储器22包括八个存储单元36，每个存储单元位于不同的站点。作为另一示例，如果DSN存储器22包括八个存储单元36，所有八个存储单元位于相同的站点。作为又一示例，如果DSN存储器22包括八个存储单元36，则第一对存储单元位于第一公共站点，第二对存储单元位于第二公共站点，第三对存储单元位于第三公共站点，第四对存储单元位于第四公共站点。注意，DSN存储器22可以包括多于或少于八个存储单元36。进一步注意，每个存储单元36包括计算核(如图2所示，或其组件)和多个用于存储分散差错编码数据的存储设备。在各种实施例中，每个存储单元作为分布式存储和任务(DST)执行单元操作，并且可操作以存储分散的差错编码的数据和/或以分布式方式执行一个或多个对数据的任务。任务可以是简单功能(例如，数学功能、逻辑功能、识别功能、查找功能、搜索引擎功能、替换功能等)、复杂功能(例如，压缩、人类和/或计算机语言翻译、文本到语音转换，语音到文本转换等)、多重简单和/或复杂功能、一个或多个算法、一个或多个应用程序等。此后，可以将存储单元可互换地称为分散存储和任务(DST)执行单元，并可以将一组存储单元可互换地称为一组DST执行单元。计算设备12-16、管理单元18和完整性处理单元20中的每一个包括计算核26，其包括网络接口30-33。计算设备12-16每个可以是便携式计算设备和/或固定计算设备。便携式计算设备可以是社交网络设备、游戏设备、手机、智能电话、数字助理、数字音乐播放器、数字视频播放器、膝上型计算机、手持式计算机、平板电脑、视频游戏控制器和/或包括计算核的任何其他便携式设备。固定计算设备可以是计算机(PC)、计算机服务器、有线机顶盒、卫星接收器、电视机、打印机、传真机、家庭娱乐设备、视频游戏机和/或任何类型的家庭或办公室计算设备。注意，每个管理单元18和完整性处理单元20可以是单独的计算设备，可以是公共计算设备，和/或可以集成到一个或多个计算设备12-16中和/或集成到一个或多个存储单元36中。在各种实施例中，计算设备12-16可以包括用户设备和/或可以由生成访问请求的请求实体使用，该访问请求可以包括向DSN中的存储单元读取或写入数据的请求。每个接口30、32和33包括用于间接和/或直接经由网络24支持一个或多个通信链路的软件和硬件。例如，接口30支持计算设备14和16之间的通信链路(例如，有线、无线、直接、经由LAN、经由网络24等)。作为另一示例，接口32支持通信链路(例如，在计算设备12和16与DSN存储器22之间的有线连接、无线连接、LAN连接和/或与网络24)的任何其他类型的连接。作为又一示例，接口33支持用于管理单元18和完整性处理单元20中的每一个到网络24的通信链路。计算设备12和16包括分散存储(DS)客户端模块34，其使得计算设备能够分散存储差错编码和解码数据，如随后参考图3-8中的一个或多个所描述的那样。在该示例实施例中，计算设备16用作计算设备14的分散存储处理代理。在该角色中，计算设备16代表计算设备14分散存储差错编码和解码数据。使用分散存储差错编码和解码时，DSN10容忍大量存储单元故障(故障的数量基于分散的存储差错编码功能的参数)而不丢失数据并且不需要数据的冗余或备份副本。此外，DSN10无限期地存储数据而不丢失数据并且存储方式安全(例如，系统非常抗得住未经授权的访问数据的尝试)。在操作中，管理单元18执行DS管理服务。例如，管理单元18为计算设备12-14单独地或作为一组用户设备的一部分建立分布式数据存储参数(例如，库创建、分布式存储参数、安全参数、计费信息、用户简档信息等)。作为特定示例，管理单元18为一个用户设备、一组设备或为公共访问协调DSN存储器22内的库(vault)(例如，与DSN的整个命名空间的一部分相关联的虚拟存储器块)的创建，并为库建立按库的分散存储(DS)差错编码参数。管理单元18通过更新DSN10的注册表信息来便利每个库的DS差错编码参数的存储，其中注册表信息可以存储在DSN存储器22、计算设备12-16、管理单元18和/或完整性处理单元20中。DSN管理单元18在本地存储器中和/或DSN存储器22的存储器内创建和存储用户简档信息(例如，访问控制列表(ACL))。用户简档信息包括认证信息、许可和/或安全参数。安全参数可以包括加密/解密方案、一个或多个加密密钥、密钥生成方案和/或数据编码/解码方案。DSN管理单元18为特定用户、用户组、库访问、公共库访问等创建计费信息。例如，DSN管理单元18跟踪本文档来自技高网...

【技术保护点】
1.一种由包括处理器的分散存储网络(DSN)的存储单元执行的方法，该方法包括：基于区域分配参数选择该存储单元的一个存储设备的多个存储区域的第一存储区域；将多个存储区域的第一存储区域指定为对写入开放；经由网络接收用于存储的第一数据切片；基于确定多个存储区域的第一存储区域被指定为对写入开放，将第一数据切片顺序地写入多个存储区域的第一存储区域的一个存储位置；生成指示多个存储区域的第一存储区域和该存储位置的对应于第一数据切片的指针；经由网络从请求实体接收指示第一数据切片的第一读取请求；基于该指针从存储设备检索第一数据切片；和将第一数据切片发送到请求实体。

【技术特征摘要】
【国外来华专利技术】2017.02.28 US 15/444,8001.一种由包括处理器的分散存储网络(DSN)的存储单元执行的方法，该方法包括：基于区域分配参数选择该存储单元的一个存储设备的多个存储区域的第一存储区域；将多个存储区域的第一存储区域指定为对写入开放；经由网络接收用于存储的第一数据切片；基于确定多个存储区域的第一存储区域被指定为对写入开放，将第一数据切片顺序地写入多个存储区域的第一存储区域的一个存储位置；生成指示多个存储区域的第一存储区域和该存储位置的对应于第一数据切片的指针；经由网络从请求实体接收指示第一数据切片的第一读取请求；基于该指针从存储设备检索第一数据切片；和将第一数据切片发送到请求实体。2.如权利要求1所述的方法，其中，基于小型计算机系统接口协议顺序地写入所述第一数据切片。3.根据权利要求1所述的方法，其中基于一个附加点顺序地写入所述第一数据切片，并且其中基于所述第一数据切片的长度在写入所述第一数据切片之后更新所述附加点。4.根据权利要求1所述的方法，其中基于所述区域分配参数选择恰好一个存储区域并指定为对写入开放，其中所述恰好一个存储区域是多个存储区域的第一存储区域，并且其中所述方法进一步包含：将多个存储区域中不是所述恰好一个存储区域的所有剩余存储区域指定为对写入关闭。5.如权利要求1所述的方法，还包括：基于所述区域分配参数从多个存储区域中选择存储区域的一个子集，其中基于所述区域分配参数选择该存储区域子集的大小，并且其中该存储区域子集包括多个存储区域的第一存储区域；指定该存储区域子集对写入开放；和将多个存储区域中未包括在该存储区域子集中的所有存储区域指定为对写入关闭。6.如权利要求1所述的方法，还包括：在写入第一数据切片之后的一个时间确定一个区域重新分配要求；基于区域重新分配要求，选择被指定为对写入关闭的多个存储区域的第二存储区域；将多个存储区域的第二存储区域指定为对写入开放；经由网络接收用于存储的第二数据切片；和基于确定多个存储区域的第二存储区域被指定为对写入开放，将第二数据切片顺序地写入多个存储区域的第二存储区域的一个存储位置。7.如权利要求1所述的方法，还包括：从存储在所述存储设备上的多个数据切片中识别与读取频率阈值相比有利的一个数据切片子集；将该数据切片子集存储在存储单元的易失性存储器中，其中从易失性存储器读取该数据切片子集比从存储设备读取该数据切片子集更快；经由网络接收指示第二数据切片的第二读取请求；确定第二数据切片存储在易失性存储器中；和从易失性存储器中检索第二数据切片，以便通过网络传输到请求实体。8.如权利要求1所述的方法，还包括：经由网络接收多个数据切片写入请求，其中，所述多个数据切片写入请求包括多个数据切片；将该多个数据切片存储在存储单元的一个高速缓存中；和响应于确定一个高速缓存刷新要求，通过生成包括所述多个数据切片的一个数据对象，通过响应于多个存储区域的第一存储区域被指定为对写入开放而将所述数据对象顺序地写到多个存储区域的第一存储区域，并且通过从高速缓存中移除所述多个数据切片，来刷新高速缓存。9.如权利要求1所述的方法，还包括：指定不包括多个存储区域的第一存储区域的多个存储区域的一个子集为对写入关闭；经由网络接收多个数据切片写入请求，其中，所述多个数据切片写入请求包括多个数据切片；通过将所述多个数据切片中的每一个分配给高速缓存中的多个队列中的一个，将所述多个数据切片存储在存储单元的一个高速缓存中，其中所述多个队列中的每一个对应于被指定为对写入关闭的多个存储区域的所述子集中的一个存储区域；在多个数据切片被存储在高速缓存中之后，确定一个区域重新分配要求；基于所述区域重新分配要求选择多个存储区域的第二存储区域，其中多个存储区域的第二存储区域包含在所述子集中；将多个存储区域的第二存储区域指定为对写入开放；和通过响应于确定多个存储区域的第二存储区域被指定为对写入开放而将多个队列的第一队列中的多个数据切片顺序地写入多个存储区域的第二存储区域，并且通过从高速缓存中删除多个队列的第一队列，从高速缓存中清除对应于多个存储区域的第二存储区域的多个队列的第一队列。10.如权利要求9所述的方法，其中，所述区域重新分配要求基于的是所述高速缓存的容量与高速缓存容量要求相比不利。11.如权利要求9所述的方法，其中，基于与所述多个队列相对应的队列优先级排序来选择所述多个存储区域的第二存储区域，并且其中，所述多个存储区域的第二存储区域对应于队列优先级排序名的最高优先级排序。12.如权利要求11所述的方法，其中，所述队列优先级排序基于一个数据依赖性要求，并且其中，响应于确定根据该数据依赖性要求，所述多个存储区域的第二存储区域中的第二数据切片必须在多个存储区域的第三存储区域中的第三数据切片之前写入，向所述多个存储区域的第二存储区域分配最高优先级排序。13.一种分散存储网络(DSN)中的存储单元的处理系统，包括：至少一个处理器；存储操作指令的存储器，当由至少一个处理器执行时，所述操作指令使该处理系统：基于区域分配参数选择该存储单元的一个存储设备的多个存储区域的第一存储区域；将多个存储区域的第一存储区域指定为对写入开放；经由网络接收用于存储的第一数据切片；基于确定多个存储区域的第一存储区域被指定为对写入开放，将第一数据切片顺序地写入多个存储区域的第一存储区域的一个存储位置；生成指示多个存储区域的第一存储区域和该存储位置的对应于第一数据切片的指针；经由网络从请求实体接收指示第一数据切片的第一读取请求；基于该指针从存储设备检索第一数据切片；和将第一数据切片发送到请求实体。14.如权利要求13所述的处...

【专利技术属性】
技术研发人员：A·D·巴普蒂斯特，I·沃尔沃夫斯基，P·维拉拉加万，M·莫特瓦尼，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US