【技术实现步骤摘要】
基于纠删码技术的云存储系统、装置、电子设备和介质
[0001]本公开涉及云存储
，具体而言，涉及一种基于纠删码技术的云存储系统、装置、电子设备和介质。
技术介绍
[0002]目前，纠删码(Erasure Code，EC)技术是云存储中一种数据保护方法，核心技术是将数据分割成块，并编码出冗余数据块，进而将其存储在不同的位置，以提升云存储的可用性。
[0003]在相关技术中，纠删码方案进行数据修复或大量读写请求时，会产生大量的网络数据传输，对网络的数据传输性能产生严重的不良影响，从而降低上层应用(如数据访问)性能，这个问题在云存储跨数据中心部署时，会更加严重。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种基于纠删码技术的云存储系统、装置、电子设备和介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的云存储的数据交互压力大的问题。<...
【技术保护点】
【技术特征摘要】
1.一种基于纠删码技术的云存储系统，其特征在于，包括：第一资源池，所述第一资源池包括多个第一存储节点，所述第一存储节点用于存储N个原始块数据对应的K个校验数据块；第二资源池，所述第二资源池包括多个第二存储节点，所述第二存储节点用于存储所述原始块数据，所述第二资源池与所述第一资源池之间通过接收组件和发送组件进行数据交互；预测训练集群，集成于所述第一资源池和所述第二资源池设置，用于对所述第一资源池与所述第二资源池之间的数据交互的流量需求进行预测，以及对所述第一存储节点和所述第二存储节点的失效概率进行预测；协调器，连接于所述预测训练集群，用于根据预测的流量需求和失效概率对所述接收组件和所述发送组件进行调控。2.如权利要求1所述的基于纠删码技术的云存储系统，其特征在于，还包括：缓存系统，集成于所述第二资源池设置，用于对所述第一资源池反馈的读数据进行本地存储，并响应于客户端的读请求将本地存储的读数据反馈至所述客户端。3.如权利要求1或2所述的基于纠删码技术的云存储系统，其特征在于，还包括：键值数据库，集成于所述第二资源池设置，用于对所述缓存系统的写请求进行缓存。4.一种基于纠删码技术的云存储系统的数据处理方法，其特征在于，如权利要求1至3中任一项所述的基于纠删码技术的云存储系统包括第一资源池、第二资源池、预测训练集群、协调器、缓存系统和键值数据库，所述数据处理方法包括：对所述第一资源池与所述第二资源池之间的数据交互的流量需求进行预测，所述第二资源池与所述第一资源池之间通过接收组件和发送组件进行数据交互；对所述第一存储节点和所述第二存储节点的失效概率进行预测；根据预测的流量需求和失效概率对所述接收组件和所述发送组件进行调控。5.如权利要求4所述的基于纠删码技术的云存储系统的数据处理方法，其特征在于，还包括：响应于客户端的写访问请求，将所述写访问请求对应的键值写入所述键值数据库；若确定所述缓存系统命中所述写访问请求对应的键值，则将所述缓存系统本地存储的数据的条带进行修改，并反馈写成功响应至所述客户端；若确定所述缓存系统未命中所述写访问请求对应的键值，则触发所述第二资源池计算原始数据块和校验数据块的线性组合；将所述线性组合发送至所述第一资源池；触发所述第一资源池反馈所述线性组合对应的写成功响应至所述第二资源池；触发所述缓存系统将所述写成功响应反馈至所述客户端，并基于所述写成功响应更新所述缓存系统的数据的条带。6.如权利要求4所述的基于纠删码技术的云存储系统的数据处理方法，其特征在于，还包括：响应于客户端的写访问请求，将所述写访问请求对应的键值写入所述键值数据库；响应于客户端的读访问请求，将所述读访问请求对应的键值写入所述键值数据库；若确定所述缓存系统命中所述读访问请求对应的键值，则将所述缓存系统本地存储的
数据的条带进行修改，并反馈所述缓存系统的读取数据至所述客户端；若确定所述缓存系统未命中所述读访问请求对应的键值，则触发所述第二资源池将所述读访问...
【专利技术属性】
技术研发人员：刘圆，杜洋，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。