【技术实现步骤摘要】
存储系统中的数据存储方法、数据读取方法、装置及系统本申请要求在2020年01月08日提交的申请号为202010018706.6、申请名称为“一种存储系统中数据存储方法及存储系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及信息
,特别涉及一种存储系统中的数据存储方法、数据读取方法、装置及系统。
技术介绍
分布式存储系统可以包括多个存储节点。存储节点即存储服务器,每一个存储服务器包含存储资源,例如包含多个硬盘。分布式存储系统将存储节点中的存储资源组织起来提供存储服务。客户端将数据存储到分布式存储系统中,通常将数据划分为M数据单元,基于纠删码(ErasureCoding,EC)算法获得数据单元的N个校验单元。客户端将M个数据单元和N个校验单元存储到M+N个存储节点,即M+N个存储节点中的一个存储节点存储相应的一个单元(数据单元或校验单元)。尽管硬盘容量地不断增加,存储节点可以挂载更多硬盘,但客户端存储数据时,仍然以存储节点作为基于EC算法的存储粒度,无法充分利用硬盘的存储资 ...
【技术保护点】
1.一种存储系统中的数据存储方法,其特征在于,所述方法包括:/n第一设备为M份数据单元生成N份校验单元;其中,M和N分别为正整数;M+N=K;/n所述第一设备将所述K份单元存储到所述存储系统中的K个硬盘模组;其中,所述K份单元包含M份数据单元和N份校验单元,所述K个硬盘模组中的每一个硬盘模组存储所述K份单元中的一份;所述每一个硬盘模组包含接口卡和硬盘,所述接口卡与所述硬盘通信。/n
【技术特征摘要】
20200108 CN 20201001870661.一种存储系统中的数据存储方法,其特征在于,所述方法包括:
第一设备为M份数据单元生成N份校验单元;其中,M和N分别为正整数;M+N=K;
所述第一设备将所述K份单元存储到所述存储系统中的K个硬盘模组;其中,所述K份单元包含M份数据单元和N份校验单元,所述K个硬盘模组中的每一个硬盘模组存储所述K份单元中的一份;所述每一个硬盘模组包含接口卡和硬盘,所述接口卡与所述硬盘通信。
2.根据权利要求1所述的方法,其特征在于,所述存储系统包含多个存储节点,每一个存储节点均与所述K个硬盘模组的接口卡通信。
3.根据权利要求2所述的方法,其特征在于,所述第一设备为所述存储系统的客户端;所述第一设备将所述K份单元存储到所述存储系统中的K个硬盘模组,具体包括:
所述客户端将所述K份单元发送到所述多个存储节点中的目标存储节点;
所述目标存储节点将所述K份单元存储到所述存储系统中的K个硬盘模组。
4.根据权利要求2所述的方法,其特征在于,所述第一设备为所述多个存储节点中的一个。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述接口卡为主机总线适配器、独立硬盘冗余阵列卡、扩展器卡或网络接口卡。
6.根据权利要求1所述的方法,其特征在于,所述存储系统包括第二设备,所述第二设备与所述第一设备之间存在互备关系。
7.一种存储系统中的数据读取方法,其特征在于,所述方法包括:
第一设备接收读取请求,所述读取请求包括待读取数据的数据标识;
所述第一设备根据所述数据标识从所述存储系统中的K个硬盘模组中确定存储所述待读取数据的硬盘模组;
所述第一设备从所述存储所述待读取数据的硬盘模组中读取所述待读取数据;其中,所述待读取数据属于M份数据单元中的数据;所述存储系统还包含所述M份数据单元的N份校验单元;M和N分别为正整数;M+N=K;所述K个硬盘模组中的每一个硬盘模组存储所述K份单元中的一份;所述K份单元包含所述M份数据单元和所述N份校验单元;所述每一个硬盘模组包含接口卡和硬盘,所述接口卡与所述硬盘通信。
8.根据权利要求7所述的方法,其特征在于,所述存储系统包含多个存储节点,每一个存储节点均与所述K个硬盘模组的接口卡通信。
9.根据权利要求7所述的方法,其特征在于,所述第一设备为所述存储系统的客户端;所述第一设备从所述存储所述待读取数据的硬盘模组中读取所述待读取数据,具体包括:
所述客户端向所述多个存储节点中的目标存储节点发送数据读取请求;所述数据读取数据携带所述数据标识;
所述目标存储节点根据所述数据标识从所述存储所述待读取数据的硬盘模组中读取所述待读取数据。
10.根据权利要求8所述的方法,其特征在于,所述第一设备为所述多个存储节点中的一个。
11.根据权利要求7至10任一项所述的方法,其特征在于,所述接口卡为主机总线适配器、独立硬盘冗余阵列卡、扩展器卡或网络接口卡。
12.根据权利要求7所述的方法,其特征在于,所述存储系统包括第二设备,所述第二设备与所述第一设备之间存在互备关系。
13.一种存储系统中的数据存储装置,其特征在于,所述装置包括:
生成单元,用于为M份数据单元生成N份校验单元;其中,M和N分别为正整数;M+N=K;
存储单元,用于将所述K份单元存储到所述存储系统中的K个硬盘模组;其中,所述K份单元包含M份数据单元和N份校验单元,所述K个硬盘模组中的每一个硬盘模组存储所述K份单元中的一份;所述每一个硬盘模组包含接口卡和硬盘,所述接口卡与所述硬盘通信。
14.根据权利要求13所述的装置,其特征在于,所述存储系统包含多个存储节点,每一个存储节点均与所述K个硬盘模组的接口卡通信。
15.根据权利要求14所述的装置,其特征在于,所述装置为所述存储系统的客户端;所述装置包括:发送单元;
所述发送单元,用于将所述K份单元发送到所述多个存储节点中的目标存储节点,以使所述目标存储节点将所述K份单元存储到所述存储系统中的K个硬盘模组。
16.根据权利要求14所述的装置,其特征在于,所述装置为所述多个存储节点中的一个。
17.根据权利要求13至16任一项所述的装置,其特征在于,所述接口卡为主机总线适配器、独立硬盘冗余阵列卡、扩展器卡或网络接口卡。
18.根据权利要求13所述的装置,其特征在于,所述存储系统包括第二设备,所述第二设备与所述装置之间存在互备关系。
19.一种存储系统中的数据读取装置,其特征在于,所述装置包括:
接收单元,用于接收读取请求,所述读取请求包括待读取数据的数据标识;
处理单元,用于根据所述数据标识从所述存储系统中的K个硬盘模组中确定存储所述待读取数据的硬盘模组;
所述处理单元,还用于从所述存储所述待读取数据的硬盘模组中读取所述待读取数据;其中,所述待读取数据属于M份数据单元中的数据;所述存储系统还包含所述M份数据单元的N份校验单元;M和N分别为正整数;M+N=K;所述K个硬盘模组中的每一个硬盘模组存储所述K份单元中的一份;所述K份单元包含所述M份数据单元和所述N份校验单元;所述每一个硬盘模组包含接口卡和硬盘,所述接口卡与所述硬盘通信...
【专利技术属性】
技术研发人员:陈灿,陈明,谭春毅,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。