用于分布式存储系统的数据写入方法和装置制造方法及图纸

本申请公开了一种用于分布式存储系统的数据写入方法和装置，分布式存储系统包括多个段和数据驱动，每个段包括一个主段单元和多个从段单元，主段单元执行的方法包括：从数据驱动接收数据和唯一标识，数据驱动为数据生成唯一标识；为唯一标识生成区分标识；将唯一标识和区分标识广播到每个从段单元，其中从段单元从数据驱动接收数据和唯一标识；从每个从段单元接收对数据进行处理的响应，并将响应发送到数据驱动和装置。本发明专利技术在保持数据的强一致性的同时，实现了高吞吐量和低延迟。实现了高吞吐量和低延迟。实现了高吞吐量和低延迟。

【技术实现步骤摘要】
用于分布式存储系统的数据写入方法和装置


[0001]本公开涉及数据存储领域，特别涉及用于分布式存储系统的数据写入方法、装置、存储介质、电子设备。

技术介绍

[0002]随着大数据时代的到来，用户业务数据量显著增长，分布式存储系统在保证数据高可靠性、高可用性、强一致性等基础特性情况下，更需要面对用户对分布式存储系统高吞吐量、低延迟的要求。
[0003]一套大规模的分布式存储系统往往由大量的段（segment）构成，每个段由来自不同机器的段单元（segment unit）组成，每个段单元可以是不同机器上的不同设备，比如存储介质上某一段存储空间。用户数据通过数据驱动写入段时，数据驱动需要向段中的每个段单元写入数据，达到数据备份效果，因此，数据驱动需要同时将请求数据广播给这些段单元。
[0004]用户业务数据并发情况下，同一时间会通过多个数据驱动向同一段发送写入数据请求，为了保证用户数据的强一致性表现，段单元在接受到这些数据时，需要进行排序记录处理。
[0005]目前的数据写入方法分两种：一.数据驱动在接收到写入数据请求时，对该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分布式存储系统的数据写入方法，用于电子设备，其特征在于，所述分布式存储系统包括多个段和数据驱动，每个段包括一个主段单元和多个从段单元，所述主段单元执行的所述方法包括：从所述数据驱动接收数据和唯一标识，所述数据驱动为所述数据生成所述唯一标识；为所述唯一标识生成区分标识；将所述唯一标识和所述区分标识广播到每个所述从段单元，其中所述从段单元从所述数据驱动接收所述数据和所述唯一标识；从每个所述从段单元接收对所述数据进行处理的响应，并将所述响应发送到所述数据驱动。2.根据权利要求1所述的数据写入方法，其特征在于，每个所述从段单元以所述唯一标识为索引，分别对与所述区分标识关联的所述数据进行处理，并生成所述响应。3.根据权利要求2所述的数据写入方法，其特征在于，每个所述从段单元在接收到与所述唯一标识相关联的所述区分标识和所述数据后，通过所述唯一标识将所述区分标识和所述数据进行关联，从而对与所述区分标识关联的所述数据进行处理，并生成所述响应。4.根据权利要求1
‑
3中任一项所述的数据写入方法，其特征在于，所述区分标识是顺序标识。5.根据权利要求1所述的数据写入方法，其特征在于，在一段时间内，每个所述段中的所述唯一标识是唯一的。6.一种用于分布式存储系统的数据写入方法，用于电子设备，其特征在于，所述分布式存储系统包括多个段和数据驱动，每个段包括一个主段单元和多个从段单元，所述从段单元执行的所述方法包括：从所述数据驱动接收数据和唯一标识，所述数据驱动为所述数据生成所述唯一标识；从所述主段单元接收所述唯一标识和区分标识，其中，所述主段单元为所述唯一标识生成所述区分标识；以所述唯一标识为索引，分别对与所述区分标识关联的所述数据进行处理，并生成响应；将所述响应发送给所述数据驱动和所述主段单元。7.根据权利要求6所述的数据写入方法，其特征在于，所述从段单元在接收到与所述唯一标识相关联的所述区分标识和所述数据后，通过所述唯一标识将所述区分标识和所述数据进行关联，从而对与所述区分标识关联的所述数据进行处理，并生成所述响应。8.根据权利要求6所述的数据写入方法，其特征在于，所述主段单元将所述响应发送到所述数据驱动。9.根据权利要求6
‑
...

【专利技术属性】
技术研发人员：陈靓，王中原，
申请(专利权)人：南京鹏云网络科技有限公司，
类型：发明
国别省市：