数据存储方法、装置、相关设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据存储方法、装置、相关设备及存储介质，其中方法包括：响应于针对待存储数据的存储触发操作，从客户端获取待存储数据的内容数据，并将内容数据写到目标磁盘中；获取待存储数据的属性数据，并在目标节点设备为节点集合中的主节点设备时，将属性数据写到目标磁盘中；若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性信息写到目标磁盘中，可提升对象存储系统中数据存储的性能。

【技术实现步骤摘要】
数据存储方法、装置、相关设备及存储介质
本申请涉及计算机
，尤其涉及一种数据存储方法、装置、相关设备及存储介质。
技术介绍
随着互联网的大规模普及和应用，数据量的爆炸式增长标志着大数据时代的来临。海量数据的发展为人们的生活带来诸多便利，例如云存储、电子支付、网络购物等，但随之而来的也有存储海量数据的严峻挑战。对象存储系统能够支持百亿甚至千亿级文件规模的存储。但目前，该存储系统在存储文件时，数据和元数据写入存储系统时，在数据传输过程中存在冗余的数据拷贝的问题，并且每写一次数据会有两次强制刷盘，影响数据存储的性能。因此，如何提升数据存储性能成为了当前的研究热点。
技术实现思路
本专利技术实施例提供了一种数据存储方法、装置、相关设备及存储介质，可以提升目标节点设备的数据存储性能。一方面，本专利技术实施例提供了一种数据存储方法，该数据存储方法由节点集合中的目标节点设备执行，包括：响应于针对待存储数据的存储触发操作，从客户端获取待存储数据的内容数据，并将内容数据存储到目标磁盘中；获取待存储数据的属性数据，并在目标节点设备为节点集合中的主节点设备时，将属性数据存储到所述目标磁盘中；若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性信息存储到目标磁盘中。获取单元，用于响应于针对待存储数据的存储触发操作，从客户端获取所述待存储数据的内容数据；存储单元，用于将所述内容数据写到目标磁盘中；所述获取单元，还用于获取所述待存储数据的属性数据；所述存储单元，还用于在所述目标节点设备为所述节点集合中的主节点设备时，将所述属性数据写到所述目标磁盘中；发送单元，用于若所述目标节点设备不是所述节点集合中的主节点设备，则将所述属性数据发送到所述主节点设备，以使所述主节点设备将所述属性信息写到所述目标磁盘中。其中，目标节点设备为节点集合中与客户端处于同一机架的任一节点设备；或者，目标节点设备为节点集合中与客户端存在相同网络地址的节点设备；其中，从客户端获取的内容数据的数据格式为第一数据格式。在一个实施例中，发送单元还用于将第一数据格式的内容数据发送到目标磁盘；存储单元还用于在节点集合中除目标节点设备之外的每个其他节点设备均将第一数据格式的内容数据发送到目标磁盘后，将内容数据写到目标磁盘中；其中，其他节点设备中的第一数据格式的内容数据是由目标节点设备发送的。在一个实施例中，采用第一数据格式对属性数据的数据格式进行转换，得到第一数据格式的属性数据；存储单元还用于采用目标协议将第一数据格式的属性数据写到目标磁盘中。在一个实施例中，采用目标协议将第一数据格式的属性数据写到目标磁盘时，对第一数据格式的属性数据进行拷贝的次数小于预设次数阈值。在一个实施例中，该数据存储装置还包括：判断单元，用于判断内容数据是否被全部写到目标磁盘；若内容数据被全部写到目标磁盘，获取单元用于获取待存储数据的属性数据；存储单元用于在目标节点设备为节点集合中的主节点设备时，将属性数据写到目标磁盘中；发送单元用于若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性数据写到目标磁盘中。在一个实施例中，一个待存储数据的内容数据被划分为一个或多个数据块；当将待存储数据的最后一个数据块写到目标磁盘后，对目标磁盘进行刷盘处理，并检测针对目标磁盘中的每次刷盘操作是否均成功；若针对目标磁盘的每次刷盘操作均成功，则确定内容数据已被全部写到目标磁盘。一方面，本专利技术实施例提供了目标节点设备，包括：处理器，适于实现一条或多条指令，以及计算机存储介质，所述计算机存储介质存储一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行：响应于针对待存储数据的存储触发操作，从客户端获取待存储数据的内容数据，并将内容数据写到目标磁盘中；获取待存储数据的属性数据，并在目标节点设备为节点集合中的主节点设备时，将属性数据写到目标磁盘中；若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性信息写到目标磁盘中。一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时，用于执行：响应于针对待存储数据的存储触发操作，从客户端获取待存储数据的内容数据，并将内容数据写到目标磁盘中；获取待存储数据的属性数据，并在目标节点设备为节点集合中的主节点设备时，将属性数据写到目标磁盘中；若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性信息写到目标磁盘中。一方面，本专利技术实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，计算机程序存储在计算机存储介质中；服务器的处理器从计算机存储介质中读取所述计算机指令，所述处理器执行：响应于针对待存储数据的存储触发操作，从客户端获取待存储数据的内容数据，并将内容数据写到目标磁盘中；获取待存储数据的属性数据，并在目标节点设备为节点集合中的主节点设备时，将属性数据写到目标磁盘中；若目标节点设备不是节点集合中的主节点设备，则将属性数据发送到主节点设备，以使主节点设备将属性信息写到目标磁盘中。本专利技术实施例中，客户端在需要将待存储数据存储到目标磁盘时，可基于目标节点设备来传输待存储数据，其中，该目标节点设备可先从客户端获取待存储数据的内容数据，该内容数据可以被分为一个或多个数据块，数据块的数据格式为第一数据格式，目标节点设备每次从客户端获取一个数据块，将该数据块写到目标磁盘中。当写到目标磁盘中的未进行刷盘操作的数据块的总量到达设置的阈值时，目标节点设备进行刷盘操作，相比于目标节点设备获取非第一数据格式的数据块，然后将非第一数据格式的数据块写到目标磁盘，每写4MB就会进行一次刷盘操作来说，可以减少目标节点设备将该内容数据存储到目标磁盘的刷盘次数，此外，该目标节点设备还可从客户端中获取待存储数据的属性数据，由于属性数据只能由节点集合中的主节点设备进行存储，所以，在目标节点设备接收到属性数据后，可先判断该目标节点设备是否为主节点设备，并在确定是主节点设备时，直接存储该属性数据，而完成对待存储数据的存储，而在该目标节点设备不是主节点设备时，该目标节点设备可进一步将该属性数据转发给主节点设备，并由主节点设备存储该属性数据，使得目标节点设备可在不是主节点设备时实现将待存储数据存储到目标磁盘中，且由于待存储数据中的内容数据和属性数据均是采用的第一数据格式进行传输，可以减少数据拷贝的次数，从而提升数据存储的性能。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，所述数据存储方法由节点集合中的目标节点设备执行，所述方法包括：/n响应于针对待存储数据的存储触发操作，从客户端获取所述待存储数据的内容数据，并将所述内容数据写到目标磁盘中；/n获取所述待存储数据的属性数据，并在所述目标节点设备为所述节点集合中的主节点设备时，将所述属性数据写到所述目标磁盘中；/n若所述目标节点设备不是所述节点集合中的主节点设备，则将所述属性数据发送到所述主节点设备，以使所述主节点设备将所述属性信息写到所述目标磁盘中。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述数据存储方法由节点集合中的目标节点设备执行，所述方法包括：
响应于针对待存储数据的存储触发操作，从客户端获取所述待存储数据的内容数据，并将所述内容数据写到目标磁盘中；
获取所述待存储数据的属性数据，并在所述目标节点设备为所述节点集合中的主节点设备时，将所述属性数据写到所述目标磁盘中；
若所述目标节点设备不是所述节点集合中的主节点设备，则将所述属性数据发送到所述主节点设备，以使所述主节点设备将所述属性信息写到所述目标磁盘中。


2.根据权利要求1所述的方法，其特征在于，所述目标节点设备为所述节点集合中与所述客户端处于同一机架的任一节点设备；或者，
所述目标节点设备为所述节点集合中与所述客户端存在相同网络地址的节点设备。


3.根据权利要求2所述的方法，其特征在于，从所述客户端获取的内容数据的数据格式为第一数据格式；所述将所述内容数据写到目标磁盘中，包括：
将第一数据格式的内容数据发送到所述目标磁盘，并在所述节点集合中除所述目标节点设备之外的每个其他节点设备均将所述第一数据格式的内容数据发送到所述目标磁盘后，将所述内容数据写到所述目标磁盘中。
其中，所述其他节点设备中的第一数据格式的内容数据是由所述目标节点设备发送的。


4.根据权利要求1所述的方法，其特征在于，所述将所述属性数据写到所述目标磁盘中，包括：
采用第一数据格式对所述属性数据的数据格式进行转换，得到第一数据格式的属性数据；
采用目标协议将所述第一数据格式的属性数据写到所述目标磁盘中。


5.根据权利要求4所述的方法，其特征在于，采用所述目标协议将所述第一数据格式的属性数据写到所述目标磁盘时，对所述第一数据格式的属性数据进行拷贝的次数小于预设次数阈值。


6.根...

【专利技术属性】
技术研发人员：王杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44