数据存储系统、存储及读取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据存储系统、存储及读取方法、装置、设备及存储介质，应用于数据处理领域，其中，数据存储系统包括：客户端、服务节点和存储节点；服务节点，用于保存各存储节点的存储方式标签，存储方式标签包括流式存储标签和批式存储标签；客户端，用于接收待存储数据和存储需求；存储需求用于指示纯流式存储、纯批式存储或流批一体存储；按照存储需求，从各存储节点中获取目标流式存储节点和/或目标批式存储节点；目标流式存储节点和/或目标批式存储节点，用于存储待存储数据。本发明专利技术实施例能够降低对存储服务的维护成本。明实施例能够降低对存储服务的维护成本。明实施例能够降低对存储服务的维护成本。

【技术实现步骤摘要】
数据存储系统、存储及读取方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理领域，特别是涉及一种数据存储系统、存储及读取方法、装置、设备及存储介质。

技术介绍

[0002]相关技术中，为满足流式存储和批式存储两种业务场景的存储需要，如一份数据流场景和批场景均需要，则在存储该数据时，通过相互独立地系统分别进行流式存储和批式存储，即一个系统进行流式存储，另一个系统进行批式存储，由于两种存储系统之间没有关联，彼此独立，因此在维护系统时，即需要同时对两个系统进行单独维护，如此会使得存储服务维护成本过高。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种数据存储系统、存储及读取方法、装置、设备及存储介质，以降低对存储服务的维护成本。具体技术方案如下：
[0004]第一方面，本专利技术实施例提供了一种数据存储系统，所述数据存储系统包括：客户端、服务节点和存储节点；
[0005]所述服务节点，用于保存各存储节点的存储方式标签，所述存储方式标签包括流式存储标签和批式存储标签；其中，所述流式存储标签表示所述存储节点存储数据所使用的存储方式为流式存储方式，所述批式存储标签表示所述存储节点存储数据所使用的存储方式为批式存储方式；
[0006]所述客户端，用于接收待存储数据和存储需求；所述存储需求是基于所述待存储数据的应用场景确定的，用于指示纯流式存储、纯批式存储或流批一体存储；所述纯流式存储仅通过所述流式存储节点存储所述待存储数据；所述纯批式存储仅通过所述批式存储节点存储所述待存储数据；所述流批一体存储通过所述流式存储节点和所述批式存储节点存储所述待存储数据；按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点；其中，所述目标流式存储节点包括存储方式标签为流式存储标签的存储节点，所述目标批式存储节点包括存储方式标签为批式存储标签的存储节点；将所述待存储数据存储至所述目标流式存储节点和/或所述目标批式存储节点；
[0007]所述目标流式存储节点和/或所述目标批式存储节点，用于存储所述待存储数据。
[0008]可选地，所述客户端，具体用于将所述存储需求和所述待存储数据对应的第一目标数据标识发送给所述服务节点；
[0009]所述服务节点，具体用于按照所述存储需求、所述待存储数据对应的第一目标数据标识以及存储节点的存储方式标签，确定第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点，并将所述第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点的节点信息发送给客户端，所述节点信息用于所述客户端将待存储数据发送至所述目标流式存储节点和/或目标批式存储节点，以使目标流式存储节点和/或目标批式
存储节点进行存储；
[0010]所述客户端，具体用于接收所述节点信息。
[0011]可选地，所述存储需求用于指示流批一体存储；
[0012]所述客户端，具体用于按照所述用于指示流批一体存储的存储需求，从各存储节点中确定目标流式存储节点和目标批式存储节点；将所述待存储数据发送至所述目标流式存储节点；
[0013]所述目标流式存储节点，具体用于接收客户端发送的所述待存储数据，按照流式存储方式存储所述待存储数据；并将所述待存储数据同步至目标批式存储节点；
[0014]所述目标批式存储节点，用于按照批式存储方式存储所述待存储数据的副本。
[0015]第二方面，本专利技术实施例提供了一种数据存储方法，所述方法包括：
[0016]接收待存储数据和存储需求；所述存储需求是基于所述待存储数据的应用场景确定的，用于指示纯流式存储、纯批式存储或流批一体存储；所述纯流式存储仅通过所述流式存储节点存储所述待存储数据；所述纯批式存储仅通过所述批式存储节点存储所述待存储数据；所述流批一体存储通过所述流式存储节点和所述批式存储节点存储所述待存储数据；
[0017]按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点；其中，所述目标流式存储节点包括存储方式标签为流式存储标签的存储节点，所述目标批式存储节点包括存储方式标签为批式存储标签的存储节点；所述流式存储标签表示所述存储节点存储数据所使用的存储方式为流式存储方式，所述批式存储标签表示所述存储节点存储数据所使用的存储方式为批式存储方式；
[0018]将所述待存储数据存储至所述目标流式存储节点和/或所述目标批式存储节点。
[0019]可选地，所述按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点，包括：
[0020]将所述存储需求和所述待存储数据对应的第一目标数据标识发送给所述服务节点，所述服务节点用于按照所述存储需求、所述待存储数据对应的第一目标数据标识以及各存储节点的存储方式标签，确定第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点；
[0021]接收所述第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点的节点信息，所述节点信息用于所述客户端将待存储数据发送至所述目标流式存储节点和/或目标批式存储节点，以使目标流式存储节点和/或目标批式存储节点进行存储。
[0022]可选地，所述存储需求用于指示流批一体存储；
[0023]所述按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点，包括：
[0024]按照所述用于指示流批一体存储的存储需求，从各存储节点中确定所述第一目标数据标识对应的目标流式存储节点和目标批式存储节点；
[0025]所述将所述待存储数据存储至所述目标流式存储节点和/或所述目标批式存储节点，包括：
[0026]将所述待存储数据发送至所述目标流式存储节点，以使所述目标流式存储节点存储所述待存储数据，并将所述待存储数据同步至所述目标批式存储节点。
[0027]第三方面，本专利技术实施例提供了一种数据读取方法，所述方法包括：
[0028]接收数据访问请求，所述数据访问请求携带数据读取需求，所述数据读取需求是基于所述数据访问请求所指示的待访问数据的应用场景确定的，用于指示流式读取或批式读取；
[0029]若所述数据读取需求用于指示流式读取，则从各存储节点中确定流式存储节点，并从所述流式存储节点中读取数据；
[0030]若所述数据读取需求用于指示批式读取，则从各存储节点中确定批式存储节点，并从所述批式存储节点中读取数据；
[0031]其中，所述流式存储节点包括存储方式标签为流式存储标签的存储节点，所述批式存储节点包括存储方式标签为批式存储标签的存储节点；所述流式存储标签表示所述存储节点存储数据所使用的存储方式为流式存储方式，所述批式存储标签表示所述存储节点存储数据所使用的存储方式为批式存储方式；所述纯流式存储仅通过所述流式存储节点存储所述待存储数据；所述纯批式存储仅通过所述批式存储节点存储所述待存储数据；所述流批一体存储通过所述流式存储节点和所述批式存储节点存储所述待存储数据。
[0032]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储系统，其特征在于，所述数据存储系统包括：客户端、服务节点和存储节点；所述服务节点，用于保存各存储节点的存储方式标签，所述存储方式标签包括流式存储标签和批式存储标签；其中，所述流式存储标签表示所述存储节点存储数据所使用的存储方式为流式存储方式，所述批式存储标签表示所述存储节点存储数据所使用的存储方式为批式存储方式；所述客户端，用于接收待存储数据和存储需求；所述存储需求是基于所述待存储数据的应用场景确定的，用于指示纯流式存储、纯批式存储或流批一体存储；所述纯流式存储仅通过所述流式存储节点存储所述待存储数据；所述纯批式存储仅通过所述批式存储节点存储所述待存储数据；所述流批一体存储通过所述流式存储节点和所述批式存储节点存储所述待存储数据；按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点；其中，所述目标流式存储节点包括存储方式标签为流式存储标签的存储节点，所述目标批式存储节点包括存储方式标签为批式存储标签的存储节点；将所述待存储数据存储至所述目标流式存储节点和/或所述目标批式存储节点；所述目标流式存储节点和/或所述目标批式存储节点，用于存储所述待存储数据。2.根据权利要求1所述的系统，其特征在于，所述客户端，具体用于将所述存储需求和所述待存储数据对应的第一目标数据标识发送给所述服务节点；所述服务节点，具体用于按照所述存储需求、所述待存储数据对应的第一目标数据标识以及各存储节点的存储方式标签，确定第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点，并将所述第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点的节点信息发送给客户端，所述节点信息用于所述客户端将待存储数据发送至所述目标流式存储节点和/或目标批式存储节点，以使目标流式存储节点和/或目标批式存储节点进行存储；所述客户端，具体用于接收所述节点信息。3.根据权利要求1所述的系统，其特征在于，所述存储需求用于指示流批一体存储；所述客户端，具体用于按照所述用于指示流批一体存储的存储需求，从各存储节点中确定目标流式存储节点和目标批式存储节点；将所述待存储数据发送至所述目标流式存储节点；所述目标流式存储节点，具体用于接收客户端发送的所述待存储数据，按照流式存储方式存储所述待存储数据；并将所述待存储数据同步至目标批式存储节点；所述目标批式存储节点，用于按照批式存储方式存储所述待存储数据的副本。4.一种数据存储方法，其特征在于，所述方法包括：接收待存储数据和存储需求；所述存储需求是基于所述待存储数据的应用场景确定的，用于指示纯流式存储、纯批式存储或流批一体存储；所述纯流式存储仅通过所述流式存储节点存储所述待存储数据；所述纯批式存储仅通过所述批式存储节点存储所述待存储数据；所述流批一体存储通过所述流式存储节点和所述批式存储节点存储所述待存储数据；按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点；其中，所述目标流式存储节点包括存储方式标签为流式存储标签的存储节点，所述目标批式存储节点包括存储方式标签为批式存储标签的存储节点；所述流式存储标签表示所述存
储节点存储数据所使用的存储方式为流式存储方式，所述批式存储标签表示所述存储节点存储数据所使用的存储方式为批式存储方式；将所述待存储数据存储至所述目标流式存储节点和/或所述目标批式存储节点。5.根据权利要求4所述的方法，其特征在于，所述按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点，包括：将所述存储需求和所述待存储数据对应的第一目标数据标识发送给所述服务节点，所述服务节点用于按照所述存储需求、所述待存储数据对应的第一目标数据标识以及各存储节点的存储方式标签，确定第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点；接收所述第一目标数据标识对应的目标流式存储节点和/或目标批式存储节点的节点信息，所述节点信息用于所述客户端将待存储数据发送至所述目标流式存储节点和/或目标批式存储节点，以使目标流式存储节点和/或目标批式存储节点进行存储。6.根据权利要求4所述的方法，其特征在于，所述存储需求用于指示流批一体存储；所述按照所述存储需求，从各存储节点中确定目标流式存储节点和/或目标批式存储节点，包括：按照所述用于指示流批一体存储的存储需求，从各存储节点中确定所述第一目标数据标识对应的目标流式存储节点和目标批式存储节点；所述将所述待存储数据存储至所述目标流式存储...

【专利技术属性】
技术研发人员：马元文，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：