一种数据处理的方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：确定各候选计算节点，并获取各候选计算节点的历史访问记录，根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间，根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个目标计算节点，将目标名字空间下的至少部分元数据发送给目标计算节点进行存储，以使其他计算候选计算节点向目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。获取到的元数据进行数据处理。获取到的元数据进行数据处理。

【技术实现步骤摘要】
一种数据处理的方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种数据处理的方法、装置、存储介质及电子设备。

技术介绍

[0002]近年来，大规模分布式集群系统依靠其高性能、高可扩展、高可用等特点，已经被广泛地应用到诸如石油采集、天然气采集、制造、富媒体、金融等需要大规模高性能计算的领域中。分布式系统的架构通常由三部分组成，即元数据节点、计算节点以及存储节点，从而通过存储与计算分离的方法实现其高性能和高扩展性，进而满足各种应用的运行需求。
[0003]然而，目前通过分布式集群系统进行数据访问的过程中，元数据的访问量往往会过于庞大，并且大量计算节点并发的数据访问请求会争用元数据节点集群的网络资源以及存储资源，从而影响系统性能，甚至会导致网络拥塞、I/O拥塞等问题。
[0004]因此，如何有效降低计算节点的数据访问请求对元数据节点集群的网络资源以及存储资源的占用，避免数据访问的过程中出现网络拥塞以及I/O拥塞，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种数据处理的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种数据处理的方法，包括：
[0008]确定各候选计算节点，并获取各候选计算节点的历史访问记录；
[0009]根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间；
[0010]根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个计算节点，作为目标计算节点；
[0011]将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行5存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。
[0012]可选地，确定各候选计算节点，具体包括：
[0013]从各计算节点中，选取部署位置之间的距离满足预设距离条件的计算节点，作为候选计算节点。
[0014]0可选地，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，具体包括：
[0015]根据所述历史访问记录，在所述目标名字空间的根目录中确定各候选计算节点访问过的历史元数据；
[0016]将所述历史元数据发送给所述目标计算节点进行存储，并将存储所述历史5元数据的目标计算节点作为本地元数据节点。
[0017]可选地，所述方法还包括：
[0018]在数据处理的过程中，若所述目标计算节点中未存储有所述数据获取请求对应的元数据，则将存储在所述全局元数据节点中的所述数据获取请求对应的元数据发送给所述目标计算节点进行存储。
[0019]0可选地，所述方法还包括：
[0020]若监测到所述本地元数据节点对应目标名字空间的访问频率低于预设阈值，则获取所述本地元数据节点发送的撤销请求；
[0021]根据所述撤销请求，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点。
[0022]5可选地，根据所述撤销请求，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点，具体包括：
[0023]若允许候选计算节点执行对所述元数据的写操作，则在全局元数据节点中同步所述写操作后，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点。
[0024]可选地，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理，具体包括：
[0025]确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理。
[0026]可选地，确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理，具体包括：
[0027]若所述数据处理规则只允许候选计算节点执行对元数据进行读操作，则在监测到出现针对元数据的写操作时，删除存储在所述目标计算节点中的元数据，并释放所述目标名字空间占用的存储空间。
[0028]可选地，所述方法还包括：
[0029]若监测到仅出现针对文件数据的写操作，但未出现针对元数据的写操作，则不删除存储在所述目标计算节点中的元数据以及释放所述目标名字空间占用的存储空间。
[0030]可选地，确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理，具体包括：
[0031]若所述数据处理规则允许候选计算节点执行对元数据的读操作以及写操作，则在获取元数据的读写请求后，判断所述读写请求对应的元数据是否存储在所述目标计算节点；
[0032]若是，通过所述目标计算节点，将所述读写请求对应的元数据返回发送所述读写请求的候选计算节点，否则将存储在全局元数据节点中的所述元数据返回所述候选计算节点。
[0033]可选地，所述方法还包括：
[0034]若存在有除各候选计算节点以外的其他计算节点对存储在所述目标计算节点中的元数据执行读写操作，则删除存储在所述目标计算节点中的元数据以及释放所述目标名
字空间占用的存储空间。
[0035]可选地，通过目标计算节点，将所述读写请求对应的元数据返回发送所述5读写请求的候选计算节点，具体包括：
[0036]判断所述目标计算节点是否存储所述元数据所在存储对象的对象信息；
[0037]若是，通过所述目标计算节点向所述候选计算节点返回存储在所述存储对象中的元数据，否则在所述目标计算节点中创建所述存储对象，并从存储节点中获取所述对象信息，以及将所述对象信息存储在所述目标计算节点。
[0038]0可选地，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理，具体包括：
[0039]通过所述目标计算节点，将所述数据获取请求对应的元数据发送给所述其他候选计算节点，以使所述其他候选计算节点根据所述元数据，确定所述数据5在存储节点中的存储信息；
[0040]根据所述存储信息，从所述存储节点中获取所述数据。
[0041]可选地，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标
[0042]计算节点发送数据获取请求，并根据获取到的元数据进行数据处理，具体包括：0判断各候选计算节点中是否存在存储所述元数据的目标计算节点；
[0043]若是，通过所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法应用于分布式集群系统的全局元数据节点，包括：确定各候选计算节点，并获取各候选计算节点的历史访问记录；根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间；根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个计算节点，作为目标计算节点；将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。2.如权利要求1所述的方法，其特征在于，确定各候选计算节点，具体包括：从各计算节点中，选取部署位置之间的距离满足预设距离条件的计算节点，作为候选计算节点。3.如权利要求1所述的方法，其特征在于，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，具体包括：根据所述历史访问记录，在所述目标名字空间的根目录中确定各候选计算节点访问过的历史元数据；将所述历史元数据发送给所述目标计算节点进行存储，并将存储所述历史元数据的目标计算节点作为本地元数据节点。4.如权利要求1所述的方法，其特征在于，所述方法还包括：在数据处理的过程中，若所述目标计算节点中未存储有所述数据获取请求对应的元数据，则将存储在所述全局元数据节点中的所述数据获取请求对应的元数据发送给所述目标计算节点进行存储。5.如权利要求3所述的方法，其特征在于，所述方法还包括：若监测到所述本地元数据节点对应目标名字空间的访问频率低于预设阈值，则获取所述本地元数据节点发送的撤销请求；根据所述撤销请求，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点。6.如权利要求5所述的方法，其特征在于，根据所述撤销请求，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点，具体包括：若允许候选计算节点执行对所述元数据的写操作，则在全局元数据节点中同步所述写操作后，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点。7.如权利要求1所述的方法，其特征在于，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理，具体包括：确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理。8.如权利要求7所述的方法，其特征在于，确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理，具
体包括：若所述数据处理规则只允许候选计算节点执行对元数据进行读操作，则在监测到出现针对元数据的写操作时，删除存储在所述目标计算节点中的元数据，并释放所述目标名字空间占用的存储空间。9.如权利要求8所述的方法，其特征在于，所述方法还包括：若监测到仅出现针对文件数据的写操作，但未出现针对元数据的写操作，则不删除存储在所述目标计算节点中的元数据以及释放所述目标名字空间占用的存储空间。10.如权利要求7所述的方法，其特征在于，确定预先设置的所述目标计算节点对应的数据处理规则，以使所述其他候选计算节点在所述数据处理规则的约束下进行数据处理，具体包括：若所述数据处理规则允许候选计算节点执...

【专利技术属性】
技术研发人员：李勇，程稳，陈光，朱世强，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：