元数据存储方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种元数据存储方法、装置、设备及存储介质，所述元数据存储方法包括：在检测到客户端的数据操作指令时，确定数据操作指令所指向的第一块设备；基于第一块设备，确定与第一块设备同属一个目标节点的第一网关模块，以及与第一网关模块同属所述目标节点，且管理第一块设备中元数据的第一元数据管理模块，其中，一个网关模块对应一个元数据管理模块；基于第一网关模块和第一元数据管理模块，执行数据操作指令对应的操作。本申请在每个块设备所属的网关下均设置有元数据管理模块，且每个元数据管理模块均能够进行元数据的数据操作处理，各网关下的元数据管理模块均能进行元数据处理，以此提高了集群的整体性能上限。限。限。

【技术实现步骤摘要】
元数据存储方法、装置、设备及存储介质


[0001]本申请涉及数据存储
，尤其涉及一种元数据存储方法、装置、设备及存储介质。

技术介绍

[0002]随着信息化程度的深入，信息数据量越来越大，广泛应用了元数据技术，出现了包括用于存储元数据(Metadata)的元数据服务器集群的云存储系统。
[0003]现有技术中通常在元数据服务器集群的云存储系统采用的是中心存储方法。在此方法中，多台设备的元数据仅由一个元数据管理模块对全部元数据的交互数据进行处理，但是当设备增加，相应所产生的元数据的交互数据增多时，该元数据管理模块对元数据的交互数据处理能力不足，导致元数据的数据处理迟缓，集群的整体性能上限低。

技术实现思路

[0004]本申请的主要目的在于提供一种元数据存储方法、装置、设备及存储介质，旨在解决现有技术中当设备增加，相应所产生的元数据的交互数据增多时，该元数据管理模块对元数据的交互数据处理能力不足，导致元数据的数据处理迟缓，集群的整体性能上限低的技术问题。
[0005]为实现以上目的，本申请提供一种元数据存储方法，所述元数据存储方法包括：
[0006]在检测到客户端的数据操作指令时，确定所述数据操作指令所指向的第一块设备；
[0007]基于所述第一块设备，确定与第一块设备同属一个目标节点的第一网关模块，以及与所述第一网关模块同属所述目标节点，且管理所述第一块设备中元数据的第一元数据管理模块，其中，一个网关模块对应一个元数据管理模块；
[0008]基于所述第一网关模块和所述第一元数据管理模块，执行所述数据操作指令对应的操作。
[0009]可选地，所述第一元数据管理模块所管理的位图元数据，与所述目标节点对应绑定节点的第二元数据管理模块所管理的位图元数据具有强一致性；
[0010]所述基于所述第一网关模块和所述第一元数据管理模块，执行所述数据操作指令对应的操作的步骤，包括：
[0011]基于所述强一致性、第一网关模块和所述第一元数据管理模块，在所述目标节点本地执行所述数据操作指令对应的操作。
[0012]可选地，所述数据操作指令包括元数据的存储指令；所述第一网关模块与所述目标节点对应绑定节点的第二网关模块分为一组，且维护指定的块设备；
[0013]所述基于所述强一致性、第一网关模块和所述第一元数据管理模块，在所述目标节点本地执行所述数据操作指令对应的操作的步骤，包括：
[0014]在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带
有所述待存储元数据的存储消息上报给第一元数据管理模块，并基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述待存储元数据，并反馈给所述第一元数据管理模块其已存储的反馈信息；
[0015]若基于所述第一元数据管理模块接收到所述反馈信息，则从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据。
[0016]可选地，所述在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块，并基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块的步骤，包括：
[0017]在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块后，确定所述绑定节点的状态信息；
[0018]若所述状态信息为节点正常，则基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块。
[0019]可选地，所述若所述状态信息为节点正常，则基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块的步骤之后，所述方法包括：
[0020]若所述状态信息为节点异常，则将所述第二网关维护的块设备与所述第一网关相连接，以供所述目标节点对应绑定节点异常期间所述第二网关维护的块设备正常运行；
[0021]基于所述第一元数据管理模块，从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据后，再将所述待存储元数据按照存放顺序存放至本地日志。
[0022]可选地，所述基于所述第一元数据管理模块，从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据后，再将所述待存储元数据按照存放顺序存放至本地日志的步骤之后，所述方法包括：
[0023]在所述目标节点对应绑定节点状态从异常状态恢复至正常状态后，基于所述第一元数据管理模块，读取所述本地日志存储的备份元数据，并将所述备份元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据。
[0024]可选地，所述基于所述第一元数据管理模块，读取所述本地日志存储的备份元数据，并将所述备份元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据的步骤，包括：
[0025]基于所述第一元数据管理模块，按照所述存放顺序从所述本地日志存储的数据中读取一条备份数据，并将所述备份数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据，并反馈给所述第一元数据管理模块其已存储的反馈信息；
[0026]若基于所述第一元数据管理模块接收到所述反馈信息，则返回所述基于所述第一元数据管理模块，按照所述存放顺序从所述本地日志存储的数据中读取一条备份数据，并将所述备份数据发送给所述第二网关模块对应的第二元数据管理模块的步骤，直至所述本
地日志存储的数据全部发送至所述第二元数据管理模块。
[0027]本申请还提供一种元数据存储装置，所述元数据存储装置包括：
[0028]检测模块，用于在检测到客户端的数据操作指令时，确定所述数据操作指令所指向的第一块设备；
[0029]确定模块，用于基于所述第一块设备，确定与第一块设备同属一个目标节点的第一网关模块，以及与所述第一网关模块同属所述目标节点，且管理所述第一块设备中元数据的第一元数据管理模块，其中，一个网关模块对应一个元数据管理模块；
[0030]执行模块，用于基于所述第一网关模块和所述第一元数据管理模块，在所述目标节点中执行所述数据操作指令对应的操作。
[0031]可选地，所述执行模块，包括：
[0032]一致性执行模块，用于基于所述强一致性、第一网关模块和所述第一元数据管理模块，在所述目标节点本地执行所述数据操作指令对应的操作。
[0033]和/或者，所述一致性执行模块还包括：第一存储模块，用于在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块，并基于所述第一元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据存储方法，其特征在于，所述元数据存储方法包括：在检测到客户端的数据操作指令时，确定所述数据操作指令所指向的第一块设备；基于所述第一块设备，确定与第一块设备同属一个目标节点的第一网关模块，以及与所述第一网关模块同属所述目标节点，且管理所述第一块设备中元数据的第一元数据管理模块，其中，一个网关模块对应一个元数据管理模块；基于所述第一网关模块和所述第一元数据管理模块，执行所述数据操作指令对应的操作。2.如权利要求1所述的元数据存储方法，其特征在于，所述第一元数据管理模块所管理的位图元数据，与所述目标节点对应绑定节点的第二元数据管理模块所管理的位图元数据具有强一致性；所述基于所述第一网关模块和所述第一元数据管理模块，执行所述数据操作指令对应的操作的步骤，包括：基于所述强一致性、第一网关模块和所述第一元数据管理模块，在所述目标节点本地执行所述数据操作指令对应的操作。3.如权利要求2所述的元数据存储方法，其特征在于，其中，所述数据操作指令包括元数据的存储指令；所述第一网关模块与所述目标节点对应绑定节点的第二网关模块分为一组，且维护指定的块设备；所述基于所述强一致性、第一网关模块和所述第一元数据管理模块，在所述目标节点本地执行所述数据操作指令对应的操作的步骤，包括：在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块，并基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述待存储元数据，并反馈给所述第一元数据管理模块其已存储的反馈信息；若基于所述第一元数据管理模块接收到所述反馈信息，则从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据。4.如权利要求3所述的元数据存储方法，其特征在于，所述在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块，并基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块的步骤，包括：在基于所述第一网关模块接收到待存储元数据后，基于所述第一网关模块，将带有所述待存储元数据的存储消息上报给第一元数据管理模块后，确定所述绑定节点的状态信息；若所述状态信息为节点正常，则基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块。5.如权利要求3所述的元数据存储方法，其特征在于，所述若所述状态信息为节点正常，则基于所述第一元数据管理模块将所述待存储元数据发送给所述第二网关模块对应的第二元数据管理模块的步骤之后，所述方法包括：若所述状态信息为节点异常，则将所述第二网关维护的块设备与所述第一网关相连
接，以供所述目标节点对应绑定节点异常期间所述第二网关维护的块设备正常运行；基于所述第一元数据管理模块，从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据后，再将所述待存储元数据按照存放顺序存放至本地日志。6.如权利要求5所述的元数据存储方法，其特征在于，所述基于所述第一元数据管理模块，从第一网关模块中确定所述待存储元数据，并在所述目标节点存储所述元数据后，再将所述待存储元数据按照存放顺序存放至本地日志的步骤之后，所述方法包括：在所述目标节点对应绑定节点状态从异常状态恢复至正常状态后，基于所述第一元数据管理模块，读取所述本地日志存储的备份元数据，并将所述备份元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据。7.如权利要求6所述的元数据存储方法，其特征在于，所述基于所述第一元数据管理模块，读取所述本地日志存储的备份元数据，并将所述备份元数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据的步骤，包括：基于所述第一元数据管理模块，按照所述存放顺序从所述本地日志存储的数据中读取一条备份数据，并将所述备份数据发送给所述第二网关模块对应的第二元数据管理模块，以供所述第二元数据管理模块在其绑定节点内存储所述备份元数据，并反馈给所述第一元数据管理模块其已存储...

【专利技术属性】
技术研发人员：文成，夏伟强，陈伟，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：