一种文件处理方法和装置制造方法及图纸

本发明专利技术实施例涉及通信技术领域，尤其涉及一种文件处理方法和装置，用于实现在主管理节点失效之后，不需人工干预也能够保证文件处理的连续性。本发明专利技术实施例提供的文件处理方法适用于包括主管理节点、备管理节点和M个数据节点的系统；在确定主管理节点失效的情况下，将备管理节点作为当前的主管理节点；确定出M个数据节点中每个数据节点的选举权值；根据M个数据节点中每个数据节点的选举权值，从至少一个数据节点中选出一个数据节点作为当前的备管理节点；将当前的主管理节点上的管理数据同步至当前的备管理节点上。本发明专利技术实施例提供的文件处理方法实现了在主管理节点失效之后，不需人工干预也能够保证文件处理的连续性。

File processing method and device

The embodiment of the invention relates to the field of communication technology, in particular to a file processing method and device, which can realize the continuity of file processing without manual intervention after the failure of the main management node. The embodiment of the invention provides a file processing method suitable for preparation comprises a main management node, system management nodes and M nodes in the data; determining the main management node failure case, the preparation of management as the main node of the current node management; determine the election weights of each data node of M data in the node according to the election; the weights of each data node M data nodes, from at least one data node selects a data node as the current node will prepare management; management data management node on the current synchronization to the current management node. The file processing method provided by the embodiment of the invention realizes the continuity of the file processing without manual intervention after the failure of the main management node.

【技术实现步骤摘要】

本专利技术实施例涉及通信领域，尤其涉及一种文件处理方法和装置。
技术介绍
在现有的银联系统中，交易量不断提高，导致交易产生的文件量也逐步提高；一个节点远远无法存储该系统海量的交易量，因此，需要对交易产生的海量文件进行跨机处理。现有技术中，将海量文件存储在分布式系统中，该系统包括一个管理节点和多个数据节点，在管理节点出现失效的情况之后，必须人工的干预恢复管理节点；如果在人工干预管理节点恢复也失败的情况下，会导致无法获得管理节点中的管理数据，进而无法向该系统中存储文件和读取文件操作，影响到整个系统的可用性。因此，亟需一种文件处理方法，实现在主管理节点失效之后，不需人工干涉也能够保证文件处理的连续性。
技术实现思路
本专利技术实施例提供一种文件处理方法和装置，实现在主管理节点失效之后，不需人工干涉也能够保证文件处理的连续性。本专利技术实施例提供一种文件处理方法，适用于包括主管理节点、备管理节点和M个数据节点的系统；所述M为大于等于1的整数；该方法包括：在确定所述主管理节点失效的情况下，将所述备管理节点作为当前的主管理节点；确定出所述M个数据节点中每个数据节点的选举权值；根据所述M个数据节点中本文档来自技高网...

【技术保护点】
一种文件处理方法，其特征在于，适用于包括主管理节点、备管理节点和M个数据节点的系统；所述M为大于等于1的整数；所述方法包括：在确定所述主管理节点失效的情况下，将所述备管理节点作为当前的主管理节点；确定出所述M个数据节点中每个数据节点的选举权值；根据所述M个数据节点中每个数据节点的选举权值，从所述至少一个数据节点中选出一个数据节点作为当前的备管理节点；将所述当前的主管理节点上的管理数据同步至所述当前的备管理节点上。

【技术特征摘要】
1.一种文件处理方法，其特征在于，适用于包括主管理节点、备管理节点和M个数据节点的系统；所述M为大于等于1的整数；所述方法包括：在确定所述主管理节点失效的情况下，将所述备管理节点作为当前的主管理节点；确定出所述M个数据节点中每个数据节点的选举权值；根据所述M个数据节点中每个数据节点的选举权值，从所述至少一个数据节点中选出一个数据节点作为当前的备管理节点；将所述当前的主管理节点上的管理数据同步至所述当前的备管理节点上。2.如权利要求1所述的方法，其特征在于，根据以下内容中的任一项或任多项内容确定的选举权值：中央处理器CPU核心数、所述CPU并发数、所述CPU参数经验值、内存容量、内存频率、内存参数经验值、磁盘容量、磁盘I/O、磁盘数、磁盘参数经验值。3.如权利要求1所述的方法，其特征在于，所述确定所述主管理节点失效，包括：通过所述M个数据节点中的每个数据节点向所述主管理节点发送心跳包、且在预设时长内未收到所述主管理节点发送的所述心跳包对应的响应包的情况下，确定所述主管理节点失效。4.如权利要求1所述的方法，其特征在于，所述M个数据节点的每个数据节点包括至少一个数据块，所述至少一个数据块中每个数据块对应一个数据块的标识；一个数据块的标识所标识的数据块对应存储于至少一个数据节点上；所述方法还包括：在所述M个数据节点中存在至少一个数据节点失效的情况下，确定出每个失效的数据节点的标识，以及所述每个失效的数据节点包括的数据块的标识；针对所述每个失效的数据节点包括的每个数据块，执行：从所述M个数据节点中除包括有该数据块的标识的数据节点之外的节点中确定出：负载最小的数据节点；将该数据块移动到所述负载最小的数据节点上。5.如权利要求1所述的方法，其特征在于，所述方法还包括：通过多次移动操作将所述M个数据节点上的数据块移动至所述新增的数据节点中，直至所述新增的数据节点的负载大于负载阈值；其中，所述多次移动操作中的每次移动操作对应移动一个数据块；针对所述多次移动操作中的每次移动操作，将所述M个数据节点中负载最大的数据节点上包括的数据块确定为该次移动操作需对应移动的数据块。6.如权利要求5所述的方法，其特征在于，所述负载阈值根据：所述M个数据节点中负载最小的数据节点的负载，以及预设权重确定的。7.如权利要求1所述的方法，其特征在于，所述方法还包括：接收文件处理请求；所述文件处理请求包括待处理文件的文件标识；根据文件标识和数据块的标识的对应关系，确定出存储所述待处理文件的数据块的标识；根据数据块的标识和数据节点的标识的对应关系，确定出存储所述待处理文件的数据块对应的数据节点的标识；从所述存储所述待处理文件的数据块对应的数据节点中的、存储所述待处理文件的数据块读取所述待处理文件。8.如权利要求1所述的方法，其特征在于，所述方法还包括：接收文件处理请求；所述文件处理请求包括待处理文件的文件标识；从所述M个数据节点中的每个数据节点确定出可存储所述待处理文件的空闲块；将所述待处理文件存储在所述空闲块中；将所述待处理文件的文件标识和所述存储所述待处理文件的空闲块的标识的对应关系，以及所述存储所述待处理文件的空闲块的标识和所述空闲块对应的数据节点的标识的对应关系存储于所述管理节点中。9.一种用于文件处理的装置，其特征在于，适用于包括主管理节点、备管理节点和M个数据节点的系统；所述M为大于等于1的整数；所述装置包括：确定单元，用于在确定所述主管理节点失效的情况下，将所述备管理节点作为当前的主管理节点；确定出所述M个数据节点中每个数据节点的选...

【专利技术属性】
技术研发人员：王文柏，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31