一种分布式文件系统中节点选择计算方法及系统技术方案

本发明专利技术公开了一种分布式文件系统中节点选择计算方法，包括：在数据写入时，获取所述数据的写入路径；将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。本发明专利技术还公开了一种分布式文件系统中节点选择计算系统。本发明专利技术实现现有的分布式存储方式中，提高分布式数据存储的正确性、可靠性，并提高了数据备份的扩展性，降低数据备份的成本。

Method and system for selecting node in distributed file system

The invention discloses a method, a node selection in distributed file system included in the data write, write access to the data path; the write path as the calculation parameters of HASH algorithm, and according to the calculation parameters to calculate the value of HASH; according to the calculated values of HASH and HASH algorithm to determine the default write the data from the node of the OSD node preset, the data is written to the determined node. The invention also discloses a node selection calculation system in the distributed file system. The invention realizes the accuracy and reliability of the distributed data storage in the existing distributed storage mode, and improves the extensibility of the data backup and reduces the cost of data backup.

【技术实现步骤摘要】
一种分布式文件系统中节点选择计算方法及系统
本专利技术涉及分布式数据存储
，尤其涉及一种分布式文件系统中节点选择计算方法及系统。
技术介绍
虽然分布式系统研究了很多年，但是，直到近年来，互联网大数据应用的兴起才使得它大规模地应用到工程实践中。相比传统的分布式系统，互联网公司的分布式系统具有两个特点：一个特点是规模大，另一个特点是成本低。不同的需求造就了不同的设计方案，可以这么说，Google等互联网公司重新定义了大规模分布式系统,成功催生了云计算和大数据两大热门领域。在现有技术中，在低成本及可扩展的分布式数据中，如何解决数据存储及提取的方式为当前解决要点。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种分布式文件系统中节点选择计算方法，旨在解决现有的分布式存储方式中分布式数据存储正确性、可靠性及扩展性的问题。本专利技术提供的一种分布式文件系统中节点选择计算方法，包括：在数据写入时，获取所述数据的写入路径；将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。优选地，还包括：通过HASH算法将已写入备份数据的OSD备份节点建立连接，并为OSD节点分配标签KEY值；顺时针方向依次排列已分配的标签KEY值，形成HASH数据环。优选地，所述通过HASH算法将备份数据的OSD备份节点建立连接，并分配标签KEY值，还包括：将分配标签KEY值与对应已存储备份数据的OSD备份节点生成映射关系。优选地，所述方法，还包括：读取标签KEY值，根据该KEY值对应的映射OSD备份节点，获取该OSD备份节点对应的备份数据。优选地，还包括：多线程读写数据，并在读写数据时添加数据锁，以免出现数据混乱。此外，为实现上述目的，本专利技术还提供一种分布式文件系统中节点选择计算系统，包括：获取模块，用于在数据写入时，获取所述数据的写入路径；计算模块，用于将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；备份模块，用于根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。优选地，还包括：连接模块，用于通过HASH算法将已写入备份数据的OSD备份节点建立连接；分配模块，用于为OSD节点分配标签KEY值；排列模块，用于顺时针方向依次排列已分配的标签KEY值，形成HASH数据环。优选地，还包括：生成模块，用于将分配标签KEY值与对应已存储备份数据的OSD备份节点生成映射关系。优选地，还包括：备份数据读取模块，用于读取标签KEY值，根据该KEY值对应的映射OSD备份节点，获取该OSD备份节点对应的备份数据。优选地，还包括：设置模块，用于多线程读写数据，并在读写数据时添加数据锁，以免出现数据混乱。本专利技术通过在数据写入时，获取所述数据的写入路径；将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。实现现有的分布式存储方式中，提高分布式数据存储的正确性、可靠性，并提高了数据备份的扩展性，降低数据备份的成本。附图说明图1为本专利技术分布式文件系统中节点选择计算方法的第一实施例的流程示意图；图2为本专利技术分布式文件系统中节点选择计算方法的第二实施例的流程示意图；图3为本专利技术分布式文件系统中节点选择计算方法的第三实施例的流程示意图；图4为本专利技术分布式文件系统中节点选择计算方法的第四实施例的流程示意图；图5为本专利技术分布式文件系统中节点选择计算方法通过HASH算法分离数据备份图；图6为本专利技术分布式文件系统中节点选择计算系统的第一实施例的功能模块示意图；图7为本专利技术分布式文件系统中节点选择计算系统的第二实施例的功能模块示意图；图8为本专利技术分布式文件系统中节点选择计算系统的第三实施例的功能模块示意图；图9为本专利技术分布式文件系统中节点选择计算系统的第四实施例的功能模块示意图；图10为新增OSD备份节点的表现方式；图11为HASH环物理表现形式图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于上述问题，本专利技术提供一种分布式文件系统中节点选择计算方法。参照图1，图1为本专利技术分布式文件系统中节点选择计算方法的第一实施例的流程示意图。在一实施例中，所述方法包括：步骤S10，在数据写入时，获取所述数据的写入路径；获取到需备份的数据，所述数据为自远端WEB或者客户端中接收到了某一时刻的大量数据，为了减少来自网络和备份节点的压力，对该数据进行备份。在将备份数据写入备份节点之前，定义该备份数据的写入备份节点，所述定义备份节点，根据所述备份数据大小确定备份节点数量，并根据备份节点数量，平均分布在该备份数据中，用以在使用备份节点备份数据时，使用与备份数据距离最近的备份节点备份数据；在将备份数据写入对应备份节点之前，获取所述数据写入备份节点的写入路径。所述路径，为数据写入备份节点的写入路径。步骤S20，将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；将已获取到的数据写入备份节点路径，作为HASH算法计算参数，用以计算HASH值，所述HASH算法，将任意长度的二进制值映射为较短的固定长度的二进制值，即这个小的二进制值称为HASH值，HASH值是一段数据唯一且极其紧凑的数值表示形式。所述固定长度的HASH值，使得在HASHMAP(基于哈希表的Map接口的实现)等可以按照高低位进行位操作，同时能够提供统一的方式及数据唯一的数值，使得返回HASHCODE(HASHCODE是JDK根据对象的地址或者字符串或者数字算出来的int类型的数值)可以作为查找的依据。步骤S30，根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。计算出来的HASH值，即较短的固定长度的二进制值，在以预设的OSD备份节点中，根据计算出来的HASH值长度，确定写入数据的备份节点。所述确认方式为，以该HASH值为基准，距离最近的一个OSD备份节点为当前写入备份数据的OSD备份节点，将需备份的数据写入到该节点中，完成数据备份。进一步的，若该OSD备份节点所存储的备份数据超出预设的备份数据存储内存，在该OSD备份节点附近，即两个OSD备份节点之间，新建一个OSD备份节点，进行少量的数据迁移，以此分担数据存储量过大的OSD备份节点的备份数据。如图10，图10为新增OSD备份节点的表现方式。所述预设的备份数据存储内存，为管理员设置的OSD存储节点的最大备份内存容量，该容量是在高效率数据备份及快速读取数据备份数据的基础上，OSD备份节点所能备份数据的最大内存。本实施例中，通过预设OSD备份节点，并使用写入备份节点的路径作为HASH算法的计算参数，计算出的HASH值确定当前数据备份的OSD备份节点，并将数据写入该OSD备份节点完成该本文档来自技高网...

【技术保护点】
一种分布式文件系统中节点选择计算方法，其特征在于，所述方法包括以下步骤：在数据写入时，获取所述数据的写入路径；将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。

【技术特征摘要】
1.一种分布式文件系统中节点选择计算方法，其特征在于，所述方法包括以下步骤：在数据写入时，获取所述数据的写入路径；将所述写入路径作为HASH算法的计算参数，并根据所述计算参数计算HASH值；根据所计算的HASH值以及预设HASH算法从预设的OSD节点中确定写入所述数据的节点，将所述数据写入所确定的节点。2.如权利要求1所述分布式文件系统中节点选择计算方法，其特征在于，所述选择与HASH值最接近的OSD备份节点，作为写入备份数据的节点，还包括：通过HASH算法将已写入备份数据的OSD备份节点建立连接，并为OSD节点分配标签KEY值；顺时针方向依次排列已分配的标签KEY值，形成HASH数据环。3.如权利要求2所述分布式文件系统中节点选择计算方法，其特征在于，所述通过HASH算法将备份数据的OSD备份节点建立连接，并分配标签KEY值，还包括：将分配标签KEY值与对应已存储备份数据的OSD备份节点生成映射关系。4.如权利要求3所述分布式文件系统中节点选择计算方法，其特征在于，所述方法，还包括：读取标签KEY值，根据该KEY值对应的映射OSD备份节点，获取该OSD备份节点对应的备份数据。5.如权利要求1至4任一项所述分布式文件系统中节点选择计算方法，其特征在于，还包括：多线程读写数据，并在读写数据时添加数据锁，...

【专利技术属性】
技术研发人员：张勤，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东,44