一种分布式文件系统的实现方法、装置及存储介质制造方法及图纸

本发明专利技术涉及数据领域，提供了一种分布式文件系统的实现方法、装置及存储介质。主旨在于解决现有技术存在的读写效率需要提高、网络数据经常延时、数据文件统一管理的问题。方案包括：集群在接收到数据后，按照预告设定的副本参数复制出若干副本；各个副本作为元数据随机的逐一分发到集群中的服务器节点上；按照均衡算法分配策略，均衡算法会将各个副本的总文件均衡的分配到各个节点上；启动一个定时任务，统计出整体负载分布情况；将集群当前负载状态与预设的阈值进行对比，根据对比的结果对各节点的负载情况进按照均衡规则行调整，从而实现负载均衡；负载均衡完成后由管理者节点存储元数据，工作者节点存储计算数据，最终稳定的对外提供数据服务。外提供数据服务。

【技术实现步骤摘要】
一种分布式文件系统的实现方法、装置及存储介质


[0001]本专利技术涉及数据领域，提供了一种分布式文件系统的实现方法、装置及存储介质。

技术介绍

[0002]近年来，大数据相关技术发展迅速，大数据技术越来越成熟，已经有越来越多的企业通过大数据技术来创造更多的价值的同时，也为企业带来了更高的性价比和更易于扩展的超大规模数据处理能力。随着利率市场化进程加快、互联网金融业态的发展，银行与实体经济的业务横向联系与深度融合进展迅速，业务数据的内容不断丰富，建立在大数据存储的能力也需要不断提升。企业数据量和数据种类不断增加和丰富，因此急需建设一套统一的大数据数据分布式文件系统存储平台。
[0003]企业处于业务发展的初级阶段，唯有不断创新才能适应激烈的市场竞争环境，而新业务模式的创新离不开数据的支持，也对数据信息服务的总体能力提出了新的要求。基于大数据分布式存储技术，整合现有行内数据，接入行外数据，搭建统一数据存储平台，把先前分散的数据统一存储，抓住机遇为我行大数据分布式存储平台建设做好最基础、最扎实的工作。通过建设大数据分布式文件系统，能有效的解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统的实现方法，其特征在于，包括以下步骤：步骤1：用户向集群提交数据块，集群在接收到数据后，按照预告设定的副本参数复制出若干副本；步骤2：按照定义好的服务器均衡分配策略，把刚才生成的各个副本作为元数据随机的逐一分发到集群中的服务器节点上；步骤3：按照均衡算法分配策略，均衡算法会将各个副本的总文件均衡的分配到各个节点上，直至均衡分配完成；步骤4：启动一个定时任务，通过管理者节点定时扫描所有服务器的所有节点，统计出整体负载分布情况；步骤5：将集群当前负载状态与预设的阈值进行对比，并根据对比的结果对各节点的负载情况进按照均衡规则行调整，从而实现负载均衡；步骤6：负载均衡完成后由管理者节点存储元数据，工作者节点存储计算数据，最终稳定的对外提供数据服务。2.根据权利要求1所述的一种分布式文件系统的实现方法，其特征在于，步骤1中所述的副本参数默认为3。3.根据权利要求1所述的一种分布式文件系统的实现方法，其特征在于，步骤6中在对外提供数据服务时，分布式文件系统在客户端访问文件时启动网络加速算法，加速算法会为：根据文件在元数据中的存储位置来获取元数据的实际位置，之后调动集群中所有的网络资源来对该文件做磁盘IO的读写处理，再之后将处理结果返回给客户端。4.一种分布式文件系统的实现装置，其特征在于，包括以下模块：数据副本模块：用户向集群提交数据块，集群在接收...

【专利技术属性】
技术研发人员：代佳文，田骏，胡小伟，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：