云存储平台的医药数据处理方法技术

本发明专利技术提供了一种云存储平台的医药数据处理方法，该方法包括：在数据在写入前通过存储负载平衡策略确定存储节点，在数据写入后根据访问频率或节点存储容量重新分配副本存储节点。本发明专利技术提出了一种云存储平台的医药数据处理方法，简化了服务器集群部署方式，避免用户直接对服务器集群进行操作，保证存储节点的合理性和数据稳定性。

【技术实现步骤摘要】

本专利技术涉及云存储，特别涉及一种云存储平台的医药数据处理方法。
技术介绍
云存储采用了云计算、分布式文件系统以及服务器集群等技术，将网络中各种存储资源聚合起来，共同对外提供数据存储和业务访问功能，在医药科研、生产和贸易服务领域有着广泛应用。目前的云存储分为公有服务型存储，即对企业或者个人提供存储服务；一种是私有架构型云存储，即企业内部搭建的基于存储服务器集群和分布式文件系统，部署在企业数据中心或者安全的节点托管场所，为企业自身提供相应的存储服务。医药云存储平台保密性较高，且存储过程无需太多I/O操作，因此采用搭建私有云存储系统来保存其药品数据文件是最好的选择。目前，私有云存储搭建方案有很多种：包括键值型分布式文件系统，采用了分组的方式，服务器集群由一个或多个组构成，同组内的业务节点为互备关系。采用分组存储的方式能够使存储服务器集群更加灵活，可控性也相对较强。然而，Hadoop作为一个开源的分布式存储计算框架，也有着它自身的缺点。那就是系统架构设计复杂，运行维护难度较大。对云存储平台的使用不仅需要多方面的知识积累，而且在其运行维护方面也有很多技能去学习掌握，从一定程度上限制了医药云存储平台的行业推广和使用。在搭建医药信息云存储平台中，还有两个影响部署和系统性能的问题：第一个是运行过程中，节点容易发生故障。一旦节点故障发生而不能准备及时地进行处理，就会影响多个节点的存储服务器集群搭建过程中，每个节点都有很多重复的操作，使得搭建过程非常繁琐而且容易出错；第二个是因为节点均为普通个人计算机，而非小型机或大型机之类的专用服务器，因此数据在使用过程中，受到诸如CPU，内存以及磁盘I/O等影响较为严重。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种云存储平台的医药数据处理方法，包括：在数据在写入前通过存储负载平衡策略确定存储节点，在数据写入后根据访问频率或节点存储容量重新分配副本存储节点。优选地，该方法进一步包括：在云存储平台的文件系统中设置节点选择与调度监视器，其中节点选择策略实现于名字节点之中，由名字节点在选择业务节点时调用，调度监视器用来监视服务器集群运行状况，包括数据块的访问频率以及业务节点的存储容量，系统在闲置状态时，管理节点根据数据访问频率和系统容量，调度副本存放位置；文件上传之前，业务节点向名字节点发出写数据请求，名字节点调用节点选择模型，通过调度监视器，获取服务器集群运行信息，计算节点的存储比例，计算每个机架节点的存储比例，并按照备份因子个数，优先选择存储比例最高的节点组成节点队列发送给客户端，由客户端将待存储的数据分割成多个数据块，存储在不同的业务节点上；在所有文件已经保存于服务器集群之后，通过调度监视器收集服务器集群运行信息，获取到所有节点的数据访问频率及所有节点的存储容量，若数据的访问频率超过预定义阈值，则将副本放置在访问频率最低的节点上；若系统剩余容量低于阈值，则将副本放置在存储比例最高的节点；服务器集群运行信息通过云存储平台运行信息测量和展示框架进行监视，所述框架监测和调度云存储平台相关的任务；客户端在节点选择分为两种方式：客户端在服务器集群节点上的选择策略与客户端在服务器集群节点外的选择方式，具体实现方式如下：在n个机架服务器集群的每个机架设置TR台业务节点，副本数为r；若客户端在服务器集群业务节点上，则a)客户端向管理节点发出写数据请求；b)管理节点根据文件内容及系统配置情况，计算客户端所在机架的所有业务节点存储比例，过程如下：设客户端在第i台机架，初始化被选节点集合SDN为空；该机架第j个节点的剩余容量为CLij，存储的块数为BLij，节点的存储优选比例RSij＝CLij/BLij，将存储优选比最高的两个节点放入被选节点集合，即SDN＝{DNia、DNib本文档来自技高网...

【技术保护点】
一种云存储平台的医药数据处理方法，其特征在于，包括：在数据在写入前通过存储负载平衡策略确定存储节点，在数据写入后根据访问频率或节点存储容量重新分配副本存储节点。

【技术特征摘要】
1.一种云存储平台的医药数据处理方法，其特征在于，包括：在数据在写入前通过存储负载平衡策略确定存储节点，在数据写入后根据访问频率或节点存储容量重新分配副本存储节点。2.根据权利要求1的方法，其特征在于，该方法进一步包括：在云存储平台的文件系统中设置节点选择与调度监视器，其中节点选择策略实现于名字节点之中，由名字节点在选择业务节点时调用，调度监视器用来监视服务器集群运行状况，包括数据块的访问频率以及业务节点的存储容量，系统在闲置状态时，管理节点根据数据访问频率和系统容量，调度副本存放位置；文件上传之前，业务节点向名字节点发出写数据请求，名字节点调用节点选择模型，通过调度监视器，获取服务器集群运行信息，计算节点的存储比例，计算每个机架节点的存储比例，并按照备份因子个数，优先选择存储比例最高的节点组成节点队列发送给客户端，由客户端将待存储的数据分割成多个数据块，存储在不同的业务节点上；在所有文件已经保存于服务器集群之后，通过调度监视器收集服务器集群运行信息...

【专利技术属性】
技术研发人员：许驰，
申请(专利权)人：成都鼎智汇科技有限公司，
类型：发明
国别省市：四川;51