一种免迁移节点的大数据处理方法及系统技术方案

本发明专利技术公开了一种免迁移节点的大数据处理方法及系统，方法包括步骤：S1，获取活跃存储节点及活跃存储节点的资源比重；S2，将活跃存储节点加权投入资源池；S3，将新增数据按分配比例分配给资源池中的活跃存储节点。本发明专利技术将新增数据按比例分配给活跃存储节点，提高了数据分配的合理性。据分配的合理性。据分配的合理性。

【技术实现步骤摘要】
一种免迁移节点的大数据处理方法及系统


[0001]本专利技术涉及数据处理领域，尤其是一种免迁移节点的大数据处理方法及系统。

技术介绍

[0002]随着技术的发展，需要计算及存储的数据量不断变大，单一计算节点已经不能满足运算的需要，为了处理这部分数据，往往使用多个节点分工运算、分工存储的方式来解决问题。目前比较流行的是存算分离，部分节点设计为计算节点，本身不存储数据，而是负责权限验证、脚本解析、任务分配，在获取到数据后会按照一定算法(比如哈希、取模)将数据分解为若干块，然后再分配给存储节点来存储及检索数据。一般来说节点的数目都相对固定，但是当数据量达到一定规模时就需要扩展节点来提升性能，计算节点的扩充相对容易，因为不涉及数据存储，因此只需要简单注册为计算节点就可以了。存储节点扩展相对复杂，因为新增加节点没有数据，导致数据偏移，老节点繁忙，而新节点过于空闲。一种方法是将老节点的数据迁移到新节点，以平衡工作量，但这种操作复杂，而且会导致服务的繁忙甚至需要停机处理。

技术实现思路

[0003]针对现有技术中的缺陷，本专利技术提供了一种免本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种免迁移节点的大数据处理方法，其特征在于，包括步骤：获取活跃存储节点及所述活跃存储节点的资源比重；将所述活跃存储节点加权投入资源池；将新增数据按分配比例分配给资源池中的所述活跃存储节点。2.根据权利要求1所述的免迁移节点的大数据处理方法，其特征在于，所述处理方法还包括：周期性调整资源池中的所述活跃存储节点的加权比例直至负载均衡。3.根据权利要求1所述的免迁移节点的大数据处理方法，其特征在于，所述活跃存储节点的资源比重的获取方法包括：根据所述活跃存储节点的资源情况设置所述活跃存储节点的资源比重。4.根据权利要求1所述的免迁移节点的大数据处理方法，其特征在于，所述存储节点包括原有数据节点和新增数据节点；所述活跃存储节点包括所有新增数据节点和处于正常运行状态的原有数据节点；所述新增数据节点的资源比重大于所述原有数据节点的资源比重。5.根据权利要求1所述的免迁移节点的大数据处理方法，其特征在于，所述处理方法还包括：根据资源池中的所述活跃存储节点的资源比重和加权比例计算得到所述分配比例。6.一种免迁移节点的大数据处理系统，其...

【专利技术属性】
技术研发人员：许刚，龙榜，刘新，李天国，李魁，
申请(专利权)人：深圳市法本信息技术股份有限公司，
类型：发明
国别省市：