【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种数据均衡方法及相关设备。
技术介绍
1、现有的分布式存储系统，可以将部署的多个存储设备(物理节点)通过网络互连组成存储集群，用户通过网络访问存储集群实现数据的读取或者写入。分布式存储系统还可运行一些内部业务，例如数据预取业务、数据重删业务、内存回收业务等，这些内部业务会和用户读写业务共同使用节点资源。为了在用户数据读写过程中最大化利用系统资源，就不能简单地将用户数据均匀打散至各个物理节点进行处理。
2、基于用户逻辑空间地址进行打散，系统采用被动检测方式，一旦发现系统存在负载不均的情况，需要将用户数据归属迁移到另一个节点，用户归属数据的迁移时间段内会对用户性能产生影响，迁移代价高，各节点上的数据分片可保留的访问模式不同，预取效率也不同，影响负载均衡。
技术实现思路
1、有鉴于此，有必要提供一种数据均衡方法，解决现有技术中集群(例如数据中心)中的节点的负载均衡效果不佳的问题。
2、本申请实施例第一方面公开了一种数据均衡方法，获取待存储数据的数据信息及计算设备集群中的每个节点的资源信息；基于待存储数据的数据信息确定待存储数据的读写特征；对待存储数据进行分片，得到多个数据分片；基于每个节点的资源信息及待存储数据的读写特征，构建多个数据分片与计算设备集群中的一个或多个节点之间的数据路由，数据路由记录用于存储多个数据分片的节点身份标识(identity document，id)或者节点互联网协议(internet protocol，ip)地址
3、采用上述技术方案，通过对待存储数据的数据信息进行分析确定待存储数据的读写特征，例如可以基于预设规则或者机器学习模型来实现确定待存储数据的读写特征，读写特征可以包括存储生命周期或数据访问模式，基于计算设备集群中的每个节点的资源信息与待存储数据的读写特征决策数据分片与节点之间的数据路由，节点可以具有唯一的节点id与ip地址，将数据分片的分发存储与数据读写特征、节点负载情形相关联，可以提升计算设备集群的吞吐能力与负载均衡效果。
4、在一些实施例中，数据均衡方法还包括：基于数据路由将多个数据分片存储至对应的节点。
5、采用上述技术方案，数据路由可以记录有数据分片与节点id或者节点ip地址的映射关系，当得到数据分片与计算设备集群中的节点之间的数据路由时，可以基于数据路由将数据分片存储至对应的节点。
6、在一些实施例中，待存储数据包括多个文件，基于待存储数据的数据信息确定待存储数据的读写特征，包括：基于待存储数据的数据信息确定多个文件是否存在相同的存储生命周期。
7、采用上述技术方案，对于包括多个文件的待存储数据，待存储数据的读写特征可以是文件存储生命周期，文件存储生命周期可以是指在节点存储预设时间之后，将从节点删除，可以通过预设规则或者机器学习模型来确定待存储数据中的各个文件的存储生命周期，进而可以实现确定多个文件之间是否存在相同的存储生命周期，便于后续尽可能地将具有相同存储生命周期的文件的数据分片存储在一个节点上，由节点进行统一的数据分片删除，可以提升计算设备集群的吞吐能力。
8、在一些实施例中，基于每个节点的资源信息及待存储数据的读写特征，构建多个数据分片与计算设备集群中的一个或多个节点之间的数据路由，包括：获取多个数据分片中的每个数据分片的分片键值，及基于每个数据分片的分片键值计算每个数据分片的哈希值；若多个文件存在相同的存储生命周期，基于每个节点的资源信息构建哈希值区间与计算设备集群中的节点之间的数据路由。
9、采用上述技术方案，对于分片得到的每个数据分片，可以通过获取数据分片的分片键值并基于分片键值计算哈希值，基于哈希值作为数据分片的标识，若确定多个文件存在相同的存储生命周期，通过构建哈希值区间与节点之间的数据路由，使得处于一段哈希值区间的数据分片可以存储在同一个节点，数据分片存储相对集中，便于节点后续进行统一的数据分片删除，可以提升计算设备集群的吞吐能力。
10、在一些实施例中，基于每个数据分片的分片键值计算每个数据分片的哈希值之后，还包括：若多个文件不存在相同的存储生命周期，基于每个数据分片的哈希值分配用于存储每个数据分片的节点；将每个数据分片存储至与每个数据分片的哈希值对应的节点。
11、采用上述技术方案，若确定多个文件不存在相同的存储生命周期，表明可以无需进行数据分片的相对集中存储，可以直接基于每个数据分片的哈希值分配用于存储每个数据分片的节点，并将数据分片分发至对应节点进行存储。
12、在一些实施例中，基于待存储数据的数据信息确定待存储数据的读写特征，包括：基于待存储数据的数据信息确定待存储数据是否存在数据访问模式，数据访问模式包括待存储数据的数据分片存在访问关联关系。
13、采用上述技术方案，待存储数据的读写特征可以是数据访问模式，数据访问模式可以包括待存储数据的数据分片存在访问关联关系，例如数据访问模式表明从节点访问数据具有规律性，例如，依据顺序模式、关联模式、间隔模式、或者局部模式对节点上的数据分片进行访问，可以通过预设规则或者机器学习模型来确定待存储数据中是否存在数据访问模式，便于后续尽可能地将具有数据访问模式的数据分片存储在一个节点上，可以提升计算设备集群的吞吐能力。
14、在一些实施例中，基于每个节点的资源信息及待存储数据的读写特征，构建多个数据分片与计算设备集群中的一个或多个节点之间的数据路由，包括：获取多个数据分片中的每个数据分片的分片键值，及基于每个数据分片的分片键值计算每个数据分片的哈希值；若待存储数据存在数据访问模式，基于每个节点的资源信息构建哈希值区间与计算设备集群中的节点之间的数据路由。
15、采用上述技术方案，对于分片得到的每个数据分片，可以通过获取数据分片的分片键值并基于分片键值计算哈希值，基于哈希值作为数据分片的标识，若确定待存储数据存在数据访问模式，通过构建哈希值区间与节点之间的数据路由，使得处于一段哈希值区间的数据分片可以存储在同一个节点，数据分片存储相对集中，尽可能地使得存储的数据分片保留有数据访问模式，进而可以在节点上高效地执行依赖数据访问模式运行的处理任务，例如数据预取任务，提升计算设备集群的吞吐能力。
16、在一些实施例中，基于每个数据分片的分片键值计算每个数据分片的哈希值之后，还包括：若待存储数据不存在数据访问模式，基于每个数据分片的哈希值分配用于存储每个数据分片的节点；将每个数据分片存储至与每个数据分片的哈希值对应的节点。
17、采用上述技术方案，若确定待存储数据不存在数据访问模式，表明可以无需进行数据分片的相对集中存储，可以直接基于每个数据分片的哈希值分配用于存储每个数据分片的节点，并将数据分片分发至对应节点进行存储。
18、在一些实施例中，每个节点根据包含的中央处理器(central processing unit，cpu)数量与cpu内核数量划分为多个虚拟节点，每个虚拟节点本文档来自技高网...
【技术保护点】
1.一种数据均衡方法，其特征在于，包括：
2.如权利要求1所述的数据均衡方法，其特征在于，还包括：
3.如权利要求1或2所述的数据均衡方法，其特征在于，所述待存储数据包括多个文件，所述基于所述待存储数据的数据信息确定所述待存储数据的读写特征，包括：
4.如权利要求3所述的数据均衡方法，其特征在于，所述基于所述每个节点的资源信息及所述待存储数据的读写特征，构建所述多个数据分片与所述计算设备集群中的一个或多个节点之间的数据路由，包括：
5.如权利要求4所述的数据均衡方法，其特征在于，所述基于所述每个数据分片的分片键值计算所述每个数据分片的哈希值之后，还包括：
6.如权利要求1或2所述的数据均衡方法，其特征在于，所述基于所述待存储数据的数据信息确定所述待存储数据的读写特征，包括：
7.如权利要求6所述的数据均衡方法，其特征在于，所述基于所述每个节点的资源信息及所述待存储数据的读写特征，构建所述多个数据分片与所述计算设备集群中的一个或多个节点之间的数据路由，包括：
8.如权利要求7所述的数据均衡方法，其特
9.如权利要求4或7所述的数据均衡方法，其特征在于，所述每个节点根据包含的中央处理器CPU数量与CPU内核数量划分为多个虚拟节点，每个虚拟节点对应一个CPU内核，所述基于所述每个节点的资源信息构建哈希值区间与所述计算设备集群中的节点之间的数据路由，包括：
10.如权利要求1至9中任意一项所述的数据均衡方法，其特征在于，所述资源信息包括CPU资源、内存资源、磁盘资源、网络带宽资源中的至少一个。
11.如权利要求1至9中任意一项所述的数据均衡方法，其特征在于，所述数据信息包括文件名、文件类型、文件大小、文件后缀名、文件访问时间、文件所属的用户信息、文件逻辑地址、文件支持的操作类型中的至少一个。
12.一种数据均衡装置，其特征在于，包括：
13.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
14.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如权利要求1至权利要求11中任一项所述的数据均衡方法。
15.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如权利要求1至权利要求11中任一项所述的数据均衡方法。
...【技术特征摘要】
1.一种数据均衡方法，其特征在于，包括：
2.如权利要求1所述的数据均衡方法，其特征在于，还包括：
3.如权利要求1或2所述的数据均衡方法，其特征在于，所述待存储数据包括多个文件，所述基于所述待存储数据的数据信息确定所述待存储数据的读写特征，包括：
4.如权利要求3所述的数据均衡方法，其特征在于，所述基于所述每个节点的资源信息及所述待存储数据的读写特征，构建所述多个数据分片与所述计算设备集群中的一个或多个节点之间的数据路由，包括：
5.如权利要求4所述的数据均衡方法，其特征在于，所述基于所述每个数据分片的分片键值计算所述每个数据分片的哈希值之后，还包括：
6.如权利要求1或2所述的数据均衡方法，其特征在于，所述基于所述待存储数据的数据信息确定所述待存储数据的读写特征，包括：
7.如权利要求6所述的数据均衡方法，其特征在于，所述基于所述每个节点的资源信息及所述待存储数据的读写特征，构建所述多个数据分片与所述计算设备集群中的一个或多个节点之间的数据路由，包括：
8.如权利要求7所述的数据均衡方法，其特征在于，所述基于所述每个数据分片的分片键值计算所述每个数据分片的哈希值之后，还包括：
9.如权利要求4或7所述的...
【专利技术属性】
技术研发人员：陈俊伟，黄茜，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。