一种数据处理方法及装置制造方法及图纸

本申请涉及一种数据处理方法及装置，该方法包括：通过一致性哈希算法，将数据分散存储在公有云节点和私有云节点中，其中，通过一致性哈希算法，将数据分散存储在公有云节点和私有云节点中，包括：计算公有云主机和私有云主机的哈希值；将存储空间抽象为一个数据环，根据哈希值将公有云节点和私有云节点配置到数据环上；计算数据的哈希值，按顺时针方向将数据映射到离数据最近的节点中实现将数据分散存储在公有云节点和私有云节点中。本申请通过一致性哈希算法，将数据分散的存储在公有云和私有云中，提升数据的持久性，并且能够有效利用公有云和私有云的所有资源。用公有云和私有云的所有资源。用公有云和私有云的所有资源。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及数据处理
，特别是涉及一种数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]目前其他云厂商数据管理的方案主要是通过本地就近访问的方式，即公有云访问公有云的资源，私有云访问私有云资源的方式，然后再在私有云和公有云之间进行数据同步，这样对应用的开发增强了难度，同时也增加了数据和管理的难度，同时对数据获取的实效性也做了很多限制。
[0003]目前的多云资源池管理方案上，主要有如下三个特点：
[0004]特点一：公有云资源池和私有云资源池彼此分开，相互独立；
[0005]特点二：数据访问采用就近访问，以提升访问速度；
[0006]特点三：为了实现公有云和私有云之间的业务互备，需要在私有云和公有云之间进行定时数据同步。
[0007]上面这种公有云、私有云资源池相互独立的方式存在的问题有以下三个方面：
[0008]第一方面：无法将公有云、私有云的资源能力同时利用起来，资源利用率不高；
[0009]第二方面：数据同步成本较高，因为需要实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过一致性哈希算法，将数据分散存储在公有云节点和私有云节点中，其中，所述通过一致性哈希算法，将数据分散存储在公有云节点和私有云节点中，包括：计算公有云主机和私有云主机的哈希值；将存储空间抽象为一个数据环，根据所述哈希值将公有云节点和私有云节点配置到所述数据环上；计算数据的哈希值，按顺时针方向将所述数据映射到离所述数据最近的节点中实现将数据分散存储在公有云节点和私有云节点中。2.根据权利要求1所述的一种数据处理方法，其特征在于，所述通过一致性哈希算法，将数据分散存储在公有云节点和私有云节点中，还包括：将所述公有云节点和所述私有云节点编号；将所述编号映射到一个整数并且将所述编号映射到一个数据环中；将所述数据编号，将数据映射到所述整数，通过取模映射到所述数据环中；其中，所述整数为32位的整数，环大小为2的N次方，N≤32。3.根据权利要求1所述的一种数据处理方法，其特征在于，所述方法还包括：采用基于访问速度的加权决策机制确定用户访问到所述公有云节点和所述私有云节点中速度最快的节点；其中，所述采用基于访问速度的加权决策机制确定用户访问到公有云节点和私有云节点中速度最快的节点，包括：通过应用对每个公有云节点和私有云节点发起访问，并且记录时间；通过速度获取计算公有云节点和私有云节点访问的权重；确定权重最大的节点是速度最快的节点。4.根据权利要求3所述的一种数据处理方法，其特征在于，所述计算公有云节点和私有云节点访问的权重是通过如下公式计算的：其中，Weight为节点的权重，Tma为节点的最大时延，t为应用到节点的时延。5.根据权利要求1所述的一种数据处理方法，其特征在于，所述方法还包括：接收到通过客户节点存储第一数据的请求时，获取所述第一数据的ID；通过一致性哈希计算，将所述第一数据映射到数据环中的节点上；所述数据环中的节点通过距离加权计算，确定数据环中的节点中离所述第一数据最近的节点；离所述第一数据最近的节点回复所述请求，回复所述请求的内容为存储所述第一数据至离所述第一数据最近的节点；所述客户节...

【专利技术属性】
技术研发人员：潘晓东，陈丽娜，吴晓清，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：