基于单元化架构的数据迁移方法、装置及电子设备制造方法及图纸

本申请提供一种基于单元化架构的数据迁移方法、装置及电子设备，可用于分布式领域。该方法包括：基于单元化架构，在单元进行业务处理的过程中，监测第一机房中每一单元的数据量和流量；根据数据量和流量，将第一机房增加至少一个单元；获取每一单元中的每一数据分片的序号；并根据每一单元中的每一数据分片的序号，确定目标数据分片；将目标数据分片所对应的业务数据迁移至第一机房所增加的单元中。本申请的方法，可以减少整体数据迁移量，进而使得单元化架构下减少应用系统的停业时间，提高业务处理效率。业务处理效率。业务处理效率。

【技术实现步骤摘要】
基于单元化架构的数据迁移方法、装置及电子设备


[0001]本申请涉及分布式领域，尤其涉及一种基于单元化架构的数据迁移方法、装置及电子设备。

技术介绍

[0002]单元化架构是指把单元作为部署的基本单位，在全站所有机房中部署数个单元，其中，任意一个单元都是一个能完成所有业务操作的自包含集合，每个单元能操作全量数据中的一部分数据，以进行业务处理。在单元化架构下，单元进行业务处理的过程中，随着时间的增长，数据越来越多或者越来越少时，需要对该单元化架构下机房中的单元数量作出调整，并进行数据迁移。
[0003]现有技术中，当数据增多或减少时，需新增或者减少单元数量，对现有的全部数据进行重新分片，再将数据分片和单元进行重新分配，再将数据分片对应的数据进行迁移处理。
[0004]但是上述方式中，对数据分片和单元进行重新分配时，整体数据迁移量增多，导致业务系统升级较慢，停业时间较长，进而增大业务系统业务处理压力。

技术实现思路

[0005]本申请提供一种基于单元化架构的数据迁移方法、装置及电子设备，用以解决因整体数据迁移量增多导致业务系统升级较慢的问题。
[0006]第一方面，本申请提供一种基于单元化架构的数据迁移方法，所述方法包括：
[0007]基于单元化架构，在单元进行业务处理的过程中，监测第一机房中每一所述单元的数据量和流量；其中，所述第一机房包括至少一个所述单元；所述数据量为当前时刻下每一所述单元所连接的数据库中的业务数据量；所述流量为当前时刻下每一所述单元所部署的业务系统的访问总量；
[0008]根据所述数据量和所述流量，将所述第一机房增加至少一个单元；
[0009]获取每一所述单元中的每一数据分片的序号；其中，每一所述数据分片为对所述数据库中的业务数据进行分片处理后得到的；并根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片；其中，所述目标数据分片为需要进行迁移的数据分片；
[0010]将所述目标数据分片所对应的业务数据迁移至所述第一机房所增加的单元中。
[0011]一个示例中，根据所述数据量和所述流量，将所述第一机房增加至少一个单元，包括：
[0012]针对所述第一机房中每一所述单元，若监测到该单元的数据量大于或等于第一预设数据量，则为所述第一机房增加N个单元；其中，N为大于或者等于1的正整数；被增加了所述N个单元的第一机房中的单元总数小于或者等于第一参数所表征的数值；所述第一参数用于指示所述第一机房可包括的单元的最大数量。
[0013]一个示例中，根据所述数据量和所述流量，将所述第一机房增加至少一个单元，还
包括：
[0014]若确定监测到每一所述单元的流量大于或者等于第一预设流量，则为所述第一机房增加M个单元；其中，M为大于或者等于1的正整数；被增加了所述M个单元的第一机房中的单元总数小于或者等于所述第一参数所表征的数值。
[0015]一个示例中，所述单元中包括至少一个数据集合，所述数据集合中包括P个数据分片，P为大于1的正整数；根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片，包括：
[0016]针对每一所述单元，确定所述单元中的数据集合中的第P个数据分片和第P
‑
1个数据分片，为目标数据分片；
[0017]或者，针对每一所述单元，确定所述单元中的数据集合中的第P个数据分片、第P
‑
1个数据分片以及第P
‑
2个数据分片，为目标数据分片。
[0018]一个示例中，所述单元中的数据分片具有优先级；所述优先级为基于数据分片的业务类型、用户信息、以及数据分片的时间信息所确定的；根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片，包括：
[0019]针对每一所述单元，根据所述单元中的数据分片的优先级，确定优先级最高的数据分片为目标数据分片。
[0020]一个示例中，将所述目标数据分片所对应的数据迁移至所述第一机房所增加的单元中，包括：
[0021]根据所述第一机房所增加的单元数量，将所述目标数据分片平均划分至所述第一机房所增加的单元中；
[0022]针对每一所述目标数据分片，将该目标数据分片所对应的业务数据迁移至该目标数据分片所在单元对应的数据库中。
[0023]一个示例中，还包括：
[0024]根据所述数据量和所述流量，将所述第一机房删除至少一个单元；
[0025]将所述第一机房中被删除的单元所对应的所有数据分片，确定为所述目标数据分片；
[0026]将所述目标数据分片迁移至所述第一机房中剩余的单元中；并将每一所述数据迁移分片所对应的业务数据，迁移至每一所述目标数据分片所在单元对应的数据库中。
[0027]一个示例中，根据所述数据量和所述流量，将所述第一机房删除至少一个单元，包括：
[0028]针对所述第一机房中每一所述单元，若监测到该单元的数据量小于或者等于第二预设流量，则为所述第一机房删除K个新单元；其中，K为大于或者等于1的正整数；所述第一机房中剩余的单元的总数小于或者等于第二参数所表征的数值；所述第二参数用于指示所述第一机房可包括的单元的最小数量。
[0029]一个示例中，根据所述数据量和所述流量，将所述第一机房删除至少一个单元，还包括：
[0030]针对所述第一机房中每一所述单元，若监测到该单元的流量小于或者等于第二预设流量，则为所述第一机房删除L个新单元；其中，L为大于或者等于1的正整数；所述第一机房中剩余的单元的总数小于或者等于所述第二参数所表征的数值。
[0031]一个示例中，所述单元化架构还包括第二机房；其中，所述第二机房为所述第一机房的灾备机房；所述第二机房中的所有单元与所述第一机房中的所有单元一一对应；所述方法还包括：
[0032]基于所述单元化架构，更新所述第一机房的配置信息；并更新所述第二机房的配置信息；其中，所述配置信息包括第一信息和第二信息；所述第一信息为每一所述单元与每一所述数据分片之间的对应信息；所述第二信息为每一所述数据分片与每一所述数据库之间的对应信息。
[0033]第二方面，本申请提供一种基于单元化架构的数据迁移装置，所述装置包括：
[0034]监测单元，用于基于单元化架构，在单元进行业务处理的过程中，监测第一机房中每一所述单元的数据量和流量；其中，所述第一机房包括至少一个所述单元；所述数据量为当前时刻下每一所述单元所连接的数据库中的业务数据量；所述流量为当前时刻下每一所述单元所部署的业务系统的访问总量；
[0035]增加单元，用于根据所述数据量和所述流量，将所述第一机房增加至少一个单元；
[0036]获取单元，用于获取每一所述单元中的每一数据分片的序号；其中，每一所述数据分片为对所述数据库中的业务数据进行分片处理后得到的；
[0037]第一确定单元，用于根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片；其中，所述目标数据分片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单元化架构的数据迁移方法，其特征在于，所述方法包括：基于单元化架构，在单元进行业务处理的过程中，监测第一机房中每一所述单元的数据量和流量；其中，所述第一机房包括至少一个所述单元；所述数据量为当前时刻下每一所述单元所连接的数据库中的业务数据量；所述流量为当前时刻下每一所述单元所部署的业务系统的访问总量；根据所述数据量和所述流量，将所述第一机房增加至少一个单元；获取每一所述单元中的每一数据分片的序号；其中，每一所述数据分片为对所述数据库中的业务数据进行分片处理后得到的；并根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片；其中，所述目标数据分片为需要进行迁移的数据分片；将所述目标数据分片所对应的业务数据迁移至所述第一机房所增加的单元中。2.根据权利要求1所述的方法，其特征在于，根据所述数据量和所述流量，将所述第一机房增加至少一个单元，包括：针对所述第一机房中每一所述单元，若监测到该单元的数据量大于或等于第一预设数据量，则为所述第一机房增加N个单元；其中，N为大于或者等于1的正整数；被增加了所述N个单元的第一机房中的单元总数小于或者等于第一参数所表征的数值；所述第一参数用于指示所述第一机房可包括的单元的最大数量。3.根据权利要求2所述的方法，其特征在于，根据所述数据量和所述流量，将所述第一机房增加至少一个单元，还包括：若确定监测到每一所述单元的流量大于或者等于第一预设流量，则为所述第一机房增加M个单元；其中，M为大于或者等于1的正整数；被增加了所述M个单元的第一机房中的单元总数小于或者等于所述第一参数所表征的数值。4.根据权利要求1所述的方法，其特征在于，所述单元中包括至少一个数据集合，所述数据集合中包括P个数据分片，P为大于1的正整数；根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片，包括：针对每一所述单元，确定所述单元中的数据集合中的第P个数据分片和第P
‑
1个数据分片，为所述目标数据分片；或者，针对每一所述单元，确定所述单元中的数据集合中的第P个数据分片、第P
‑
1个数据分片以及第P
‑
2个数据分片，为所述目标数据分片。5.根据权利要求1所述的方法，其特征在于，所述单元中的数据分片具有优先级；所述优先级为基于数据分片的业务类型、用户信息、以及数据分片的时间信息所确定的；根据每一所述单元中的每一所述数据分片的序号，确定目标数据分片，包括：针对每一所述单元，根据所述单元中的数据分片的优先级，确定优先级最高的数据分片为所述目标数据分片。6.根据权利要求1所述的方法，其特征在于，将所述目标数据分片所对应的数据迁移至所述第一机房所增加的单元中，包括：根据所述第一机房所增加的单元数量，将所述目标数据分片平均划分至所述第一机房所增加的单元中；针对每一所述目标数据分片，将该目标数据分片所对应的业务数据迁移至该目标数据分片所在单元对应的数据库中。
7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，还包...

【专利技术属性】
技术研发人员：胡杰，张煌辉，朱伟，李艳静，王丹，李小平，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：