【技术实现步骤摘要】
一种数据处理方法、设备及存储介质
[0001]本申请实施例涉及金融科技(Fintech)的数据处理
，涉及但不限于一种数据处理方法、设备及存储介质。
技术介绍
[0002]随着计算机计算的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
[0003]金融科技领域下，大数据存储和高并发请求已成为基本需求，为了支持大数据存储和高并发，目前普遍采用的技术方案就是分库分表方案，业界比较成熟的是采用关系型数据库分库分表中间件MyCat、ShardingJDBC、TDDL等来实现。这些分库分表中间件，都是提前创建好固定数量的分区数量(物理分区表)，然后基于特定业务键值，按照某种路由规则做数据拆分存储；但是，一旦数据存储出现瓶颈新增了物理分区表后，很多数据对应的物理分区表的表号就会发生变化，那数据的路由规则也会同步改变。为了解决新增物理分区表后数据的路由规则发生改变的问题，相关技术中提出了创建足够多的物理分区表和首次创建物理...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：确定待存储数据的目标业务键值，并基于所述目标业务键值确定所述待存储数据与数据索引节点的第一路由策略；确定所述数据索引节点与物理分区表的第二路由策略；基于所述目标业务键值、所述第一路由策略和所述第二路由策略，存储所述待存储数据至初始物理分区表中；在增加了新物理分区表的情况下，基于每个所述数据索引节点的繁忙度和每个所述初始物理分区表的繁忙度，将所述初始物理分区表的目标物理分区表中的目标数据索引节点的数据迁移至所述新物理分区表中，并更新所述第二路由策略；其中，所述数据索引节点的繁忙度表征所述数据索引节点对应的数据存储情况，所述初始物理分区表的繁忙度表征所述初始物理分区表中的数据存储情况。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标业务键值确定所述待存储数据与数据索引节点的第一路由策略，包括：在所述目标业务键值为字符串的情况下，对所述目标业务键值进行数据转换得到所述目标业务键值的码值；基于所述目标业务键值的码值和所述字符串的位数，确定第一哈希值；采用目标校验算法对所述第一哈希值进行处理，得到第二哈希值；对所述第二哈希值进行移位处理，并基于移位处理后的第二哈希值和所述第二哈希值，确定所述目标业务键值的目标哈希值；在所述目标业务键值为整形数值的情况下，确定所述目标业务键值为所述目标哈希值；将所述目标哈希值和所述数据索引节点的数量进行运算得到所述待存储数据对应的数据索引节点，并确定所述第一路由策略。3.根据权利要求2所述的方法，其特征在于，所述确定所述数据索引节点与物理分区表的第二路由策略，包括：确定所述每个数据索引节点对应的待存储数据的数据量；基于所述每个数据索引节点对应的待存储数据的数据量，确定所述数据索引节点与物理分区表的第二路由策略。4.根据权利要求1所述的方法，其特征在于，所述基于每个所述数据索引节点的繁忙度和每个所述初始物理分区表的繁忙度，将所述初始物理分区表的目标物理分区表中的目标数据索引节点的数据迁移至所述新物理分区表中，包括：确定所述每个数据索引节点对应的每一待存储数据的数据访问频率和所述每个数据索引节点对应的每一待存储数据的数据量；基于所述数据访问频率和所述数据量，确定所述每个数据索引节点的繁忙度；基于所述每个初始物理分区表对应的所述数据索引节点的繁忙度，确定所述每个初始物理分区表的繁忙度；基于所述每个数据索引节点的繁忙度，确定增加了所述新物理分区表后每个物理分区表的平均繁忙度；基于所述每个物理分区表的平均繁忙度和所述每个初始物理分区表的繁忙度，将所述
目标物理分区表中的目标数据索引节点的数据迁移至所述新物理分区表中。5.根据权利要求4所述的方法，其特征在于，所述基于所述访问频率和所述数据量，确定所述每个数据索引节点的繁忙度，包括：确定所述每个数据索引节点的总数据量；基于所述数据访问频率、所述总数据量、所述数据量和第一目标数值，确定所述每个数据索引节点的繁忙度；相应的，所述基于所述每个数据索引节点的繁忙度，确定增加了所述新物理分区表后每个物理分区表的平均繁忙度，包括：确定所述初始物理分区表的第一数量和新物理分区表的第二数量；基于所述每个数据索引节点的繁忙度、所述第一数量和所述第二数量，确定所述每个物理分区表的平均繁忙度。6.根据权利要求4所述的方法，其...
【专利技术属性】
技术研发人员：郑奕彬，彭荣杰，王顺云，侯银花，王文虎，朱蓉珍，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。