基于shardingJDBC的资产还款计划海量数据处理方法技术

本申请涉及数据处理领域，其具体地公开了一种基于shardingJDBC的资产还款计划海量数据处理方法，其通过采用基于深度学习的人工智能技术，使用备选切分方案来对于资产还款计划海量数据进行切分，以此来提取出所述资产还款计划海量数据基于全局的切分子数据语义理解特征，并进一步通过所述各个切分子数据的语义理解特征间的语义拓扑关联特征来增强所述各个切分子数据的语义理解特征的表达，以此来提高对于资产还款计划海量数据的语义理解精准度，进而提高对于备选切分方案的合理性判断的准确性。这样，能够对于资产还款计划海量数据进行合理地数据分片，进而提高后续数据库的使用效率。用效率。用效率。

【技术实现步骤摘要】
基于shardingJDBC的资产还款计划海量数据处理方法


[0001]本申请涉及数据处理领域，且更为具体地，涉及一种基于shardingJDBC的资产还款计划海量数据处理方法。

技术介绍

[0002]Apache ShardingSphere 是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。ShardingJDBC作为Apache ShardingSphere的一款产品，既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java同构、异构语言、云原生等各种多样化的应用场景。
[0003]虽然shardingJDBC的引入对业务代码无侵入，不需要修改任何业务代码逻辑，只需要引入jar包和修改配置文件即可完成分片。但是在具体数据处理中，如何进行数据分片是一个重要的技术问题。现有的数据分片策略为基于人工经验来进行数据切分，但人工经验在面对不熟悉的数据时往往无法很好地基于数据内部信息和数据自身结构来合理分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于shardingJDBC的资产还款计划海量数据处理方法，其特征在于，包括：获取待切分资产还款计划海量数据；基于第一备选切分方案对所述待切分资产还款计划海量数据进行切分以得到多个切分子数据；将所述多个切分子数据中各个切分子数据通过基于转换器的上下文编码器以得到多个切分子数据语义理解特征向量；计算所述多个切分子数据语义理解特征向量中每两个切分子数据语义理解特征向量之间的欧式距离以得到语义空间拓扑矩阵；将所述语义空间拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到语义空间分布拓扑特征矩阵；将所述多个切分子数据语义理解特征向量进行二维矩阵化以得到全局切分子数据语义理解特征矩阵；将所述全局切分子数据语义理解特征矩阵和所述语义空间分布拓扑特征矩阵通过图神经网络模型以得到拓扑全局切分子数据语义理解特征矩阵；对所述拓扑全局切分子数据语义理解特征矩阵进行特征分布优化以得到分类特征向量；以及将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示第一备选切分方案是否合理。2.根据权利要求1所述的基于shardingJDBC的资产还款计划海量数据处理方法，其特征在于，所述将所述多个切分子数据中各个切分子数据通过基于转换器的上下文编码器以得到多个切分子数据语义理解特征向量，包括：对所述多个切分子数据中各个切分子数据进行分词处理以将所述多个切分子数据中各个切分子数据转化为由多个词组成的词序列；使用所述基于转换器的上下文编码器的嵌入层分别将所述词序列中各个词映射为词嵌入向量以得到词嵌入向量的序列；使用所述基于转换器的上下文编码器的转换器对所述词嵌入向量的序列进行基于转换器思想的全局上下文语义编码以得到多个全局上下文语义特征向量；以及将所述多个全局上下文语义特征向量进行级联以得到所述多个切分子数据语义理解特征向量。3.根据权利要求2所述的基于shardingJDBC的资产还款计划海量数据处理方法，其特征在于，所述使用所述基于转换器的上下文编码器的转换器对所述词嵌入向量的序列进行基于转换器思想的全局上下文语义编码以得到多个全局上下文语义特征向量，包括：将所述词嵌入向量的序列进行一维排列以得到全局词特征向量；计算所述全局词特征向量与所述词嵌入向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；
分别以所述多个概率值中各个概率值作为权重对所述词嵌入向量的序列中各个词向量进行加权以得到所述多个上下文语义特征向量；将所述多个上下文语义特征向量进行级联以得到所述多个全局上下文语义特征向量。4.根据权利要求3所述的基于shardingJDBC的资产还款计划海量数据处理方法，其特征在于，所述计算所述多个切分子数据语义理解特征向量中每两个切分子数据语义理解特征向量之间的欧式距离以得到语义空间拓扑矩阵，包括：以如下公式计算所述多个切分子数据语义理解特征向量中每两个切分子数据语义理解特征向量之间的欧式距离以得到多个欧...

【专利技术属性】
技术研发人员：陈粤龙，朱振华，张献力，
申请(专利权)人：杭银消费金融股份有限公司，
类型：发明
国别省市：