路由方法及装置、电子设备和计算机可读存储介质制造方法及图纸

技术编号:29526271 阅读:31 留言:0更新日期:2021-08-03 15:12
本公开提供了一种路由方法及装置、电子设备和计算机可读存储介质,本公开可用于大数据技术领域,也可用于金融技术领域。本公开的路由方法,包括:依次读取多个待处理文件,其中待处理文件中包括第一类型路由字段;判断当前待处理文件是否为目标待处理文件;在当前待处理文件是目标待处理文件的情况下,根据与目标待处理文件对应的目标第一类型路由字段,生成与目标待处理文件对应的目标第二类型路由字段,以便根据目标第二类型路由字段和路由算法,将目标待处理文件路由至第二文件系统中的目标数据库;以及在当前待处理文件不是目标待处理文件的情况下,丢弃当前待处理文件。

【技术实现步骤摘要】
路由方法及装置、电子设备和计算机可读存储介质
本公开涉及大数据
,更具体地,涉及一种路由方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
随着信息化时代的到来,分布式系统广泛应用在各种业务处理场景中,分布式平台系统采用的是分库分表分片的形式进行数据加工处理及存储,数据落库过程中,通常依据路由字段决定数据应该落地到哪个数据库中。在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题,由于不同业务系统进行数据路由时依据的路由字段类型可能不同,在不同业务之间进行数据交互的过程中,可能存在在数据路由过程中数据文件不携带本系统使用的路由字段的情况,在这种情况下如何进行数据路由,是亟待解决的问题。
技术实现思路
有鉴于此,本公开提供了一种路由方法及装置、电子设备、计算机可读存储介质和计算机程序产品。本公开的一个方面提供了一种路由方法,包括:依次读取多个待处理文件,其中待处理文件中包括第一类型路由字段,第一类型路由字段为在第一文件系统中,将待处理文件进行数据路由时依据的路由字段本文档来自技高网...

【技术保护点】
1.一种路由方法,包括:/n依次读取多个待处理文件,其中所述待处理文件中包括第一类型路由字段,所述第一类型路由字段为在第一文件系统中,将所述待处理文件进行数据路由时依据的路由字段类型;/n判断当前待处理文件是否为目标待处理文件;/n在所述当前待处理文件是所述目标待处理文件的情况下,根据与所述目标待处理文件对应的目标第一类型路由字段,生成与所述目标待处理文件对应的目标第二类型路由字段,以便根据所述目标第二类型路由字段和路由算法,将所述目标待处理文件路由至第二文件系统中的目标数据库,其中所述第二类型路由字段为在所述第二文件系统中,将所述待处理文件进行数据路由时依据的路由字段类型;以及/n在所述当前...

【技术特征摘要】
1.一种路由方法,包括:
依次读取多个待处理文件,其中所述待处理文件中包括第一类型路由字段,所述第一类型路由字段为在第一文件系统中,将所述待处理文件进行数据路由时依据的路由字段类型;
判断当前待处理文件是否为目标待处理文件;
在所述当前待处理文件是所述目标待处理文件的情况下,根据与所述目标待处理文件对应的目标第一类型路由字段,生成与所述目标待处理文件对应的目标第二类型路由字段,以便根据所述目标第二类型路由字段和路由算法,将所述目标待处理文件路由至第二文件系统中的目标数据库,其中所述第二类型路由字段为在所述第二文件系统中,将所述待处理文件进行数据路由时依据的路由字段类型;以及
在所述当前待处理文件不是目标待处理文件的情况下,丢弃所述当前待处理文件。


2.根据权利要求1所述的方法,其中,所述多个待处理文件为在预处理服务器中对原始批量文件中的每个文件分别按次序编号后获得的文件,每个所述待处理文件包含一个顺序编号,所述当前待处理文件包含当前顺序编号;
所述判断当前待处理文件是否为目标待处理文件包括:
根据所述当前顺序编号和预设判断规则,判断所述当前待处理文件是否为所述目标待处理文件。


3.根据权利要求2所述的方法,其中,所述预设判断规则采用取模判断规则;
根据所述当前顺序编号和判断规则,判断所述当前待处理文件是否为所述目标待处理文件包括:
将所述当前顺序编号对节点数进行取模,以获得当前模值,其中所述节点数为所述第二文件系统中的处理服务器的数量,每个所述处理服务器通过节点序号进行标识;
将所述当前模值与所述节点序号匹配的所述当前待处理文件确定为所述目标待处理文件。


4.根据权利要求1所述的方法,其中,根据与所述目标待处理文件对应的目标第一类型路由字段,生成与所述目标待处理文件对应的目标第二类型路由字段包括:
根据所述目标第一类型路由字段和预设生成规则生成所述目标第二类型路由字段,其中所述预设生成规则用于表征所述第一类型路由字段和所述第二类型路由字段的对应关系。


5.根据权利要求4所述的方法,其中,
所述第一类型路由字段和所述第二类型路由字段的对应关系为:所述第二类型路由字段=所述第一类型路由字段+辅助字段,其中所述辅助字段包括时间信息字段和随机数字段;
根据所述目标第一类型路由字段和预设生成规则生成所述目标第二类型路由字段包括:
获取与所述目标第一类型路由字段对应的所述目标辅助字段;
将所述目标辅助字段添加至所述目标第一类型路由字段中,以生成所述目标第二类型路由字段。

【专利技术属性】
技术研发人员:刘霞蔡予萌马彦胡凯乐
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1