System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据传输方法、装置、存储介质以及电子设备制造方法及图纸_技高网

数据传输方法、装置、存储介质以及电子设备制造方法及图纸

技术编号:39946037 阅读:5 留言:0更新日期:2024-01-08 22:56
本申请公开了一种数据传输方法、装置、存储介质以及电子设备。该方法包括:接收业务系统发送的日志存储指令,并根据日志存储指令获取业务系统中的日志信息;确定业务系统的系统类型,根据系统类型对日志信息进行处理,得到待传输数据以及待传输数据所属的临时数据表,并将待传输数据存储至临时数据表中;根据日志信息确定用于对待传输数据进行变更的预设策略,并获取预设策略所属的数据传输模组;通过预设策略对待传输数据进行变更,得到目标数据,并通过数据传输模组将目标数据传输至目标数据库。通过本申请,解决了相关技术中针对数据处理需求单独进行流程设计开发的耗时长、效率低的问题。

【技术实现步骤摘要】

本申请涉及数据处理领域,具体而言,涉及一种数据传输方法、装置、存储介质以及电子设备


技术介绍

1、金融机构在日常经营过程中会在其多个业务系统中产生大量数据,例如银行中的用户业务数据,金融机构不仅需要将业务数据进行批量存储,同时还需要对业务数据进行分析,从而提高业务效率,使得业务数据给金融机构带来更高价值。

2、当前在对数据进行批量存储和分析处理的时候,通常采用的方法为根据新提出的数据处理需求进行存储和分析的流程设计和开发,但是,每次根据不同的需求进行开发的人力成本高、上线周期长、效率低,进而影响金融机构的业务执行进度。

3、针对相关技术中针对数据处理需求单独进行流程设计开发的耗时长、效率低的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请提供一种数据传输方法、装置、存储介质以及电子设备,以解决相关技术中针对数据处理需求单独进行流程设计开发的耗时长、效率低的问题。

2、根据本申请的一个方面,提供了一种数据传输方法。该方法包括:接收业务系统发送的日志存储指令,并根据日志存储指令获取业务系统中的日志信息;确定业务系统的系统类型,根据系统类型对日志信息进行处理,得到待传输数据以及待传输数据所属的临时数据表,并将待传输数据存储至临时数据表中;根据日志信息确定用于对待传输数据进行变更的预设策略,并获取预设策略所属的数据传输模组;通过预设策略对待传输数据进行变更,得到目标数据,并通过数据传输模组将目标数据传输至目标数据库。

3、可选地,根据日志存储指令获取业务系统中的日志信息包括:解析日志存储指令,得到日志存储指令指示的日志信息;确定业务系统关联的多个数据库中的备用数据库,以及业务系统的预设日志获取模式;采用预设日志获取模式从备用数据库中获取日志信息。

4、可选地,根据系统类型对日志信息进行处理,得到待传输数据以及待传输数据所属的临时数据表包括:根据预设关系确定系统类型对应的临时数据库,并将日志信息进行解析,得到日志内容,其中,预设关系为多个系统类型与多个临时数据库之间的关联关系;判断日志内容的数据格式是否为预设格式,并在日志内容的数据格式不是预设格式的情况下,将日志内容的数据格式变更为预设格式,得到待传输数据;根据日志内容确定需要对日志信息进行的计算操作,并根据计算操作和预设策略之间的关联关系确定日志内容对应的预设策略,并确定预设策略对应的临时数据表。

5、可选地,将待传输数据存储至临时数据表中包括:在临时数据库中搜索是否存在预设策略对应的临时数据表;在临时数据库中存在预设策略对应的临时数据表的情况下,将待传输数据发送至临时数据表中;在临时数据库中不存在预设策略对应的临时数据表的情况下,在临时数据库中创建与预设策略对应的临时数据表,并在目标数据库中创建与预设策略相对应的目标数据表,其中,目标数据库为具有预设策略的数据传输模组对应的数据库。

6、可选地,数据传输模组用于将目标数据传输至目标数据库中的目标数据表中,并判断目标数据表中是否存在与目标数据的数据内容相同的历史数据,在存在历史数据的情况下,删除历史数据,其中,目标数据表与预设策略之间具有关联关系。

7、可选地,在通过数据传输模组将目标数据传输至目标数据库之后,该方法还包括:接收目标数据库发送的第一反馈信息;在第一反馈信息表征目标数据传输失败的情况下,从临时数据表中获取待传输数据,重新执行通过预设策略对待传输数据进行变更,得到目标数据的步骤,并监控得到目标数据的步骤的执行状态;在执行状态为异常的情况下,确定通过预设策略对待传输数据进行变更,得到目标数据的步骤出现异常;在执行状态为正常的情况下,通过数据传输模组将目标数据传输至目标数据库;接收目标数据库发送的第二反馈信息,并在第二反馈信息表征目标数据传输失败的情况下,显示告警信息,其中,告警信息表征数据传输模组出现异常。

8、可选地,在第一反馈信息表征目标数据传输成功的情况下,该方法还包括:确定第一反馈信息的生成时刻,得到第一时刻;确定目标数据发送的时刻,得到第二时刻;计算第一时刻与第二时刻之间的时间间隔,并判断时间间隔是否大于预设时长;在时间间隔大于预设时长的情况下,确定目标数据传输失败,并重新执行根据日志信息确定用于对待传输数据进行变更的预设策略,并获取预设策略所属的数据传输模组的步骤。

9、根据本申请的另一方面,提供了一种数据传输装置。该装置包括:第一接收单元,用于接收业务系统发送的日志存储指令,并根据日志存储指令获取业务系统中的日志信息;第一确定单元,用于确定业务系统的系统类型,根据系统类型对日志信息进行处理,得到待传输数据以及待传输数据所属的临时数据表,并将待传输数据存储至临时数据表中;获取单元,用于根据日志信息确定用于对待传输数据进行变更的预设策略,并获取预设策略所属的数据传输模组;第一传输单元,用于通过预设策略对待传输数据进行变更,得到目标数据,并通过数据传输模组将目标数据传输至目标数据库。

10、根据本专利技术的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种数据传输方法。

11、根据本专利技术的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据传输方法。

12、通过本申请,采用以下步骤:接收业务系统发送的日志存储指令,并根据日志存储指令获取业务系统中的日志信息;确定业务系统的系统类型,根据系统类型对日志信息进行处理,得到待传输数据以及待传输数据所属的临时数据表,并将待传输数据存储至临时数据表中;根据日志信息确定用于对待传输数据进行变更的预设策略,并获取预设策略所属的数据传输模组;通过预设策略对待传输数据进行变更,得到目标数据,并通过数据传输模组将目标数据传输至目标数据库。解决了相关技术中针对数据处理需求单独进行流程设计开发的耗时长、效率低的问题。通过根据系统类型对日志信息进行处理,并将处理后得到的待传输数据存储至临时数据表中,并根据临时数据表对应的数据传输模组中的预设策略对临时数据表中的待传输数据进行处理的方式,对日志进行统一处理,并将处理后得到的目标数据由数据传输模组传输至存储该数据的数据库中的数据表中,从而通过预设策略完成对数据的处理和分析,并同时预设策略对数据进行变更,从而使得在对数据变更需求发生变化的情况下,只需对预设策略进行变更和新增即可,无需对整个流程进行重新开发,并使用数据传输模组对数据进行传输和存储,进而可以在对数据进行处理的时候,只对数据传输模组中的代码进行修改即可,或是添加新的数据传输模组,进而达到了降低开发成本,提高开发效率,提高数据处理效率的效果。

本文档来自技高网...

【技术保护点】

1.一种数据传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述日志存储指令获取所述业务系统中的日志信息包括:

3.根据权利要求1所述的方法,其特征在于,根据所述系统类型对所述日志信息进行处理,得到待传输数据以及所述待传输数据所属的临时数据表包括:

4.根据权利要求3所述的方法,其特征在于,将所述待传输数据存储至所述临时数据表中包括:

5.根据权利要求1所述的方法,其特征在于,所述数据传输模组用于将所述目标数据传输至所述目标数据库中的目标数据表中,并判断所述目标数据表中是否存在与所述目标数据的数据内容相同的历史数据,在存在所述历史数据的情况下,删除所述历史数据,其中,所述目标数据表与所述预设策略之间具有关联关系。

6.根据权利要求1所述的方法,其特征在于,在通过所述数据传输模组将所述目标数据传输至目标数据库之后,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,在所述第一反馈信息表征所述目标数据传输成功的情况下,所述方法还包括:

8.一种数据传输装置,其特征在于,包括:

9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据传输方法。

10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据传输方法。

...

【技术特征摘要】

1.一种数据传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述日志存储指令获取所述业务系统中的日志信息包括:

3.根据权利要求1所述的方法,其特征在于,根据所述系统类型对所述日志信息进行处理,得到待传输数据以及所述待传输数据所属的临时数据表包括:

4.根据权利要求3所述的方法,其特征在于,将所述待传输数据存储至所述临时数据表中包括:

5.根据权利要求1所述的方法,其特征在于,所述数据传输模组用于将所述目标数据传输至所述目标数据库中的目标数据表中,并判断所述目标数据表中是否存在与所述目标数据的数据内容相同的历史数据,在存在所述历史数据的情况下,删除所述历史数据,其中,所述目标数据表与所述预设策略之间具有关联关系。

6...

【专利技术属性】
技术研发人员:范振涛
申请(专利权)人:吉林亿联银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1