文件传输方法、装置、设备及存储介质制造方法及图纸

技术编号:36882735 阅读:12 留言:0更新日期:2023-03-15 21:17
本公开提供了一种文件传输方法、装置、设备及存储介质,可以应用节点于数据处理技术领域和金融技术领域。该方法包括:获取目标文件的属性信息和传输链路信息,其中,传输链路信息是根据目标文件在业务运维架构中的传输路径确定的;目标文件的属性信息包括内容属性信息和数据量属性信息;将数据量属性信息输入训练好的传输预测模型,输出目标文件在传输路径上进行传输的预测传输时间区间的信息;根据传输链路信息和内容属性信息,确定目标文件的优先级信息;在目标文件的实际传输时间区间大于预测传输时间区间的情况下,根据优先级信息,生成目标文件的传输策略;以及按照传输策略,执行针对目标文件的传输操作。执行针对目标文件的传输操作。执行针对目标文件的传输操作。

【技术实现步骤摘要】
文件传输方法、装置、设备及存储介质


[0001]本公开涉及数据处理
和金融
,尤其涉及一种文件传输方法、装置、设备、介质和程序产品。

技术介绍

[0002]随着互联网金融业务的发展,交易链路越来越复杂,在交易过程中,批量文件在交易链路的各个应用节点程序之间传输,一旦其中任意一个传输环节出现异常,直接影响整个交易链路的数据处理情况。
[0003]相关技术中,一般是通过人工识别和分析批量文件的传输日志,排查异常原因,这种方式会导致批量文件的传输中断,影响整个交易链路的正常运行。

技术实现思路

[0004]鉴于上述问题,本公开提供了一种文件传输方法、装置、设备、介质和程序产品。
[0005]根据本公开的一个方面,提供了一种文件传输方法,包括:
[0006]获取目标文件的属性信息和传输链路信息,其中,传输链路信息是根据目标文件在业务运维架构中的传输路径确定的;目标文件的属性信息包括内容属性信息和数据量属性信息;
[0007]将数据量属性信息输入训练好的传输预测模型,输出目标文件在传输路径上进行传输的预测传输时间区间的信息;
[0008]根据传输链路信息和内容属性信息,确定目标文件的优先级信息;
[0009]在目标文件的实际传输时间区间大于预测传输时间区间的情况下,根据优先级信息,生成目标文件的传输策略;以及
[0010]按照传输策略,执行针对目标文件的传输操作。
[0011]根据本公开的实施例,按照传输策略,执行针对目标文件的传输操作,包括:
[0012]根据传输链路信息,从传输路径中确定第一节点和第二节点,其中,目标文件由第一节点向第二节点传输;
[0013]获取第二节点中的待接收文件,其中,待接收文件表征由其他节点向第二节点发送的文件;
[0014]在目标文件的优先级大于待接收文件的情况下,关闭第一节点对目标数据库的防火墙限制,目标数据库表征用于存储目标文件的数据库;
[0015]建立第二节点与目标数据库的通信连接,利用第二节点从目标数据库获取目标文件。
[0016]根据本公开的实施例,上述文件传输方法还包括:
[0017]在目标文件的优先级小于其他待接收文件的情况下,停止第一节点与第二节点之间针对目标文件的传输操作,并接收其他待接收文件;
[0018]在接收到第一节点向第二节点发送目标文件的传输指令的情况下,执行第一节点
与第二节点之间针对目标文件的传输操作。
[0019]根据本公开的实施例,根据传输链路信息和内容属性信息,确定目标文件的优先级信息,包括:
[0020]根据传输链路信息,确定目标文件在业务运维架构中的n个传输路径;
[0021]针对第i个传输路径,根据目标文件的内容属性信息,确定目标文件在传输路径中的传输效率对业务运维的影响程度;
[0022]根据影响程度生成目标文件的优先级信息,其中,1≤i≤n,i、n均为正整数。
[0023]根据本公开的实施例,上述文件传输方法还包括:
[0024]接收由监控平台发送的传输异常信息,其中,传输异常信息表征导致目标文件传输异常的原因信息;
[0025]在原因信息为目标文件中存在异常数据的情况下,删除目标文件中的异常数据,并将删除异常数据之后的目标文件按照传输路径进行传输;
[0026]在原因信息为传输路径中的节点异常的情况下,变更传输路径中的节点信息,生成变更后的传输链路,并按照变更后的传输链路,执行针对目标文件的传输操作。
[0027]根据本公开的实施例,上述文件传输方法还包括:
[0028]接收由监控平台发送的资源占用状态信息;
[0029]根据资源占用状态信息,调配硬件资源向批量文件传输系统,用于目标文件的批量传输。
[0030]根据本公开的实施例,传输预测模型的训练方法包括:
[0031]获取预设周期内在目标传输路径中历史文件的传输时间区间信息和数据量属性信息;
[0032]根据历史文件的传输时间区间信息和数据量属性信息,生成训练样本集;
[0033]利用训练样本集训练初始预设模型,得到训练好的传输预测模型。
[0034]本公开的另一个方面提供了一种文件传输装置,包括:获取模块、预测模块、确定模块、生成模块和执行模块。其中,获取模块用于获取目标文件的属性信息和传输链路信息,其中,传输链路信息是根据目标文件在业务运维架构中的传输路径确定的;目标文件的属性信息包括内容属性信息和数据量属性信息。预测模块用于将数据量属性信息输入训练好的传输预测模型,输出目标文件在传输路径上进行传输的预测传输时间区间的信息。确定模块用于根据传输链路信息和内容属性信息,确定目标文件的优先级信息。生成模块用于在目标文件的实际传输时间区间大于预测传输时间区间的情况下,根据优先级信息,生成目标文件的传输策略。执行模块用于按照传输策略,执行针对目标文件的传输操作。
[0035]根据本公开的实施例,执行模块包括第一确定单元、第一获取单元、关闭单元、建立单元。其中,第一确定单元用于从传输路径中确定第一节点和第二节点,其中,目标文件由第一节点向第二节点传输。第一获取单元用于获取第二节点中的待接收文件,其中,待接收文件表征由其他节点向第二节点发送的文件。关闭单元用于在目标文件的优先级大于待接收文件的情况下,关闭第一节点对目标数据库的防火墙限制,目标数据库表征用于存储目标文件的数据库。建立单元用于建立第二节点与目标数据库的通信连接,利用第二节点从目标数据库获取目标文件。
[0036]根据本公开的实施例,执行模块还包括停止单元和执行单元。其中,停止单元用于
在目标文件的优先级小于其他待接收文件的情况下,停止第一节点与第二节点之间针对目标文件的传输操作,并接收其他待接收文件。执行单元用于在接收到第一节点向第二节点发送目标文件的传输指令的情况下,执行第一节点与第二节点之间针对目标文件的传输操作。
[0037]根据本公开的实施例,确定模块包括第二确定单元、第三确定单元和第一生成单元。其中,第二确定单元用于根据传输链路信息,确定目标文件在业务运维架构中的n个传输路径。第三确定单元用于针对第i个传输路径,根据目标文件的内容属性信息,确定目标文件在传输路径中的传输效率对业务运维的影响程度。第一生成单元用于根据影响程度生成目标文件的优先级信息,其中,1≤i≤n,i、n均为正整数。
[0038]根据本公开的实施例,上述文件传输装置还包括:第一接收模块、删除模块和变更模块。其中,第一接收模块用于接收由监控平台发送的传输异常信息,其中,传输异常信息表征导致目标文件传输异常的原因信息。删除模块用于在原因信息为目标文件中存在异常数据的情况下,删除目标文件中的异常数据,并将删除异常数据之后的目标文件按照传输路径进行传输。变更模块用于在原因信息为传输路径中的节点异常的情况下,变更传输路径中的节点信息,生成变更后的传输链路,并按照变更后的传输链路,执本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种文件传输方法,包括:获取目标文件的属性信息和传输链路信息,其中,所述传输链路信息是根据目标文件在业务运维架构中的传输路径确定的;所述目标文件的属性信息包括内容属性信息和数据量属性信息;将所述数据量属性信息输入训练好的传输预测模型,输出所述目标文件在所述传输路径上进行传输的预测传输时间区间的信息;根据所述传输链路信息和所述内容属性信息,确定所述目标文件的优先级信息;在所述目标文件的实际传输时间区间大于所述预测传输时间区间的情况下,根据所述优先级信息,生成所述目标文件的传输策略;以及按照所述传输策略,执行针对所述目标文件的传输操作。2.根据权利要求1所述的方法,其中,所述按照所述传输策略,执行针对所述目标文件的传输操作,包括:根据所述传输链路信息,从所述传输路径中确定第一节点和第二节点,其中,所述目标文件由所述第一节点向所述第二节点传输;获取所述第二节点中的待接收文件,其中,所述待接收文件表征由其他节点向所述第二节点发送的文件;在所述目标文件的优先级大于所述待接收文件的情况下,关闭所述第一节点对目标数据库的防火墙限制,所述目标数据库表征用于存储所述目标文件的数据库;建立所述第二节点与目标数据库的通信连接,利用所述第二节点从所述目标数据库获取所述目标文件。3.根据权利要求2所述的方法,还包括:在所述目标文件的优先级小于其他待接收文件的情况下,停止所述第一节点与所述第二节点之间针对所述目标文件的传输操作,并接收所述其他待接收文件;在接收到所述第一节点向所述第二节点发送所述目标文件的传输指令的情况下,执行所述第一节点与所述第二节点之间针对所述目标文件的传输操作。4.根据权利要求1所述的方法,其中,所述根据所述传输链路信息和所述内容属性信息,确定所述目标文件的优先级信息,包括:根据所述传输链路信息,确定所述目标文件在业务运维架构中的n个传输路径;针对第i个传输路径,根据所述目标文件的内容属性信息,确定所述目标文件在所述传输路径中的传输效率对业务运维的影响程度;根据所述影响程度生成所述目标文件的优先级信息,其中,1≤i≤n,i、n均为正整数。5.根据权利要求1所述的方法,还包括:接收由监控平台发送的传输异常信息,其中,所述...

【专利技术属性】
技术研发人员:张政伟成理嘉王亚军刘鹏
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1