本公开提供了一种数据传输方法，可以应用于数据处理技术领域或金融科技领域。该数据传输方法包括：响应于数据传输指令，通过预设程序获取数据传输指令中携带的数据库表；基于数据库表，从数据仓库中提取元数据；对元数据进行流量分析，得到流量分析结果；监测消息队列链路的运行数据，并在运行数据超过预设条件的情况下，根据流量分析结果自动创建至少一个空闲的消息队列链路，其中，消息队列链路用于进行数据传输；基于至少一个空闲的消息队列链路，执行数据传输指令。本公开还提供了一种数据传输装置、设备和存储介质。设备和存储介质。设备和存储介质。
【技术实现步骤摘要】
数据传输方法、装置、设备和存储介质
[0001]本公开涉及数据处理
或金融科技领域，更具体地涉及一种数据处理方法、装置、设备、存储介质和程序产品。
技术介绍
[0002]主机系统的DB2(Relational Database Management System，关系型数据库系统)迁移到平台系统，一般是先获取DB2数据，再发送到主机系统的消息队列，由主机的消息队列和平台的消息队列之间建立数据通道并完成数据传输。在实现本公开专利技术构思的过程中，专利技术人发现相关技术中一般存在如下问题：在传输的数据量较大的情况下，会存在传输瓶颈，无法做到数据的横向扩展传输，进而降低了数据传输的效率和灵活性。
技术实现思路
[0003]鉴于上述问题，本公开提供了提高数据传输的效率和智能化程度的数据传输方法、装置、设备、存储介质和程序产品。
[0004]本公开的一个方面提供了一种数据传输方法，包括：响应于数据传输指令，通过预设程序获取所述数据传输指令中携带的数据库表；基于所述数据库表，从所述数据仓库中提取元数据；对所述元数据进行流量分析，得到所述流量分析结果；监测消息队列链路的运行数据，并在所述运行数据超过预设条件的情况下，根据所述流量分析结果自动创建至少一个空闲的消息队列链路，其中，所述消息队列链路用于进行数据传输；基于所述至少一个空闲的消息队列链路，执行所述数据传输指令。
[0005]根据本公开的实施例，所述元数据包括所述数据库表的标识；所述方法还包括：将所述至少一个空闲的消息队列链路登记到消息队列路由表中；通过所述数据库表的标识，从所述消息队列路由表中返回至少一个所述空闲的消息队列链路。
[0006]根据本公开的实施例，上述方法还包括：在返回m个空闲的消息队列链路的情况下，利用哈希算法从所述m个空闲的消息队列链路中确定n个目标消息队列链路，其中，m＞1，1≤n≤m。
[0007]根据本公开的实施例，所述利用哈希算法从所述m个空闲的消息队列链路中确定n个目标消息队列链路包括：提取所述数据库表中的主键字段；通过将所述主键字段的字段值和m值进行哈希运算，得到的哈希值作为n。
[0008]根据本公开的实施例，上述方法还包括：对在执行所述数据传输指令的过程中产生的运行参数进行监测，得到监测结果；在所述监测结果表征执行异常的情况下，生成告警信息并执行重试操作；在所述重试操作的执行次数超过预设阀值的情况下，停止执行，并通知相关运维人员。
[0009]根据本公开的实施例，所述元数据包括所述数据库表所占用的字节长度；所述对所述元数据进行流量分析，得到所述流量分析结果包括：响应于对所述数据库表的操作，记录所述字节长度的变化；通过分析周期时间内的所述字节长度的变化，得到所述数据库表
的流动速率；基于所述数据库表的流动速率，确定所述流量分析结果。
[0010]根据本公开的实施例，所述运行数据包括所述消息队列链路的运行内存、所述消息队列链路的传输延时、所述消息队列链路的运行状态参数。
[0011]本公开的另一方面还提供了一种数据传输装置，包括：获取模块，用于响应于数据传输指令，通过预设程序获取所述数据传输指令中携带的数据库表；提取模块，用于基于所述数据库表，从所述数据仓库中提取元数据；分析模块，用于对所述元数据进行流量分析，得到所述流量分析结果；第一监测模块，用于监测消息队列链路的运行数据，并在所述运行数据超过预设条件的情况下，根据所述流量分析结果自动创建至少一个空闲的消息队列链路，其中，所述消息队列链路用于进行数据传输；执行模块，用于基于所述至少一个空闲的消息队列链路，执行所述数据传输指令。
[0012]本公开的另一方面还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的数据传输方法。
[0013]本公开的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的数据传输方法。
[0014]本公开的另一方面还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的数据传输方法。
[0015]根据本公开实施例提供的数据传输方法、装置、设备、存储介质和程序产品，通过响应于数据传输指令，通过预设程序获取数据库表；并根据数据库表从数据仓库中提取元数据；对元数据进行流量分析，得到流量分析结果；监测消息队列链路的运行数据，并在运行数据超过预设条件的情况下，根据流量分析结果自动创建至少一个空闲的消息队列链路；并利用空闲的消息队列链路执行数据传输指令。由于在数据传输过程中，结合了对数据库表进行流量分析得到的流量分析结果，并根据流量分析结果自动创建多个消息队列链路，至少部分地克服了相关技术中存在的传输瓶颈，以及无法实现数据的横向扩展传输的问题，进而达到了提高数据传输的效率和灵活性的技术效果。
附图说明
[0016]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
[0017]图1示意性示出了根据本公开实施例的数据传输方法、装置、设备、存储介质和程序产品的应用场景图；
[0018]图2示意性示出了根据本公开实施例的数据传输方法的流程图；
[0019]图3示意性示出了相关技术的数据传输系统的架构图；
[0020]图4示意性示出了根据本公开实施例的数据传输系统的架构图；
[0021]图5示意性示出了应用图4的数据传输系统执行的数据传输方法的流程图；
[0022]图6示意性示出了根据本公开实施例的数据传输装置的结构框图；以及
[0023]图7示意性示出了根据本公开实施例的适于实现数据传输方法的电子设备的方框图。
具体实施方式
[0024]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0025]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0026]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0027]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据传输方法，包括：响应于数据传输指令，通过预设程序获取所述数据传输指令中携带的数据库表；基于所述数据库表，从所述数据仓库中提取元数据；对所述元数据进行流量分析，得到所述流量分析结果；监测消息队列链路的运行数据，并在所述运行数据超过预设条件的情况下，根据所述流量分析结果自动创建至少一个空闲的消息队列链路，其中，所述消息队列链路用于进行数据传输；基于所述至少一个空闲的消息队列链路，执行所述数据传输指令。2.根据权利要求1所述的方法，其中，所述元数据包括所述数据库表的标识；所述方法还包括：将所述至少一个空闲的消息队列链路登记到消息队列路由表中；通过所述数据库表的标识，从所述消息队列路由表中返回至少一个所述空闲的消息队列链路。3.根据权利要求2所述的方法，还包括：在返回m个空闲的消息队列链路的情况下，利用哈希算法从所述m个空闲的消息队列链路中确定n个目标消息队列链路，其中，m＞1，1≤n≤m。4.根据权利要求3所述的方法，其中，所述利用哈希算法从所述m个空闲的消息队列链路中确定n个目标消息队列链路包括：提取所述数据库表中的主键字段；通过将所述主键字段的字段值和m值进行哈希运算，得到的哈希值作为n。5.根据权利要求1所述的方法，还包括：对在执行所述数据传输指令的过程中产生的运行参数进行监测，得到监测结果；在所述监测结果表征执行异常的情况下，生成告警信息并执行重试操作；在所述重试操作的执行次数超过预设阀值的情况下，停止执行，并通知相关运维人员。6.根据权利要求1所述的方法，其中，所述元数据包括所述数据库表所...
【专利技术属性】
技术研发人员：杨诗平，陈雅峰，孙扬，柳彬娥，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。