一种数据传输方法及DTS系统技术方案

本申请公开了一种数据传输方法以及DTS系统。该方法先从上游数据库抽取数据，转换为统一格式存入消息队列，实现数据生产与消费解耦。依据DTS任务配置，调度数据处理节点将消息传至下游数据库，并实时采集数据处理节点运行指标，计算系统负载状态，动态调整资源进行扩缩容。该方案基于资源指标动态调控，使系统有强大自适应能力，业务规模增长或数据量攀升时，可依据实时监控数据平滑扩展计算节点、优化缓存分配，无需复杂人工配置与大规模架构改造；面对突发变化或异常流量，能迅速调整资源，保障业务连续性与服务可用性，提升企业数据处理竞争力。

【技术实现步骤摘要】

本申请一般涉及数据处理，具体涉及一种数据传输方法以及dts系统。

技术介绍

1、数据传输服务(datatransmissionservice，简称dts)是一种用于实现数据在不同存储系统、不同地域或不同应用之间高效、可靠传输和同步的服务，可以将数据从一个数据源迁移到另一个目标数据源，支持多种数据库类型、文件系统等之间的数据迁移，在数据传输过程中，可对数据进行格式转换、数据清洗、字段映射等处理，以满足不同系统对数据格式和内容的要求。

2、当前的dts系统凭借其对多类型数据库的兼容能力、高效的数据传输速率及稳定的同步机制，在数据迁移与流转场景中展现出显著优势。然而，当面临海量数据处理及高并发传输需求时，系统暴露出资源配置与利用的结构性矛盾：一方面，内存、cpu等核心资源消耗急剧攀升，导致服务器负载过载；另一方面，资源调度缺乏动态优化，致使整体利用率不足。由此引发的连锁反应包括响应延迟显著增加、事务处理效率骤降，最终造成系统吞吐量下降与服务质量劣化，难以满足数据实时性与系统弹性的要求。

3、因此，如何在高负载环境下，优化数据传输过程，是本本文档来自技高网...

【技术保护点】

1.一种数据传输方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述实时收集各所述数据处理节点的运行状态指标，并根据各所述运行状态指标计算DTS系统负载状态，包括：

3.如权利要求1所述的方法，其特征在于，依据所述DTS系统负载状态对DTS系统资源进行动态扩缩容，包括：

4.如权利要求1所述的方法，其特征在于，在将所述消息添加至消息队列之前，还包括：

5.如权利要求4所述的方法，其特征在于，对所述消息进行数据压缩处理，包括：

6.如权利要求1所述的方法，其特征在于，将所述消息添加至消息队列，包括：

...

【技术特征摘要】

1.一种数据传输方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述实时收集各所述数据处理节点的运行状态指标，并根据各所述运行状态指标计算dts系统负载状态，包括：

3.如权利要求1所述的方法，其特征在于，依据所述dts系统负载状态对dts系统资源进行动态扩缩容，包括：

4.如权利要求1所述的方法，其特征在于，在将所述消息添加至消息队列之前，还包括：

5.如权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：李亚杰，陈存利，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：