一种数据传输方法、装置、客户端、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据传输方法、装置、客户端、电子设备及存储介质，该方法包括：从数据源采集数据；将所述数据的内容组织为目标消息队列中的消息；分别建立所述目标消息队列与指定的多个数据存储系统的传输通道；通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统。本发明专利技术实施例可解耦数据的单一传输流向，实现数据传输通道的并行扩展和数据在多个传输通道的并行传输。

A data transmission method, device, client, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据传输方法、装置、客户端、电子设备及存储介质
本专利技术实施例涉及数据处理
，具体涉及一种数据传输方法、装置、客户端、电子设备及存储介质。
技术介绍
数据传输是指从数据源中采集数据，并将采集的数据传输到DFS(DistributedFileSystem，分布式文件系统)等数据存储系统中。目前采集的数据的传输流向是单一的，即在从数据源中采集数据后，数据通过单一传输通道传输到数据存储系统。这种数据传输方式可能存在如下后续问题：仅能从单一的数据存储系统读取数据，数据的读取途径受到限制；数据的容灾性较差，当单一的数据存储系统出现问题时，只能从数据源中重新采集数据。因此，如何改进数据传输方式，从而为解决上述问题提供基础，成为了本领域技术人员需要考虑的问题。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据传输方法、装置、客户端、电子设备及存储介质，以解耦数据的单一传输流向，实现将数据通过多个传输通道并行传输给多个数据存储系统，从而为解决上述提及的问题提供基础。为实现上述目的，本专利技术实施例提供如下技术方案：一种数据传输方法，包括：从数据源采集数据；将所述数据的内容组织为目标消息队本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：从数据源采集数据；将所述数据的内容组织为目标消息队列中的消息；分别建立所述目标消息队列与指定的多个数据存储系统的传输通道；通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统。

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：从数据源采集数据；将所述数据的内容组织为目标消息队列中的消息；分别建立所述目标消息队列与指定的多个数据存储系统的传输通道；通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统。2.根据权利要求1所述的数据传输方法，其特征在于，所述将所述数据的内容组织为目标消息队列中的消息包括：将所述数据的内容按行封装为事件数据；将一个事件数据作为一条消息，在所述目标消息队列中以队列形式组织消息。3.根据权利要求1或2所述的数据传输方法，其特征在于，所述目标消息队列包括第一数据传输任务对应的第一消息队列；所述数据包括所述第一数据传输任务对应的第一数据。4.根据权利要求3所述的数据传输方法，其特征在于，所述目标消息队列中不同数据传输任务对应的消息以不同的主题区分；所述分别建立所述目标消息队列与指定的多个数据存储系统的传输通道包括：根据所述目标消息队列的不同主题，针对不同的数据传输任务，分别建立所述目标消息队列与指定的各数据存储系统的传输通道；所述通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统包括：针对任一数据传输任务，将所述目标消息队列中与该数据传输任务对应的消息，通过该数据传输任务相应的传输通道，并行传输给各数据存储系统。5.根据权利要求4所述的数据传输方法，其特征在于，所述目标消息队列还包括第二数据传输任务...

【专利技术属性】
技术研发人员：周瑜，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：上海,31