一种数据传输方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种数据传输方法、装置、设备和介质。该方法应用于当前节点中，包括：获取发布节点传输数据，并存储所述传输数据；将存储的传输数据发送至对应的消息队列中，以便订阅所述传输数据的订阅节点获取所述传输数据，所述发布节点与所述当前节点独立运行。本发明专利技术实施例能够实现传输数据的统一存储与发送，降低发布节点的维护成本，降低数据传输成本，提高订阅节点获取传输数据的效率。高订阅节点获取传输数据的效率。高订阅节点获取传输数据的效率。

【技术实现步骤摘要】
一种数据传输方法、装置、设备和介质


[0001]本专利技术涉及大数据
，尤其涉及一种数据传输方法、装置、设备和介质。

技术介绍

[0002]在信息爆炸的时代，人们可以获取的数据呈指数倍增长，传统方式通过埋点或者日志打印，利用数据采集工具采集数据，然后发送到消息队列，供业务方使用。
[0003]利用数据采集工具采集，需要占用应用端的存储资源，影响应用端的应用性能，维护成本大。

技术实现思路

[0004]本专利技术提供了一种数据传输方法、装置、设备和介质，以实现传输数据的统一存储与发送，降低发布节点的维护成本，提高订阅节点获取传输数据的效率。
[0005]根据本专利技术的一方面，提供了一种数据传输方法，应用于当前节点中，该方发包括：
[0006]获取发布节点传输数据，并存储所述传输数据；
[0007]将存储的传输数据发送至对应的消息队列中，以便订阅所述传输数据的订阅节点获取所述传输数据，所述发布节点与所述当前节点独立运行。
[0008]根据本专利技术的另一方面，提供了一种数据传输装置，应用于当前节点中，该装置包括：
[0009]数据获取模块，用于获取发布节点传输数据，并存储所述传输数据；
[0010]数据传输模块，用于将存储的传输数据发送至对应的消息队列中，以便订阅所述传输数据的订阅节点获取所述传输数据，所述发布节点与所述当前节点独立运行。
[0011]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0012]至少一个处理器；以及
[0013]与所述至少一个处理器通信连接的存储器；其中，
[0014]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据传输方法。
[0015]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据传输方法。
[0016]根据本专利技术的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本专利技术任一实施例所述的数据传输方法。
[0017]本专利技术实施例的技术方案，通过获取发布节点传输数据并存储，实现了在当前节点存储传输数据，无需在发布节点存储传输数据，节省了发布节点的存储资源，通过当前节
点将存储的传输数据发送至对应的消息队列中，以便订阅数据的订阅节点获取传输数据，通过在当前节点存储和发送传输数据，简化了传输数据的传输链路，能够提高传输数据的传输效率，降低传输成本。
[0018]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是根据本专利技术实施例一提供的一种数据传输方法的流程图；
[0021]图2是根据本专利技术实施例二提供的一种数据传输方法的流程图；
[0022]图3是根据本专利技术实施例三提供的一种数据传输方法的流程图；
[0023]图4a是根据本专利技术实施例四提供的一种数据传输方法的系统架构图；
[0024]图4b为本专利技术实施例四提供的一种数据传输方法的数据链路图；
[0025]图5是根据本专利技术实施例五提供的一种数据传输装置的结构示意图；
[0026]图6是实现本专利技术实施例的数据传输方法的电子设备的结构示意图。
具体实施方式
[0027]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0028]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“包括”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0029]实施例一
[0030]图1为本专利技术实施例一提供了一种数据传输方法的流程图，本实施例可适用于日志数据传输的情况，该方法可以由数据传输装置来执行，该数据传输装置可以采用硬件和/或软件的形式实现，该数据传输装置可配置于电子设备中。如图1所示，该方法应用于当前节点中，该方法包括：
[0031]S110、获取发布节点传输数据，并存储所述传输数据。
[0032]发布节点是指生成传输数据的节点。具体的，发布节点可以是APP(Application，应用程序)、设备或网页等，在本申请中不作具体限定。发布节点的数量为至少一个。发布节点可以配置于K8s(容器编排器)、虚拟机或宿主机中。传输数据是指发布节点生成的数据中需要进行采集并传输的数据。传输数据可以包括设备日志数据、APP日志数据和埋点日志是
数据中的至少一项。当前节点是指对发布节点生成的传输数据进行存储和发送的节点。在本申请中，当前节点可以包括存储模块和数据分发服务，通过存储模块存储发布节点生成的传输数据，通过数据分发服务，将存储模块中存储的数据进行发送。发布节点可以通过挂载的方式将传输数据发送至当前节点，也可以通过API(Application Programming Interface，应用程序编程接口)或SDK(Software Development Kit，软件开发工具包)直接将传输数据发送至当前节点。
[0033]具体的，发布节点将生成的传输数据直接发送至当前节点中，并且发布节点自身不存储传输数据，仅由当前节点对传输数据进行存储。其中，当前节点存储传输数据时，生成元数据，其中，元数据又称中介数据或中继数据，为描述传输数据的数据，主要是描述传输数据属性的信息，用来支持如指示存储位置、历史数据、资源查找和文件记录等功能。
[0034]S120、将存储的传输数据发送至对应的消息队列中，以便订阅所述传输数据的订阅节点获取所述传输数据，所述发布节点与所述当前节点独立运行。
[0035]消息队列是指在消息的传输过程中保存消息的容器。示例性的，消息队列可以是kafka集群。消息队列的数量为至少一个。根据传输数据与消息队列的对应关系，可以将传输数据发送至对应的消息队列中。其中，传输数据与消息队列的对应关系可以根据传输数据的配置信息确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于当前节点中，包括：获取发布节点传输数据，并存储所述传输数据；将存储的传输数据发送至对应的消息队列中，以便订阅所述传输数据的订阅节点获取所述传输数据，所述发布节点与所述当前节点独立运行。2.根据权利要求1所述的方法，其特征在于，所述存储所述传输数据，包括：将所述传输数据存储在存储模块中，所述发布节点挂载于所述存储模块上。3.根据权利要求1所述的方法，其特征在于，所述将存储的传输数据发送至对应的消息队列中，包括：获取所述订阅节点的订阅位置；检测与所述订阅位置对应的消息队列，确定为所述传输数据对应的消息队列；将所述传输数据发送至对应的消息队列中。4.根据权利要求3所述的方法，其特征在于，所述消息队列包括与所述订阅位置处于同区的消息队列，或与所述订阅位置处于不同区的消息队列。5.根据权利要求3所述的方法，其特征在于，还包括：更新订阅位置与消息队列之间的对应关系；所述检测与所述订阅位置对应的消息队列，包括：根据更新后的订阅位置与消息队列之间的对应关系，确定与所述订阅位置对应的消息队列。6.根据权利要求1所述的方法，其特征在于，还包括：将存储的传输...

【专利技术属性】
技术研发人员：赵英超，
申请(专利权)人：杭州涂鸦信息技术有限公司，
类型：发明
国别省市：