一种数据传输方法及装置制造方法及图纸

本申请涉及互联网技术领域，尤其涉及一种数据传输方法及装置，用以解决在现有的数据交互格式下，当传输同一数据定义对应的多个数据时，需要对同一数据定义进行多次重复性的传输，从而浪费了网络传输资源，降低了数据传输效率的问题。本申请实施例提供的一种数据传输方法，包括：第一节点确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；所述第一节点将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。

【技术实现步骤摘要】

本申请涉及互联网
，尤其涉及一种数据传输方法及装置。
技术介绍
在分布式系统中，执行任务的节点之间的数据交互很频繁，节点之间的数据交互效率决定着分布式系统的运行效率。当节点之间进行数据交互时，为了便于接收方进行数据解析，除了有用的数据本身外，还会携带数据定义，这里的数据定义即为表示数据的含义的数据。比如，节点1向节点2传输对应的数据定义为“标识(Identity，ID)”的数据“A1B1C1”。在现有的JavaScript对象表示法(JavaScriptObjectNotation，JSON)、可扩展标记语言(ExtensibleMarkupLanguage，XML)及数据对象(Object)序列化等数据交互格式下，当传输同一数据定义对应的多个不同的数据时，数据定义也会被冗余多份传输，比如，若需要传输A1B1C1、A2B2C2、和A3B3C3这三个对应的数据定义为“ID”的数据时，传输的数据内容至少包括：“IDA1B1C1”、“IDA2B2C2”、和“IDA3B3C3”。显然，在现有的数据交互格式下，当传输同一种数据定义对应的多个数据时，也需要对数据定义进行多次重复性的传输，从而浪费了网络传输资源，降低了数据传输效率。
技术实现思路
本申请实施例提供一种数据传输方法及装置，用以解决在现有的数据交互格式下，当传输同一数据定义对应的多个数据时，需要对同一数据定义进行多次重复性的传输，从而浪费了网络传输资源，降低了数据传输效率的问题。本申请实施例提供的一种数据传输方法，包括：第一节点确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；所述第一节点将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。可选地，若待传输的数据定义有多种，则所述第一节点将所述第一数据集合和所述第二数据集合传输给第二节点之前，还包括：所述第一节点按照各种数据定义在所述第一数据集合中的排列顺序，依次确定每个数据组内的各个数据的排列顺序，其中，每个数据组内包含每种数据定义下的一个数据，每个数据在所属数据组内的排列位置，与该数据的数据定义在所述第一数据集合中的排列位置相同。可选地，所述第一节点将所述第一数据集合放置在第一数据文件中，将所述第二数据集合放置在第二数据文件中传输给第二节点。可选地，所述第一节点将所述第一数据集合和第二数据集合采用分隔符隔离，放置在同一个数据文件中传输给第二节点。本申请实施例提供的一种数据传输装置，包括：确定模块，用于确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；传输模块，用于将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。本申请实施例提供的一种数据传输系统，包括：第一节点，用于确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次；第二节点，用于接收第一节点发送的所述第一数据集合和第二数据集合，根据所述第一数据集合包含的至少一种数据定义，确定所述第二数据集合中的每个数据的数据定义。通过上述数据传输方法或装置，第一节点确定待传输的多个数据及每个数据的数据定义后，将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点，同一种数据定义在第一数据集合中只存在一次。通过本申请实施例，当节点之间需要传输对应同一数据定义的多个数据时，只需传输这多个数据及一个数据定义即可，而无需在传输每个数据时都携带上其对应的数据定义，从而可以减少数据传输量，节省网络传输资源，并提高数据传输效率。附图说明图1为本申请实施例一提供的数据传输方法流程图；图2为本申请实施例二提供的数据传输方法流程图；图3为本申请实施例三提供的数据传输装置结构示意图；图4为本申请实施例四提供的数据传输系统结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。实施例一如图1所示，为本申请实施例一提供的数据传输方法流程图，包括：S101：第一节点确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种。在分布式系统中，当上一级节点向下一级节点传输数据，或各个并行节点之间相互传输数据时，首先确定待传输的每个数据及每个数据对应的数据定义，比如，待传输的数据定义及数据为：“IDA1B1C1”、“IDA2B2C2”、和“IDA3B3C3”，其中，“A1B1C1”、“A2B2C2”、和“A3B3C3”为数据，“用户ID”为数据定义。S102：第一节点将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。该步骤中，并不按照现有的数据交互格式，将每一个数据的数据定义和该数据一起都进行传输，而是将各种数据定义整体作为一个数据集合(每种数据定义在第一数据集合中只出现一次)，将各个数据整体作为一个数据集合，将两者隔离进行传输。隔离的方式可以是将第一数据集合和第二数据集合分别采用不同的数据文件进行传输，或者，可以在一个数据文件中，将第一数据集合和第二数据集合采用分隔符隔离后进行传输。S103：第二节点根据接收的第一数据集合中包含的至少一种数据定义，确定所述第二数据集合中的每个数据的数据定义。在具体实施过程中，第二节点在接收到第一数据集合和第二数据集合后，为第二数据集合中的每个数据匹配数据定义，若第一数据集合中只包含一种数据定义，则可以将这一种数据定义确定为第二数据集合中的各个数据的数据定义；若第一数据集合中包含多种数据定义，则第一节点可以按照各种数据定义分别与数据的对应关系，将多种数据定义排列在第一数据集合中，将多个数据排列在第二数据集合中。具体地，第一节点可以按照默认的规则确定各种数据定义在第一数据集合中的排列位置，以及确定各个数据在第二数据集合中的排列位置，第一节点也可以在第一数据集合或第二数据集合中指示数据与其对应的数据定义的排列位置之间的关系。具体地，第二节点可以按照第一数据集合中的各种数据定义的排列顺序，以及第二数据集合中的各个数据在所属数据组内的排列顺序，确定每个数据的数据定义。或者，第一节点可以在第一数据集合中标注每种数据定义对应的各个数据的编号，或者，在第二数据集合中标注每个数据对应的数据定义的编号；比如，第一节点在第一数据集合中的每种数据定义后标注上匹配该数据定义的数据的编号，并将各个数据按照编号由大到小或由小到大的顺序排列在第二数据集合中，再比如，第一节点在第二数据集合中标注每个数据对应的数据定义的编号，并将各种数据定义按照编号由大到小或由小到大的顺序排列在第一数据集合中。但在第一数据集合或本文档来自技高网...

【技术保护点】
一种数据传输方法，其特征在于，该方法包括：第一节点确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；所述第一节点将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。

【技术特征摘要】
1.一种数据传输方法，其特征在于，该方法包括：第一节点确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；所述第一节点将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。2.如权利要求1所述的方法，其特征在于，若待传输的数据定义有多种，则所述第一节点将所述第一数据集合和所述第二数据集合传输给第二节点之前，还包括：所述第一节点按照各种数据定义在所述第一数据集合中的排列顺序，依次确定在所述第二数据集合中每个数据组内的各个数据的排列顺序，其中，每个数据组内包含每种数据定义下的一个数据，每个数据在所属数据组内的排列位置，与该数据的数据定义在所述第一数据集合中的排列位置相同。3.如权利要求1或2所述的方法，其特征在于，所述第一节点将所述第一数据集合放置在第一数据文件中，将所述第二数据集合放置在第二数据文件中传输给第二节点。4.如权利要求1或2所述的方法，其特征在于，所述第一节点将所述第一数据集合和第二数据集合采用分隔符隔离，放置在同一个数据文件中传输给第二节点。5.一种数据传输装置，其特征在于，该装置包括：确定模块，用于确定待传输的多个数据及每个数据的数据定义；其中，存在至少两个数据的数据定义为同一种；传输模块，用于将所述数据定义作为第一数据集合、将所述多个数据作为第二数据集合传输给第二节点；其中，同一种数据定义在第一数据集合中只存在一次。6.如权利要求5所述的装置，其特征在于，若待传输的数据定义有多种，则所述传输模块具体用于：在将所述第一数据集合和所述第二数据集合传输给第二节点之前，按照各种数据定义在所述第一数据集合中的排列顺序，依次确定在所述第二数据集合中每个数据组内的各...

【专利技术属性】
技术研发人员：张凤婷，蔡永保，朱坤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY