一种数联网上数据高效分发方法与装置制造方法及图纸

本申请实施例提供了一种数联网上数据高效分发方法与装置，包括：通过本地客户端执行规划算法，从所有数联网其他节点中选取至少部分目标节点构建为树状结构的节点拓扑集合；在本地客户端，根据传输树结构生成树状网络规划文件，并与将要分发的目标数据文件打包上传至传输树根节点，依靠树状网络的传输关系将上述数据包分发至数联网中的所有节点；依靠建立树状传输树向数联网所有节点实行数据分发，能够大幅提高数联网节点之间的信息传输效率。大幅提高数联网节点之间的信息传输效率。大幅提高数联网节点之间的信息传输效率。

【技术实现步骤摘要】
一种数联网上数据高效分发方法与装置


[0001]本申请涉及数联网领域，特别涉及一种数联网上数据高效分发方法与装置。

技术介绍

[0002]数联网是基于软件定义，通过以数据为中心的开放式软件体系结构和标准化互操作协议，将大规模的各种异构数据平台和系统连接起来，在“物理/机器”互联网之上形成的“虚拟/数据”网络。现如今，大规模集群服务器之间的数据交互传输主要依靠服务器
‑
客户机(C/S,Client
‑
Sever)式的架构组网。
[0003]客户机通过局域网与中心服务器连接，接受用户请求，并通过网络向服务器提出请求，对数据库进行操作；C/S架构能够充分发挥客户端电脑的处理能力，使得许多工作可以在客户端本地设备处理完成后再提交至服务器，减轻了对服务器本身的运行数据负荷。
[0004]但现有技术方案里，随着集群服务运算需求的增加，用于数据处理的本地设备数量也在随之增长；全部依靠C/S架构组网的数据传输模式，对于面向大规模的跨云跨地域的数联网系统，各节点之间的文件数据传输与运行任务分发速率受限于中心服务器的上传带宽上限，伴随数联网系统规模的不断增长，数据分发效率持续降低。

技术实现思路

[0005]本申请实施例提供一种数联网上数据高效分发方法、装置、电子设备及计算机可读存储介质，以解决相关技术中在面向大规模的跨云跨地域数联网系统节点之间的文件数据传输与运行任务分发过程中，分发速率受限于中心服务器的上传带宽上限，数据传输效率低的问题。
[0006]第一方面，本申请实施例提供了一种数据分发方法，应用于数联网中的客户端，所述方法包括：
[0007]获取数联网中各节点的节点信息，所述节点信息用于表征所述节点的属性特征；
[0008]根据所述节点信息，按照预设规划算法，从所有所述节点中选取至少部分目标节点，并将所有所述目标节点构建为树状结构的节点拓扑集合；
[0009]根据所述节点拓扑集合，生成树状网络规划文件，所述树状网络规划文件包括：所述目标节点的标识、节点类型以及所述目标节点在树状结构中的位置信息；
[0010]根据所述目标节点的标识，向所述目标节点分发目标数据包与所述树状网络规划文件。
[0011]在一种可选实现方式中，所述方法还包括：
[0012]对所述目标节点进行失效检测；其中，所述失效检测包括：与所述目标节点建立连接，并获取连接响应结果；
[0013]在所述目标节点的连接响应时间大于第一阈值的情况下，判断所述目标节点为失效节点；
[0014]根据所述树状网络规划文件获取所述失效节点的标识，以及所述失效节点在树状
结构中的位置信息，并发送所述失效节点的标识以及位置信息至所述目标节点中的根节点；
[0015]针对所述失效节点执行节点失效动态调节操作。
[0016]在一种可选实现方式中，所述根据所述树状网络规划文件获取所述失效节点的标识，以及所述失效节点在树状结构中的位置信息，并发送所述失效节点的标识以及位置信息至所述目标节点中的根节点，包括：
[0017]根据所述树状网络规划文件，将所述失效节点的节点信息发送至所述失效节点的父节点；以供所述父节点继续将所述失效节点的节点信息向根节点传输；
[0018]在所述根节点接收到所述失效节点的节点信息后，通知所述根节点将所述失效节点标记为异常。
[0019]在一种可选实现方式中，所述针对所述失效节点执行节点失效动态调节操作，包括：
[0020]根据所述树状网络规划文件，对所述失效节点的至少一个子孙节点重新执行预设规划算法，并将所述子孙节点的拓扑关系连接至所述失效节点的父节点，从而更新所述子孙节点在树状结构中的位置；
[0021]将所述子孙节点的传输任务调整至所述父节点中执行。
[0022]在一种可选实现方式中，向所述树状网络传输树分发目标数据包与所述树状网络规划文件，包括：
[0023]根据所述树状结构中根节点的标识，将所述树状网络规划文件和所述目标数据包发送至所述根节点，以供所述根节点通过所述树状网络规划文件，将所述数联网中的目标节点构建为树状结构，以及将所述目标数据包分发至树状结构中各所述目标节点中。
[0024]在一种可选实现方式中，所述节点信息包括：
[0025]连接所述数联网节点的每台主机的主机名、登录密码、所在城市的地理位置、所在云提供商；通过解析处理操作，将所述节点信息转化为标准数据结构格式；其中，所述解析处理操作包括：对用户输入内容的格式检查、关键信息的数据结构存储；所述标准数据结构格式的组成包括：所述节点的互联网协议地址、安全外壳协议用户名、登录密码、节点描述。
[0026]在一种可选实现方式中，所述根据节点的节点信息，按照预设规划算法，从所有所述节点中选取至少部分目标节点，并将所有所述目标节点构建为树状结构的节点拓扑集合，包括：
[0027]根据所述节点信息解析得到的所述标准数据结构，由所述节点的地理位置计算得到各节点之间的地理距离；
[0028]通过聚类算法，选取所述数联网中的一个目标节点作为根节点；所述目标节点为到所述数联网中其他节点平均距离最短的节点；
[0029]同样根据所述节点信息解析得到的所述标准数据结构，选取当前时刻所述数联网中到其他所述节点传输时间最短的目标节点作为所述根节点的子孙节点，加入至所述树状结构的节点拓扑集合中；
[0030]重复上述步骤，直至加入至所述树状结构的节点拓扑集合的目标节点个数达到目标阈值时停止。
[0031]在一种可选实现方式中，在所述根据节点的节点信息，按照预设规划算法，从所有
所述节点中选取至少部分目标节点，并将所有所述目标节点构建为树状结构的节点拓扑集合之前，所述方法还包括：
[0032]根据获取的所述节点信息，调用解析函数对所述节点信息进行解析处理操作，将所述节点信息转化为标准数据结构格式。
[0033]第二方面，本申请实施例提供了一种数据分发装置，其特征在于，应用于数联网中的客户端，所述装置包括：
[0034]信息获取模块，用于获取数联网中各节点的节点信息，所述节点信息用于表征所述节点的属性特征；
[0035]拓扑集合构建模块，用于根据所述节点信息，按照预设规划算法，从所有所述节点中选取至少部分目标节点，并将所有所述目标节点构建为树状结构的节点拓扑集合；
[0036]规划文件生成模块，用于根据所述节点拓扑集合，生成树状网络规划文件，所述树状网络规划文件包括：所述目标节点的标识、节点类型以及所述目标节点在树状结构中的位置信息；
[0037]数据分发模块，用于根据所述目标节点的标识，向所述目标节点分发目标数据包与所述树状网络规划文件。
[0038]在一种可选实现方式中，所述装置还包括：
[0039]节点检测模块，用于对所述目标节点进行失效检测；其中，所述失效检测包括：与所述目标节点建立连接，并获取连接响应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分发方法，应用于数联网中的客户端，其特征在于，所述方法包括：获取数联网中各节点的节点信息，所述节点信息用于表征所述节点的属性特征；根据所述节点信息，按照预设规划算法，从所有所述节点中选取至少部分目标节点，并将所有所述目标节点构建为树状结构的节点拓扑集合；根据所述节点拓扑集合，生成树状网络规划文件，所述树状网络规划文件包括：所述目标节点的标识、节点类型以及所述目标节点在树状结构中的位置信息；根据所述目标节点的标识，向所述目标节点分发目标数据包与所述树状网络规划文件。2.根据权利要求1所述方法，其特征在于，所述方法还包括：对所述目标节点进行失效检测；其中，所述失效检测包括：与所述目标节点建立连接，并获取连接响应结果；在所述目标节点的连接响应时间大于第一阈值的情况下，判断所述目标节点为失效节点；根据所述树状网络规划文件获取所述失效节点的标识，以及所述失效节点在树状结构中的位置信息，并发送所述失效节点的标识以及位置信息至所述目标节点中的根节点；针对所述失效节点执行节点失效动态调节操作。3.根据权利要求2所述方法，其特征在于，所述根据所述树状网络规划文件获取所述失效节点的标识，以及所述失效节点在树状结构中的位置信息，并发送所述失效节点的标识以及位置信息至所述目标节点中的根节点，包括：根据所述树状网络规划文件，将所述失效节点的节点信息发送至所述失效节点的父节点；以供所述父节点继续将所述失效节点的节点信息向根节点传输；在所述根节点接收到所述失效节点的节点信息后，通知所述根节点将所述失效节点标记为异常。4.根据权利要求2所述方法，其特征在于，所述针对所述失效节点执行节点失效动态调节操作，包括：根据所述树状网络规划文件，对所述失效节点的至少一个子孙节点重新执行预设规划算法，并将所述子孙节点的拓扑关系连接至所述失效节点的父节点，从而更新所述子孙节点在树状结构中的位置；将所述子孙节点的传输任务调整至所述父节点中执行。5.根据权利要求1所述方法，其特征在于，所述向所述树状网络传输树分发目标数据包与所述树状网络规划文件，包括：根据所述树状结构中根节点的标识，将所述树状网络...

【专利技术属性】
技术研发人员：黄罡，蔡华谦，李影，郭京申，
申请(专利权)人：北京大学，
类型：发明
国别省市：