一种分布式数据系统的节点及广播传输数据管理方法技术方案

本发明专利技术涉及一种分布式数据系统的节点及广播传输数据管理方法，本发明专利技术通过对分布式数据系统中的数据及广播式的传输方式进行管理，实现一套广播式传输的冗余数据消除机制，避免重复存储和传输；本发明专利技术可实现分布数据系统中节点数据的管理，保证分布式系统工作的高性能，提高广播式传输网络通信效率以及设备利用率，尽量减少网络延迟，降低网络拥塞影响。通过广播式传输增加整体系统的鲁棒性，减少局部节点断开、重启过程对系统数据传输的影响。

A method of node and broadcast data management in distributed data system

【技术实现步骤摘要】
一种分布式数据系统的节点及广播传输数据管理方法
本专利技术涉及通信领域，尤其涉及一种分布式数据系统的节点及广播传输数据管理方法。
技术介绍
传统金融数据一般采用主从架构的中央主机来记录处理交易数据。目前的金融市场上，越来越多的采用分布式系统的网络形式来处理金融数据，既由通信网络互联的多处理机体系结构上执行分布式处理任务。分布式集群系统的每个数据都被保存于分布式集群多个节点上，在这种环境下，会一定程度带来数据的冗余。这些冗余数据对于提升系统可靠性来说是必要的，但如果不对分布式系统中的计算节点资源进行管理，及时清理不必要的容易数据，容易造成网络的拥塞和节点资源的浪费。在分布式数据系统进行广播式传输过程中，系统对同一信道的节点计算机进行广播，节点计算机在不直连的情况下，需要通过直连节点计算机进行转发。每个节点计算机在数据发送的时候均会向直连的节点计算机发送，接收到数据包后，每个节点计算机又会向自己的直连计算机对数据包进行转发，直到所有的节点计算机均收到该数据包。在这种机制下，数据包通过不同路径进行转发的过程中，会被重复发送，导致分布式系统中存储的数据量巨大，每个数据对象的副本数量非常多，这样无疑会增加网络传输是冗余量，降低网络通信效率。因此提供一种分布式数据系统的节点和广播传输数据管理方法是十分有必要的。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供一种分布式数据系统的节点及广播传输数据管理方法，本专利技术可实现分布数据系统中节点数据的管理，保证分布式系统工作的高性能，提高广播式传输网络通信效率以及设备利用率，尽量减少网络延迟，降低网络拥塞影响。通过广播式传输增加整体系统的鲁棒性，减少局部节点断开、重启过程对系统数据传输的影响。一种分布式数据系统的节点，用于广播式数据传输，每个节点收到直连节点发送过来的数据包，进行进一步处理后发送给其他直连节点，或将自身接收到的数据包直接转发给其他直连节点。所述节点包括节点数据接收单元、节点数据发送单元、接收校验单元、数据处理队列、消息发送队列、数据处理单元。其中，节点数据接收单元，建立与直连节点之间的网络连接，并通过IO口接收直连节点发送过来的数据包。节点数据发送单元，建立与直连节点之间的网络连接，并通过IO口将消息发送队列中的数据包，按顺序逐一发送给其他直连节点。接收校验单元，用于对接收到的数据包进行判断与验证，然后将判断与验证后的数据包存入消息发送队列进行发送或进入数据处理队列进行进一步处理。消息发送队列，对其他节点进行发送的消息队列，按先进先出的原则通过节点数据发送单元发送/转发该队列中的数据包。数据处理队列，用于实现对通过验证后的数据包中需要进行数据处理的数据包队列的存放，使得后续数据处理单元能实现先进先出的原则处理该队列中的数据包。数据处理单元，能响应数据更新操作信息，对数据处理队列中的数据包进行更新操作；更新后的数据通过消息发送队列进行发送。作为优选，还包括数据缓存单元和加密单元；数据缓存单元，用来存放数据处理单元处理后的数据包，等待数据包通过加密单元进行加密并传送后，该数据缓存中的数据包可以丢弃。加密单元，用于对进行了数据更新操作后的数据包按发送优先级进行加密，加密后的数据包将存入消息发送队列等待数据包发送。作为优选，在接收校验单元需要对接收到的数据包进行判断与验证，具体包括：判断是否为发送节点重启后继续发送的数据包；验证该接收到的数据包是否已经从其他转发路径收到过。作为优选，通过发送节点启动包的时间戳可以判断数据包是否为该发送节点重启后继续发送的数据包；通过内部程序累计可以获取数据包顺序编号，以此验证该数据包从其他转发路径收到过。作为优选，验证对已经收到的过的数据包，接收校验单元需要对该数据包的长度进行额外校验，以此验证接收数据包传输是否出错，校验完成后，对已经收到过的数据包进行丢包处理。本专利技术还提供一种分布式数据系统的广播传输数据管理方法，所述管理方法包括以下操作步骤：a)接收数据包；b)记录数据包顺序编号和数据包长度；c)判断该数据包发送节点是否有重启；d)对没有重启的情况继续验证该数据包是否为首次收到；e)对于首次收到的数据包，需要接收该数据包，并记录同一发送节点的数据包累加长度，对数据包进行转发或者其他处理；对于非首次收到的数据包，记录累加长度后，对累加长度进行长度校验，然后丢弃该数据包；f)返回步骤a)，接收下一个新的数据包。作为优选，在步骤c)中，可以通过发送节点启动包的时间戳可以判断数据包是否为该发送节点重启后继续发送的数据包；在步骤d)中，通过内部程序累计可以获取数据包顺序编号，以此验证该数据包是否为首次收到。作为优选，在步骤c)中，对于存在发送节点重启的情况，如果重启后数据包存在发送滞后的情况，则需要等待把滞后的数据包都发送出来，不能进行丢包处理；如果发送节点重启后不存在发送滞后的情况，则继续进行步骤d)，验证该数据包是否为首次收到。作为优选，步骤e)中，对非首次收到的数据包，所述长度校验方法为，对同一数据包包头编码且同一数据包顺序编号数据包，将首次收到的、从同一发送节点发送的且经过同一路径转发的数据包长度的累加值，与非首次收到的、从同一发送节点发送的且经过其他路径转发的数据包长度的累加值，进行校验比较，以此校验数据包在不同路径转发过程中是否出错，是否有丢包的情况发生。本专利技术的有益效果为：通过对分布式数据系统中的数据及广播式的传输方式进行管理，实现一套广播式传输的冗余数据消除机制，避免重复存储和传输，提高了系统的网络传播效率和设备利用率，减少网络延迟，降低网络拥塞影响。节点重启管理与长度校验，能有效减少由于局部节点断开、重启对整体数据传输的影响，并在减少系统额外操作开销的情况下，提高系统可靠性，增加了系统鲁棒性。附图说明图1是本专利技术较佳实施例提供分布式数据系统节点方框示意图；图2是本专利技术较佳实施例提供的广播传输数据管理方法流程图。具体实施方式下面结合具体实施例对本专利技术进行进一步描述，但本专利技术的保护范围并不仅限于此：实施例：在本专利技术实施例中应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在说明书和权利要求书中，术语“包括”和“包含”以开放的方式实用并因此被解释为是指“包括，但不限于……”。参见图1，图1为节点的结构示意图，一种分布式数据系统的节点包括节点数据接收单元、节点数据发送单元、接收校验单元、数据处理队列、消息发送队列、数据处理单元、数据缓存、加密单元以及节点控制单元。在分布式数据系统中，数据需要通过通信网络上的节点进行广播式传输。所述节点可以是通用计算机、专用计算机、服务器、嵌入式处理器、其他可编程数本文档来自技高网...

【技术保护点】
1.一种分布式数据系统的节点，用于广播式数据传输，每个节点收到直连节点发送过来的数据包，进行进一步处理后发送给其他直连节点，或将自身接收到的数据包直接转发给其他直连节点，其特征在于，所述节点包括节点数据接收单元、节点数据发送单元、接收校验单元、数据处理队列、消息发送队列、数据处理单元；/n其中，节点数据接收单元，建立与直连节点之间的网络连接，并通过IO口接收直连节点发送过来的数据包；/n节点数据发送单元，建立与直连节点之间的网络连接，并通过IO口将消息发送队列中的数据包，按顺序逐一发送给其他直连节点；/n接收校验单元，用于对接收到的数据包进行判断与验证，然后将判断与验证后的数据包存入消息发送队列进行发送或进入数据处理队列进行进一步处理；/n消息发送队列，对其他节点进行发送的消息队列，按先进先出的原则通过节点数据发送单元发送/转发该队列中的数据包；/n数据处理队列，用于实现对通过验证后的数据包中需要进行数据处理的数据包队列的存放，使得后续数据处理单元能实现先进先出的原则处理该队列中的数据包；/n数据处理单元，能响应数据更新操作信息，对数据处理队列中的数据包进行更新操作；更新后的数据通过消息发送队列进行发送。/n...

【技术特征摘要】
1.一种分布式数据系统的节点，用于广播式数据传输，每个节点收到直连节点发送过来的数据包，进行进一步处理后发送给其他直连节点，或将自身接收到的数据包直接转发给其他直连节点，其特征在于，所述节点包括节点数据接收单元、节点数据发送单元、接收校验单元、数据处理队列、消息发送队列、数据处理单元；
其中，节点数据接收单元，建立与直连节点之间的网络连接，并通过IO口接收直连节点发送过来的数据包；
节点数据发送单元，建立与直连节点之间的网络连接，并通过IO口将消息发送队列中的数据包，按顺序逐一发送给其他直连节点；
接收校验单元，用于对接收到的数据包进行判断与验证，然后将判断与验证后的数据包存入消息发送队列进行发送或进入数据处理队列进行进一步处理；
消息发送队列，对其他节点进行发送的消息队列，按先进先出的原则通过节点数据发送单元发送/转发该队列中的数据包；
数据处理队列，用于实现对通过验证后的数据包中需要进行数据处理的数据包队列的存放，使得后续数据处理单元能实现先进先出的原则处理该队列中的数据包；
数据处理单元，能响应数据更新操作信息，对数据处理队列中的数据包进行更新操作；更新后的数据通过消息发送队列进行发送。


2.根据权利要求1所述的一种分布式数据系统的节点，其特征在于，还包括数据缓存单元和加密单元；所述数据缓存单元，用于存放数据处理单元处理后的数据包，等待数据包通过加密单元进行加密并传送后，该数据缓存中的数据包可以丢弃；
加密单元，用于对进行了数据更新操作后的数据包按发送优先级进行加密，加密后的数据包将存入消息发送队列等待数据包发送。


3.根据权利要求1-2所述的一种分布式数据系统的节点，其特征在于，接收校验单元需要对接收到的数据包进行判断与验证，具体包括：判断是否为发送节点重启后继续发送的数据包；验证该接收到的数据包是否已经从其他转发路径收到过。


4.根据权利要求1-3所述的一种分布式数据系统的节点，其特征在于，通过发送节点启动包的时间戳可以判断数据包是否为该发送节点重启后继续发送的数据包；通过内...

【专利技术属性】
技术研发人员：丁鸿辉，樊宏伟，
申请(专利权)人：宁波积幂信息科技有限公司，
类型：发明
国别省市：浙江;33