一种海量网络发票数据集群播报方法技术

本发明专利技术提供一种海量网络发票数据集群播报方法，通过构建海量网络发票数据广播工作集群，来组建由广播数据存储节点、广播机节点、广播前置机节点、广播业务机节点、接收机节点、接收前置机节点、接收数据存储节点构成的分布式计算、传输工作集群平台。该一种海量网络发票数据集群播报方法和现有技术相比，解决海量网络发票数据的传输、计算吞吐效率低下问题；解决海量网络发票数据的分类计算效率低下问题；提高播报资源利用率及工作效率；解决带宽占用问题。实用性强，易于推广。

【技术实现步骤摘要】
【专利摘要】本专利技术提供，通过构建海量网络发票数据广播工作集群，来组建由广播数据存储节点、广播机节点、广播前置机节点、广播业务机节点、接收机节点、接收前置机节点、接收数据存储节点构成的分布式计算、传输工作集群平台。该和现有技术相比，解决海量网络发票数据的传输、计算吞吐效率低下问题；解决海量网络发票数据的分类计算效率低下问题；提高播报资源利用率及工作效率；解决带宽占用问题。实用性强，易于推广。【专利说明】
本专利技术涉及税务发票信息传输技术，具体的说是一种可由税局(作为广播方)向多个服务商(作为接收方)进行海量网络发票数据集群播报方法。
技术介绍
随着国家金税三期网络发票项目的推广，全国各省级税务部门每天需要将纳税人的基础数据、业务数据、代码表数据等海量的结构化(或非结构化)数据，向不同的服务商进行广播推送。这些以TB为单位的海量发票数据，在进行数据广播的时候，如果仍按照传统的广播方式，将会对现有的网络带宽、网络结构形成巨大冲击，并且不符合安全传输要求，主要体现在: 一、传统的数据广播方法是仅基于消息的数据广播方法:作为传统广播内容的消息，多是简单字节内容，在网络广播的时候基本不占用网络带宽。而以TB为单位计的海量数据，在进行广播时，传统方式显然不能满足要求。二、传统的数据广播方法，不区别对待广播内容: 传统的数据广播方法，只有消息群播一种手段。而网络发票数据广播内容中，只有代码表类数据适合群播，而其他基础数据、业务数据只能定向广播，严禁向非相关节点广播。综合分析以上问题，在进行海量网络发票数据广播时，需要解决以下问题:A、海量数据高并发I/O请求问题，以解决海量网络发票数据的传输吞吐和计算吞吐。B、海量数据的计算问题，以解决对海量网络发票数据的分类计算(如定向传输方向的指定、形成批量传输报文等)。C、海量数据传输模式问题，以解决原有的一次播报方式带来的资源浪费及效率低下问题。D、海量数据传输带宽占用问题，以解决海量网络发票数据的传输对业务系统造成的带宽冲击。基于该背景下，现提出的一种利用实用集群计算体系(含网络存储系统和NOSQL数据库)提高海量网络发票数据广播传输效率和系统可用性的办法。
技术实现思路
本专利技术的技术任务是解决现有技术的不足，提供一种高效、安全的海量网络发票数据集群播报方法。本专利技术的技术方案是按以下方式实现的，该，一、搭建网络发票数据广播工作集群，该集群包括以下节点: 广播数据存储节点:用于对被广播数据进行高并发读写、海量缓存处理； 广播机节点:定向或群播网络发票数据消息； 广播前置机节点:传输需要广播的批量网络发票数据信息； 广播业务机节点:对被广播数据按照处理策略进行分类计算处理； 接收机节点:接收来自广播机节点的数据播报消息； 接收前置机节点:接收来自广播前置机节点的批量网络发票数据信息； 接收数据存储节点:对接收到的海量网络发票数据进行高并发读写、非结构化存储处理； 二、广播数据存储节点对需要广播的网络发票数据提供高速并发读写服务，将待广播海量数据写入缓冲区等待处理； 三、广播业务机节点根据调度任务，按照数据处理策略对待广播的海量网络发票数据进行批量分类处理，形成待广播数据报文； 四、广播机节点定时检查有无待广播数据报文，如果没有，那么继续等待下一轮检查；如果有，根据待广播报文类型进行相应的业务处理； 五、接收机节点接收到广播机节点发送的广播数据报文以后，通知本节点所归属的接收前置机节点进行报文批量数据进行传输请求； 六、接收前置机节点向广播前置机节点发送报文传输请求，由广播前置机节点根据集群负载均衡情况分配处理机，与接收前置机节点之间建立数据传输通道，将包括海量网络发票数据的报文按照流方式进行数据传输； 七、接收前置机节点接收到报文后，调用接收数据存储节点的高速I/o接口，将数据进行存储； 八、报文数据传输完成后，广播机业务节点根据调度策略对被广播数据报文进行清算。广播数据存储节点设置有I个、广播机节点设置有I个、广播前置机节点设置有至少2个、广播业务机节点设置有至少2个、接收机节点设置有I个、接收前置机节点设置有至少I个、接收数据存储节点设置有I个。所述广播数据存储节点采用NOSQL数据库进行数据存储。所述步骤三中形成的待广播数据报文分为两类:群播数据报文和定向数据报文，其中群播数据报文向所有接收机播报，并进行数据传输；定向数据报文向指定接收机播报，并进行单一数据传输。所述步骤四中根据待广播报文类型进行相应的业务处理的详细步骤为:如果报文为群播数据报文，广播机节点向覆盖范围内的所有已注册接收机节点发送广播消息，推送需要广播的数据报文的UUID序列号；如果报文为定向数据报文，那么广播机节点向指定的已注册接收机节点发送广播消息，推送需要广播的数据报文的UUID序列号。所述步骤八中根据调度策略对被广播数据报文进行清算是指:定向数据报文即时取消广播任务；群播数据报文等待所有已注册接收机全部完成数据传输后，再取消广播任务。所述数据传输采用分布数据广播法: 1)数据传输消息广播，消息内容含:目标机编号、数据报文唯一编号UUID序列号、广播类型，这里的广播类型即为群播或定向两类，以减轻直接数据广播对网络带宽的占用； 2)按照报文唯一编号UUID进行报文数据的流式传输，采用请求、应答方式进行，并进行异步化构建。本专利技术与现有技术相比所产生的有益效果是: 本专利技术的利用分布式计算方法和网络存储文件系统，解决海量网络发票数据广播中的数据传输瓶颈、计算性能瓶颈、数据存储瓶颈等问题，从而提高海量网络发票数据的广播传输效率，从而达到提高网络发票系统可用性的目的: 通过采用NOSQL数据库和网络存储系统，解决海量网络发票数据的传输、计算吞吐效率低下问题。通过采用集群工作站与数据库联合工作的方式，将计算压力分割为独立单元进行处理，并通过任务调度方式进行计算结果整合，解决海量网络发票数据的分类计算效率低下问题。通过采用“分步数据广播方法”，将传统的一次消息播报，转变为先消息播报再数据播报的分步广播方法，提高广播系统资源利用率及工作效率。通过对异步流式数据传输方式的支持，采用海量网络发票数据分时传输策略，解决带宽占用问题。从而大大提高海量网络发票数据的广播效率及提高系统的可用性。实用性强，适用范围广泛，可在税局与多个服务商之间进行数据集群播报传输，高效安全，加快税务信息化进度，易于推广。【专利附图】【附图说明】附图1是本专利技术的实现示意框图。【具体实施方式】下面结合附图对本专利技术的作以下详细说明。如附图1所示，现提供，该方法通过构建海量网络发票数据广播工作集群，来组建由“广播数据存储节点”、“广播机节点”、“广播前置机节点(集群)”、“广播业务机节点(集群)”、“接收机节点”、“接收前置机节点”、“接收数据存储节点”构成的分布式计算、传输工作集群平台，并通过采用NOSQL数据库和网络存储系统，解决海量网络发票数据的传输、计算吞吐效率低下问题；通过采用集群工作站与数据库联合工作的方式，将计算压力分割为独立单元进行处理，并通过任务调度方式进行计算结果整合，解决海量网络发票数据的分类计算效率低下问题；通过采用“分步数据广播方法”，将传统的一次消息播报，转变为先消息播本文档来自技高网...

【技术保护点】
一种海量网络发票数据集群播报方法，其特征在于：一、搭建网络发票数据广播工作集群，该集群包括以下节点：广播数据存储节点：用于对被广播数据进行高并发读写、海量缓存处理；广播机节点：定向或群播网络发票数据消息；广播前置机节点：传输需要广播的批量网络发票数据信息；广播业务机节点：对被广播数据按照处理策略进行分类计算处理；接收机节点：接收来自广播机节点的数据播报消息；接收前置机节点：接收来自广播前置机节点的批量网络发票数据信息；接收数据存储节点：对接收到的海量网络发票数据进行高并发读写、非结构化存储处理；二、广播数据存储节点对需要广播的网络发票数据提供高速并发读写服务，将待广播海量数据写入缓冲区等待处理；三、广播业务机节点根据调度任务，按照数据处理策略对待广播的海量网络发票数据进行批量分类处理，形成待广播数据报文；四、广播机节点定时检查有无待广播数据报文，如果没有，那么继续等待下一轮检查；如果有，根据待广播报文类型进行相应的业务处理；五、接收机节点接收到广播机节点发送的广播数据报文以后，通知本节点所归属的接收前置机节点进行报文批量数据进行传输请求；六、接收前置机节点向广播前置机节点发送报文传输请求，由广播前置机节点根据集群负载均衡情况分配处理机，与接收前置机节点之间建立数据传输通道，将包括海量网络发票数据的报文按照流方式进行数据传输；七、接收前置机节点接收到报文后，调用接收数据存储节点的高速I/O接口，将数据进行存储；八、报文数据传输完成后，广播机业务节点根据调度策略对被广播数据报文进行清算。...

【技术特征摘要】

【专利技术属性】
技术研发人员：徐兵兵，王永军，于治楼，
申请(专利权)人：浪潮齐鲁软件产业有限公司，
类型：发明
国别省市：