一种新型无线电监测大数据并发处理系统技术方案

本实用新型专利技术涉及一种新型无线电监测大数据并发处理系统，包括：负载均衡服务器：负责将传感器的执行任务均衡分配到各传感器控制服务器上，提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力；同时提供灾难保障处理，一旦某传感器控制服务器出现故障，可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行。对于更加复杂的监测系统，可以提供备用负载均衡服务器，在主负载均衡服务器出现故障时，可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配。本实用新型专利技术引入多台传感器控制服务来减轻传感器控制服务的压力。提升各传感器控制服务器的执行效率和系统的响应能力。

【技术实现步骤摘要】
一种新型无线电监测大数据并发处理系统
本技术涉及网络大数据处理
，具体指一种新型无线电监测大数据并发处理系统。
技术介绍
传统的无线电监测系统主要通过单台传感器控制服务器来控制多个同构节点执行无线电监测任务，Web服务器负责提供用户数据的呈现，并将传感器采集的数据实时存储在数据库服务器中。传统的部署方式在系统中传感器的数量较少时，这种部署方式可以正常处理用户的监测请求。不过随着无线电监测网络部署的深入，网络中接入的传感器的数量不断的增加并且类型也更多样化，在大量传感器同时执行任务时可能会造成传感器控制服务满负载运行甚至是过负载运行，另外一旦传感器控制服务器出现故障，将会导致所有的传感器无法正常进行任务的执行和数据采集。因此，有必要引入多台传感器控制服务器来分担多传感器任务执行和采集数据的压力。
技术实现思路
本技术克服现有技术存在的不足，所要解决的技术问题为：提供一种大数据并发处理的负载均衡方法。为了解决上述技术问题，本技术采用的技术方案为：一种新型无线电监测大数据并发处理系统，包括：用户：传感器任务的派发者和采集数据的观察者；采用台式电脑，便携式电脑、平板电脑、便携终端设备通过Internet接入无线电监测系统；传感器：异构节点，由同一设备厂家不同型号的传感器，或者不同设备厂家的传感器构成；防火墙：作为外部网络和内部网络之间的安全屏障；服务器交换机：连通不同的服务器；传感器控制服务器：采用多台传感器控制服务器分别控制传感器的数据收发，具体的传感器由哪台传感器控制服务器来进行控制，是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的；负载均衡服务器：负责将传感器的执行任务均衡分配到各传感器控制服务器上，提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力；同时提供灾难保障处理，一旦某传感器控制服务器出现故障，可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行。对于更加复杂的监测系统，可以提供备用负载均衡服务器，在主负载均衡服务器出现故障时，可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配；Web服务器：提供Web客户端网上信息的浏览服务，由于现有的监测用户数有限，采用一台Web服务器来接收用户下发的任务清单，并将传感器采集的数据呈现给用户，随着将来用户数的增多，可以扩展为多台Web服务器和Web负载均衡器；数据库服务器：实时存储传感器采集的数据，由于数据量较大，采用数据库集群的方式实现。本技术与现有技术相比具有以下有益效果：本技术引入多台传感器控制服务来减轻传感器控制服务的压力。同时，增加一台负载均衡服务器，用于将传感器执行任务的请求均衡的分配到各个传感器控制服务器上，从而提升各传感器控制服务器的执行效率和系统的响应能力。附图说明下面结合附图对本技术做进一步详细的说明。图1是本技术的无线电监测系统的拓扑图。图2是本技术的系统任务分配流程图。图3是本技术的负载均衡子流程图。具体实施方式为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例；基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。如图1所示，本技术一种新型无线电监测大数据并发处理系统，包括：用户：传感器任务的派发者和采集数据的观察者。可以采用台式电脑，便携式电脑、平板电脑、便携终端等设备通过Internet接入无线电监测系统传感器：异构节点。由同一设备厂家不同型号的传感器，或者不同设备厂家的传感器构成防火墙：作为外部网络和内部网络之间的安全屏障，强化网络安全策略，并防止内部信息的外泄服务器交换机：连通不同的服务器，提高网络数据传输的效率传感器控制服务器：采用多台传感器控制服务器分别控制传感器的数据收发，具体的传感器由哪台传感器控制服务器来进行控制，是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的负载均衡服务器：负责将传感器的执行任务均衡分配到各传感器控制服务器上，提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力。同时提供灾难保障处理，一旦某传感器控制服务器出现故障，可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行。对于更加复杂的监测系统，可以提供备用负载均衡服务器，在主负载均衡服务器出现故障时，可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配Web服务器：提供Web客户端网上信息的浏览服务，由于现有的监测用户数有限，采用一台Web服务器来接收用户下发的任务清单，并将传感器采集的数据呈现给用户。随着将来用户数的增多，可以扩展为多台Web服务器和Web负载均衡器。Web负载均衡不在本文档的描述范围内。数据库服务器：实时存储传感器采集的数据，由于数据量较大，采用数据库集群的方式实现。如图2所示，本技术一种新型无线电监测大数据并发处理方法流程，包括如下步骤：(1)请求Web服务器接收客户端发送的数据采集请求。(2)解析请求将客户端请求解析为不同传感器的任务。(3)负载均衡由负载均衡服务器根据传感器的类型与任务类型计算任务的负载。将任务依次分配给合适的传感器控制服务器。首先，搜索是否已经存在传感器控制服务器管理该任务相关的传感器。如果不存在，则直接将任务分配到负载最小的传感器控制服务器。其次，如果已经存在，则判断该传感器控制服务器是否能够接受新的任务负载。如果能，则将任务分配给该传感器控制服务器。如果不能，则直接将任务分配到其他服务器中负载最小的传感器控制服务器。最后，负载均衡服务器维护一张负载指数表来记录各个传感器控制服务器的负载。当传感器控制服务器的任务执行完毕的时候，也会请求负载均衡服务器更新此负载指数表。因此，根据这张负载指数表，可以获得负载相对较小的传感器控制服务器。将一项新任务分配给某传感器控制服务器的时候，其负载指数也将发生变化。该传感器控制服务器也就可能不再保持负载最小。(4)反馈结果负载均衡服务器负责接收各传感器控制服务器的任务执行结果，合并处理之后通过Web服务器反馈给客户端。任务分配原则：(1)尽量不变更传感器与控制服务器之间的现有关系；切换管理传感器的控制服务器会影响任务的执行效率。(2)尽量分配给当前负载量相对较小的控制服务器；在管理新的传感器之前，控制服务器可能已经存在要管理的传感器。如图3所示，本技术中负载均衡子流程，传感器控制服务器负责管理传感器进行任务的执行。从传感器的角度来看，传感器控制服务器管理的传感器数量越多，负载也就越大。从任务的角度来看，传感器控制服务器管理的任务数量越多，负载也就越大。另外，传感器的类型与任务的内容也是影响传感器控制服务器负载的两个非常重要的因素。(1)相同的传感器，不同的任务。对同一类型的传感器下发不同类型的任务，传感器所上报的数据量是不同的。例如，传感器的状态信息与传感器所采集的业务数据之间数据量是有非常明显的差异的。(2)不同的传感器，相同的任务。一般来说，本文档来自技高网...

【技术保护点】
1.一种新型无线电监测大数据并发处理系统，其特征在于，包括：用户：传感器任务的派发者和采集数据的观察者；采用台式电脑，便携式电脑、平板电脑、便携终端设备通过Internet接入无线电监测系统；传感器：异构节点，由同一设备厂家不同型号的传感器，或者不同设备厂家的传感器构成；防火墙：作为外部网络和内部网络之间的安全屏障；服务器交换机：连通不同的服务器；传感器控制服务器：采用多台传感器控制服务器分别控制传感器的数据收发，具体的传感器由哪台传感器控制服务器来进行控制，是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的；负载均衡服务器：负责将传感器的执行任务均衡分配到各传感器控制服务器上，提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力；同时提供灾难保障处理，一旦某传感器控制服务器出现故障，可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行，对于更加复杂的监测系统，可以提供备用负载均衡服务器，在主负载均衡服务器出现故障时，可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配；Web服务器：提供Web客户端网上信息的浏览服务，由于现有的监测用户数有限，采用一台Web服务器来接收用户下发的任务清单，并将传感器采集的数据呈现给用户，随着将来用户数的增多，可以扩展为多台Web服务器和Web负载均衡器；数据库服务器：实时存储传感器采集的数据，由于数据量较大，采用数据库集群的方式实现。...

【技术特征摘要】
1.一种新型无线电监测大数据并发处理系统，其特征在于，包括：用户：传感器任务的派发者和采集数据的观察者；采用台式电脑，便携式电脑、平板电脑、便携终端设备通过Internet接入无线电监测系统；传感器：异构节点，由同一设备厂家不同型号的传感器，或者不同设备厂家的传感器构成；防火墙：作为外部网络和内部网络之间的安全屏障；服务器交换机：连通不同的服务器；传感器控制服务器：采用多台传感器控制服务器分别控制传感器的数据收发，具体的传感器由哪台传感器控制服务器来进行控制，是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的；负载均衡服务器：负责将传感器的执行任务均衡分配到各传感器控制服务器上，提升传感器控制服务器对于大...

【专利技术属性】
技术研发人员：李庆，任智明，张薇薇，
申请(专利权)人：上海创远仪器技术股份有限公司，
类型：新型
国别省市：上海,31