一种基于流媒体服务集群的分布式监控系统及方法技术方案

本发明专利技术提供一种基于流媒体服务集群的分布式监控系统及方法，其中，系统包括：基于Hadoop的数据分布式处理架构，从数据源抽取数据并对其进行解析，并对解析的数据进行预处理和分布式计算；分布式内存缓存模块Memcached，在服务器内存中缓存常用及临时数据；关系型数据管理模块，实现监控系统平台对接入设备的信息查询、存储、管理、计算；非关系型数据管理模块，结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；流媒体服务集群模块，实现流媒体信息传输的分布式集群处理；负载均衡模块，对监控系统平台的负载进行均衡处理，并对WEB容器水平扩展。本发明专利技术结合负载均衡机制与数据库分片计算，提高水平扩展能力，减少平台配置、管理工作量，保持稳定性。

【技术实现步骤摘要】
一种基于流媒体服务集群的分布式监控系统及方法
本专利技术涉及分布式计算
，具体涉及一种采用分布式内存缓存、分布式非关系型No-SQL数据库结合流媒体集群、TCP长连接通信技术实现移动终端实时监控平台的基于流媒体服务集群的分布式监控系统及方法。
技术介绍
在基于TCP/IP进行网络通信实现对移动终端进行监控的系统应用中，移动终端与监控平台的数据传输要求较高的实时性，并存在大量的数据交换、数据查询、数据存储等计算工作，同时，当客户端的连接数越来越多时，监控的规模越来越大，涉及的业务越来越复杂时，极容易造成网络堵塞及系统性能急剧下降。当前的监控管理平台的不足之处在于：第一，TCP通信平台的响应速度及并发能力较低；第二，TCP通信平台的水平扩展能力较低，平台的配置、管理工作量大，并且稳定性不高；第三，没有为系统故障提供容错机制，故障点的影响范围大；第四，不能充分利用网络分布式计算的资源，系统的负载不均匀，不能保证系统的平稳性。因此，寻找支持高并发、高实时性、可动态扩展的稳定、高效的分布式监控技术方案已经成为物联网时代监控平台通信领域新的发展方向。
技术实现思路
本专利技术的目的是基于TCP/IP、Http网络协议以及分布式内存缓存系统Memcached、分布式No-SQL系统Mongodb、流媒体服务器RED5提供一种基于流媒体服务集群的分布式的监控系统及方法，实现了负载均衡及分布式计算，具有良好的可扩展性且不破坏系统原有的稳定性；提高通信平台的响应速度及并发能力；结合LinuxLVS或Nginx负载均衡机制与数据库分片计算技术，极大的提高监控系统平台的水平扩展能力，减少平台的配置、管理工作量。本专利技术是通过以下技术方案来实现的：本专利技术一方面提供一种基于流媒体服务集群的分布式监控系统，包括：基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型(Map/Reduce)中对解析的数据进行预处理和分布式计算；分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；关系型数据管理模块，用于通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；负载均衡模块，用于对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展。进一步地，所述基于Hadoop的数据分布式处理架构，用于将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型(Map/Reduce)完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。进一步地，所述流媒体服务集群模块的唯一入口点为负载调度器；所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。更进一步地，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，用于使应用程序在不同节点上进行一致的并发访问；所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。进一步地，所述基于流媒体服务集群的分布式监控系统，还包括：安全认证模块，用于对用户信息、客户端信息、服务接入信息进行安全认证；智能监控模块，用于当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；TCP连接线程监控模块，用于准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；入侵检测模块，用于监控服务器和网络的状态并及时预警。本专利技术的另一方面提供一种基于流媒体服务集群的分布式监控方法，包括：基于Hadoop的数据分布式处理步骤：从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型(Map/Reduce)中对解析的数据进行预处理和分布式计算；分布式内存缓存步骤：在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；关系型数据管理步骤：通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；非关系型数据管理步骤：使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；流媒体服务集群处理步骤：使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；负载均衡步骤：对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展及分布式计算。进一步地，在所述基于Hadoop的数据分布式处理步骤中，将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型(Map/Reduce)完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。更进一步地，所述流媒体服务集群处理步骤包括负载调度步骤，所述负载调度步骤采用负载均衡调度方法、基于内容请求分发方法或两者相结合的方法进行服务器调度；具体为：负载均衡调度方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务，在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；基于内容请求分发方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务，在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；所述负载均衡方法与所述基于内容请求分发方法相结合的方法。进一步地，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流媒体服务集群的分布式监控系统，其特征在于，包括：基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型中对解析的数据进行预处理和分布式计算；分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；关系型数据管理模块，用于通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；负载均衡模块，用于对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展；所述流媒体服务集群模块的唯一入口点为负载调度器；所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。2.根据权利要求1所述的基于流媒体服务集群的分布式监控系统，其特征在于：所述基于Hadoop的数据分布式处理架构，用于将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到所述关系数据库中实时响应用户请求。3.根据权利要求2所述的基于流媒体服务集群的分布式监控系统，其特征在于：所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，用于使应用程序在不同节点上进行一致的并发访问；所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。4.根据权利要求1所述的基于流媒体服务集群的分布式监控系统，其特征在于，还包括：安全认证模块，用于对用户信息、客户端信息、服务接入信息进行安全认证；智能监控模块，用于当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；TCP连接线程监控模块，用于准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；...

【专利技术属性】
技术研发人员：刘志坚，
申请(专利权)人：惠州华阳通用电子有限公司，
类型：发明
国别省市：