一种大数据智能化分析运算处理系统技术方案

本实用新型专利技术公开了一种大数据智能化分析运算处理系统，包括有信息采集模块、信息传输模块、信息存储模块、加工生成模块、信息汇总模块、信息处理模块、信息提取模块、信息备份模块、信号日志，其中，信息存储模块包括主干局域网、服务器、NAS存储模块、网关、SAN存储模块，该系统将NAS存储与SAN存储相结合，SAN的主要优势在于数据的高速存储和独立备份，适合作数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，适合作文件服务器，将SAN和NAS融合应用于存储模块中是提高系统性能的有效途径。

A large data intelligent analysis and processing system

The utility model discloses a large data intelligent analysis processing system, including information acquisition module, information transmission module, information storage module, processing module, information collection module, information processing module, information extraction module, information backup module, signal log, the information storage module includes backbone LAN, server NAS, storage module, storage module, SAN gateway, the NAS storage and SAN storage combination, the main advantage of SAN's high-speed data storage and backup for independent database server, storage, and advantage of NAS is independent of the platform, can realize the sharing of multi server file system level, suitable for the file server, the SAN and NAS fusion application in storage module is an effective way to improve system performance.

【技术实现步骤摘要】
一种大数据智能化分析运算处理系统
本技术涉及大数据处理领域，尤其涉及一种大数据智能化分析运算处理系统。
技术介绍
这几十年是世界发展最为迅速的几十年，在这个几十年之中，世界已经开始从过去的时代转入了大数据时代，数以亿计的计算机和移动设备出现在人们生产生活的各个角落，不断的创造出惊人的财富，展现出了巨大的潜力，这是一个不可逆转的趋势，在未来，必然只会更加的昌盛，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来，在这个巨大的浪潮冲击下，发展大数据信息处理技术，才能够在大数据时代下紧跟而上，不被时代的浪潮所淘汰。现在市场上主要应用以DAS存储为主流方式，直接附加存储DAS是将RAID硬盘阵列直接连接到网络系统的服务器扩展接口下的数据存储设备，它以服务器为中心，完全依附于相应的服务器，各种IDE或SCSI存储设备组成DAS通过I／O总线与服务器相连，存储设备的数据输入和输出由服务器的CPU处理，当客户机访问数据时，首先向服务器提出申请，服务器经过I／O总线访问相应的存储设备，并把得到的数据传递给局域网内的客户机，服务器实际上起到了一种存储转发的作用，数据的备份通过服务器的CPU来实现，由于备份的数据量大，这种结构将会严重的影响系统的正常运行，另外当多台客户机同时发出数据访问申请时，I／O的压力会变的很大，直接影响服务器的性能，甚至会导致系统的崩溃。网络附加存储NAS是利用专门的计算机硬件和软件构造而成的，与平台无关的专门用于存储数据的服务器或服务器群，在NAS结构中，存储系统不再通过I／O总线附属于某个特定的服务器，从而不会占用网络主服务器的系统资源，存储系统在整个网络是独立的一部分，通过局域网接口供用户通过网络访问，但是NAS结构会占用网络资源，存储设备和客户机之间的每一次数据交换，大量数据的备份工作都通过网络来实现，大大增加了网络开销。存储局域网SAN是指基于光纤通道技术，由光交换机和存储设备构成的独立的专门用于实现数据存储的存储子网，SAN是独立于服务器网络系统之外的高速存储网络，它使存储系统和客户机与服务器从物理连接和功能上都独立出来，分别组成自己的网络，所有的应用数据都驻留在SAN上，当主网络上的服务器需要调用数据时，SAN才转化为客户机网络，被连接到主干局域网上让所有的客户机共享数据。有鉴于此，有必要提供一种能提高信息存储能力，增加系统稳定性的大数据处理系统。
技术实现思路
本技术公开了一种大数据智能化分析运算处理系统，其特征在于，包括有信息采集模块、信息传输模块、信息存储模块、加工生成模块、信息汇总模块、信息处理模块、信息提取模块，其中，信息采集模块与信息传输模块相连接，信息传输模块与信息存储模块相连接，信息存储模块与信息提取模块相连接，信息提取模块与信息处理模块相连接，信息处理模块与信息汇总模块相连接，信息汇总模块与加工生成模块相连接，加工生成模块与信息存储模块相连接；所述信息存储模块包括主干局域网、服务器、NAS存储模块、网关、SAN存储模块，其中，服务器与主干局域网相连接，NAS存储模块与主干局域网相连接，SAN存储模块与服务器相连接，SAN存储模块通过网关与主干局域网相连接。进一步地，所述处理系统设置有信息备份模块，所述信息备份模块与信息存储模块相连接。进一步地，所述处理系统还设置有信号日志，信号日志与信息汇总模块相连接。与现有技术相比，本技术的有益效果是：该系统将NAS存储与SAN存储相结合，与传统的DAS存储系统相比，NAS存储数据不再通过服务器内存转发，而是直接通过网络在客户机和存储设备问传送，服务器仅起控制管理作用，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器的可靠性，SAN存储采用高速的光纤通道作为传输媒体，大大高于传统的DAS存储系统所提供的传输能力，SAN的主要优势在于数据的高速存储和独立备份，将SAN作为数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，将NAS作为文件服务器。附图说明为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本技术一种大数据智能化分析运算处理系统结构示意图。图2为本技术信息存储模块结构示意图。具体实施方式下面结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚和详细的描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。请参阅图1，一种大数据智能化分析运算处理系统，包括有信息采集模块1、信息传输模块2、信息存储模块3、加工生成模块4、信息汇总模块5、信息处理模块6、信息提取模块7，其中，信息采集模块1与信息传输模块2相连接，信息传输模块2与信息存储模块3相连接，信息存储模块3与信息提取模块7相连接，信息提取模块7与信息处理模块6相连接，信息处理模块6与信息汇总模块5相连接，信息汇总模块5与加工生成模块4相连接，加工生成模块4与信息存储模块3相连接，信息采集模块1将信息采集，由信息传输模块2将信息传输到信息存储模块3中存储，信息提取模块7将信息提取出来，由信息处理模块6对信息进行处理，再经过信息汇总模块5与加工生成模块4对信息进行汇总加工生成，在储存到信息存储模块3中，处理系统内还设置有信息备份模块8与信号日志9，信号日志9与信息汇总模块5相连接，所述信息备份模块8与信息存储模块3相连接，信息备份模块8通过网关进行异地备份，以确保数据安全和作为灾难恢复，同时工作人员可通过查看信号日志9对信息的明细来源做出查询。如图2所示，所述信息存储模块3包括主干局域网31、服务器32、NAS存储模块33、网关34、SAN存储模块35，其中，服务器32与主干局域网31相连接，NAS存储模块33与主干局域网31相连接，SAN存储模块35与服务器32相连接，SAN存储模块35通过网关34与主干局域网31相连接，NAS存储模块33中，数据直接通过主干局域网31与NAS存储设备间传送，服务器32仅起控制管理作用，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器32的可靠性，SAN存储模块35中，所有的应用数据都驻留在SAN上，当主干局域网31上的服务器32需要调用数据时，SAN才通过网关34转化为服务机32网络，被连接到主干局域网31上让所有的服务机32共享数据，SAN的主要优势在于数据的高速存储和独立备份，适合作数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，适合作文件服务器。综上所述，该系统将NAS存储与SAN存储相结合，与传统的DAS存储系统相比，NAS存储数据不再通过服务器内存转发，而是直接通过网络在客户机和存储设备问传送，服务器仅起控制管理作用，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器的可靠性，SAN存储采用高速的光纤通道作为传输媒体，本文档来自技高网...

【技术保护点】
一种大数据智能化分析运算处理系统，其特征在于，包括有信息采集模块（1）、信息传输模块（2）、信息存储模块（3）、加工生成模块（4）、信息汇总模块（5）、信息处理模块（6）、信息提取模块（7），其中，信息采集模块（1）与信息传输模块（2）相连接，信息传输模块（2）与信息存储模块（3）相连接，信息存储模块（3）与信息提取模块（7）相连接，信息提取模块（7）与信息处理模块（6）相连接，信息处理模块（6）与信息汇总模块（5）相连接，信息汇总模块（5）与加工生成模块（4）相连接，加工生成模块（4）与信息存储模块（3）相连接；所述信息存储模块（3）包括主干局域网（31）、服务器（32）、NAS存储模块（33）、网关（34）、SAN存储模块（35），其中，服务器（32）与主干局域网（31）相连接，NAS存储模块（33）与主干局域网（31）相连接，SAN存储模块（35）与服务器（32）相连接，SAN存储模块（35）通过网关（34）与主干局域网（31）相连接。

【技术特征摘要】
1.一种大数据智能化分析运算处理系统，其特征在于，包括有信息采集模块（1）、信息传输模块（2）、信息存储模块（3）、加工生成模块（4）、信息汇总模块（5）、信息处理模块（6）、信息提取模块（7），其中，信息采集模块（1）与信息传输模块（2）相连接，信息传输模块（2）与信息存储模块（3）相连接，信息存储模块（3）与信息提取模块（7）相连接，信息提取模块（7）与信息处理模块（6）相连接，信息处理模块（6）与信息汇总模块（5）相连接，信息汇总模块（5）与加工生成模块（4）相连接，加工生成模块（4）与信息存储模块（3）相连接；所述信息存储模块（3）包括主干局域网（31）、服务器（32...

【专利技术属性】
技术研发人员：武明根，吴强生，叶强，
申请(专利权)人：安徽一拓通信科技集团股份有限公司，
类型：新型
国别省市：安徽,34