一种高效的信息流程化的处理控制系统技术方案

本发明专利技术涉及DNS日志海量信息的高效的信息流程化的处理控制系统，工作原理是客户端实现循环获取数据、解析处理数据、压缩数据、发送数据的功能。服务端实现循环接收数据、解压缩数据、存储数据的功能。与现有技术相比，本发明专利技术的优点在于：采用boost库分段过滤解析、索引数据处理的逻辑以及利用mysql数据库完成不同域名对应的标题信息下存储、查询与快速获取插入的能力，更重要的是与现有技术相比采用循环流程化的管理控制。

【技术实现步骤摘要】
一种高效的信息流程化的处理控制系统
本专利技术属于信息处理领域，该系统涉及对DNS日志海量信息的过滤与处理及远程传输的控制系统。
技术介绍
随着大数据的应用越来越广泛,对海量信息进行高效率的前期处理与跟踪定位是大数据发展的必经之路,因此开发一套基于DNS日志信息的解析及控制系统也尤为必要。本系统设计的多模块流程化循环操作相对于之前的单模块后期衔接操作质量和效率有双重提高。
技术实现思路
本专利技术的目的是提供一种DNS日志海量信息的处理控制系统。本专利技术解决上述问题所采用的技术方案为：一种高效的信息流程化的处理控制系统包括信息传输模块、原信息获取模块、原信息解析处理模块、远程压缩与解压缩模块以及信息保存管理模块。信息传输模块采用面向连接可靠的基于字节流的传输层协议TCP进行信息的可靠传输，此模块分为客户端和服务端，实现客户端循环发送及服务端循环接收；原信息获取模块主要实现扫描目录文件的功能并且具有文件为空、目录为空的探查能力；原信息解析模块主要实现根据原信息获取模块获取的文件信息进行解析处理，主要采用boost库的正则进行分段过滤，对分段的信息进行索引处理时用到curl库联网获取信息中的标题、编码的转换采用enca/iconv库、信息存储与后期利用索引快速获取对应信息采用Mysql数据库；远程压缩与解压缩模块采用lzo高效压缩算法完成客户端压缩与服务端解压缩的功能；信息保存管理模块主要解决海量数据所形成的的文件堆积所产生的问题包括源文件、压缩文件、解析文件、解压缩文件的全程控制包含客户端与服务端的删除控制，文件目录信息插入mysql数据库进行管理。本专利技术的工作原理是客户端实现循环获取数据、解析处理数据、压缩数据、发送数据的功能。服务端实现循环接收数据、解压缩数据、存储数据的功能。与现有技术相比，本专利技术的优点在于：采用boost库分段过滤解析、索引数据处理的逻辑以及利用mysql数据库完成不同域名对应的标题信息下存储、查询与快速获取插入的能力，更重要的是与现有技术相比采用循环流程化的管理控制。整个系统控制简单，只需运行客户端可执行程序与服务端可执行程序就可实现上述功能一键式操作。本专利技术的DNS日志解析及控制系统经过长期稳定高效的数据处理传输检测验证。附图说明图1为本专利技术实例中的DNS日志解析及控制系统的原理图。具体实施方式以下结合附图实施例对本专利技术作进一步详细描述。本实例中的基于Linux系统下的DNS日志解析及控制系统，包括boost库、curl库、iconv库、enca库、mysql数据库、lzo压缩算法、TCP协议。1-Boost库完成对数据的解析处理2-curl库完成对DNS域名信息的标题获取3-enca库完成将其他编码格式转换成UTF-8的编码格式4-iconv库完成将GBK/GB2312等格式的编码转换成UTF-8格式的编码5-mysql数据库完成对信息的数据管理功能6-lzo压缩算法完成对数据的高效压缩与解压缩功能7-TCP协议完成对数据可靠的传输控制能力。上述实施例是基于Linux系统下的针对DNS日志解析及控制系统，属于高效的信息流程化的处理控制系统。除上述实施例外，本专利技术还包括有其他实施方式，凡采用等同变换或者等效替换方式形成的技术方案，均应落入本专利技术权利要求的保护范围之内。本文档来自技高网...

【技术保护点】
一种高效的信息流程化的处理控制系统，其特征在于：包括信息传输模块、原信息获取模块、原信息解析处理模块、远程压缩与解压缩模块以及信息保存管理模块；信息传输模块采用面向连接可靠的基于字节流的传输层协议TCP进行信息的可靠传输，此模块分为客户端和服务端，实现客户端循环发送及服务端循环接收；原信息获取模块主要实现扫描目录文件的功能并且具有文件为空、目录为空的探查能力；原信息解析处理模块主要实现根据原信息获取模块获取的文件信息进行解析处理，主要采用boost库的正则进行分段过滤，对分段的信息进行索引处理时用到curl库联网获取信息中的标题、编码的转换采用enca/iconv库、信息存储与后期利用索引快速获取对应信息采用Mysql数据库；远程压缩与解压缩模块采用lzo高效压缩算法完成客户端压缩与服务端解压缩的功能；信息保存管理模块主要解决海量数据所形成的的文件堆积所产生的问题包括源文件、压缩文件、解析文件、解压缩文件的全程控制包含客户端与服务端的删除控制，文件目录信息插入mysql数据库进行管理。

【技术特征摘要】
1.一种高效的信息流程化的处理控制系统，其特征在于：包括信息传输模块、原信息获取模块、原信息解析处理模块、远程压缩与解压缩模块以及信息保存管理模块；信息传输模块采用面向连接可靠的基于字节流的传输层协议TCP进行信息的可靠传输，此模块分为客户端和服务端，实现客户端循环发送及服务端循环接收；原信息获取模块主要实现扫描目录文件的功能并且具有文件为空、目录为空的探查能力；原信息解析处理模块主要实现根据原信息获取模块获取的文件信息进行解析处理，主要采用boost库的正则进行分段过滤，对分段的信息进行索引处理时用到curl库联网获取信息中的标题、编...

【专利技术属性】
技术研发人员：吴忠华，龚斌，
申请(专利权)人：武汉奥浦信息技术有限公司，
类型：发明
国别省市：湖北,42