一种实时计算大数据系统和方法技术方案

本发明专利技术属于大数据计算技术领域，公开了一种实时计算大数据系统和方法，所述实时计算大数据系统包括：数据采集模块、数据解析模块、主控模块、分配模块、并行处理模块、合并模块、日志处理模块、数据存储模块、显示模块。本发明专利技术通过数据解析模块可以快速地实现业务逻辑的开发及替换；同时，通过日志处理模块运用大数据存储和计算实现将日志数据进行时间序列化，形成数据流，并且整个服务器集群的数据采集和数据流都用相同的时间序列；整个集群采用相同的时间序列，实现集群数量庞大的服务器，可以通过时间序列进行时间维度的数据快速汇聚，快速访问某个时间的服务器性能，并通过大数据分析集群的实时数据流。

【技术实现步骤摘要】
一种实时计算大数据系统和方法
本专利技术属于大数据计算
，尤其涉及一种实时计算大数据系统和方法。
技术介绍
大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联本文档来自技高网...

【技术保护点】
1.一种实时计算大数据方法，其特征在于，所述实时计算大数据方法包括：步骤一，网络采集客户数据资源，解析算法对大数据的实时流数据进行结构化解析；步骤二，数据分配程序将采集的数据资源分配进行并行处理；步骤三，利用多粒度并行算法处理采集的数据，生成并行结果；通过合并算法将并行结果进行合并，生成处理结果；步骤四，日志处理软件对将日志数据进行时间序列化，形成数据流进行处理；步骤五，将采集的数据资源进行存储，并通过显示器显示采集的数据信息。

【技术特征摘要】
1.一种实时计算大数据方法，其特征在于，所述实时计算大数据方法包括：步骤一，网络采集客户数据资源，解析算法对大数据的实时流数据进行结构化解析；步骤二，数据分配程序将采集的数据资源分配进行并行处理；步骤三，利用多粒度并行算法处理采集的数据，生成并行结果；通过合并算法将并行结果进行合并，生成处理结果；步骤四，日志处理软件对将日志数据进行时间序列化，形成数据流进行处理；步骤五，将采集的数据资源进行存储，并通过显示器显示采集的数据信息。2.如权利要求1所述的实时计算大数据方法，其特征在于，所述解析算法包括：(1)读出原数据并获得副本，利用文件擦走函数fopen打开保存的大数据的文本文档，将大数据读出到自定义的字符数组中，其中，全局函数GetModuleFileName()，用于获取当前的目录，在使用哪个保存由数据的字符数组前，先利用memcpy()函数获得原数据的一个拷贝，原数据的最终不被修改的原则，进行数据拷贝前先将自定义的拷贝数组的内存进行清零操作；(2)解析数据，利用一个大的while循环和堆栈进行，循环条件是判断一个指向待解析数据的字符指针是否为空，字符指针不为空，则循环继续，在整个while循环里再利用一个if…else选择结构具体判断指针所指向的字符为哪种类型，在else语句块中，若所指向的字符不为“,”或“}”，则将字符数据存入栈中，直至遇到“,”或“}”字符；数据项值的解析，通过另一个while循环逐个从栈中取出进行判断，只要栈非空，取出的字符非“”’”并且非“：”，则将此字符存入一个字符数组中，循环结束后完成一个数据项值的解析；数据项名的解析：经过最初的while大循环，代表数据项名的原始数据被保存在栈中，通过另外一个while循环逐个从栈中取出进行判断，只要栈非空，取出的字符非“”’”并且非“：”，则将此字符存入一个字符数组中，循环结束后完成数据项值的解析；数据项名的解析：经过最初while大循环，代表数据项名的原始数据已被保存在栈中，通过另外一个while循环继续从栈中取出数据进行判断，只要栈非空并且取出的字符非“”’”，则将此字符存入一个字符数组中，循环结束后完成数据项名的解析；对数据项的解析完成后，将一个子元素保存在一个BEACON类型的结构中，采用了另一个if...else...结构，以strcmp()函数的返回值作为判断条件，与指定的数据项名匹配的数据项值保存在BEACON结构对应的成员中，完成某个数据项值的保存后继续利用其他if语句判断指向原数据的字符指针的内容是否为“}”，将BEACON结构保存的数据写入到数据库中，大户数据的解析循环结束。3.如权利要求1所述的实时计算大数据方法，其特征在于，采集数据的并行算法包括：(1)初始化格网划分参数，确定格网划分的坐标框架及格网大小；(2)从HDFS上读取P和Q，将数据转换成RDD对象RDD<p>和RDD<q>；(3)在RDD上执行flatMapToPair方法，将RDD<p>和RDD<q>中的每一间实体转换成键值形式的对，其中键代表格网的行列号，值为当前的对象，RDD<p>是根据格网划分参数转换的，当一间实体的MBR跨越多个格网是，生成多个键值对，每个键分贝对应跨越网，RDD<q>是...

【专利技术属性】
技术研发人员：张辉，
申请(专利权)人：贵州斯曼特信息技术开发有限责任公司，
类型：发明
国别省市：贵州,52