一种基于内存数据的分析处理方法技术

本发明专利技术公开了一种基于内存数据的分析处理方法，包括以下步骤：S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；S11将内存数据中的原始数据导入；S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；S2将抽样数据进行分割并行处理，得到分割处理结果。本发明专利技术实现对待分析数据的不同需求的分解和提取，提高了数据分析的通用性，同时，提高了工作效率和数据的安全性。

【技术实现步骤摘要】
一种基于内存数据的分析处理方法
本专利技术涉及数据分析
，尤其涉及一种基于内存数据的分析处理方法。
技术介绍
随着云计算时代的来临，“大数据”这一新兴词汇也吸引了越来越多的关注；所谓大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合；大数据的意义并不单纯的指掌握巨大的数据信息，而在于如何提取大量数据所包含的关键信息，即如何对大数据进行处理分析；当然对海量数据进行分布式数据挖掘，必须依托于云计算的分布式处理、分布式数据库和云存储、虚拟化技术等。互联网飞速发展，信息化数据急剧膨胀，海量数据的分析处理所面临的难题也越来越多；此外，云计算平台的不断发展也为数据的处理分析带来新的挑战和机遇，传统的数据分析方法也越来越无法满足要求；大数据作为一种新兴的产业，其获取利益的关键就在于通过对数据的“加工”实现数据的“增值”，“加工”的速率必然决定利益“增值”的空间，所以如何快速对海量数据进行查询分析变的尤为重要。传统的数据分析平台对数据的分析处理不具有实时性，这是因为传统的数据计算框架存在必须读取存储的缺点，在数据量过大时往往处理缓慢，导致大量的延迟；而新的计算框架基于内存计算的方法，不仅继承传统计算框架分布式的处理框架，能自动优化计算过程等，而且弥补了传统计算框架不具有实时性的缺点，使得数据处理速度极大提升；因此我们需要一种基于内存数据的分析处理方法，从而使大数据处理更加快捷方便。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于内存数据的分析处理方法。本专利技术提出的一种基于内存数据的分析处理方法，包括以下步骤：S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；S11将内存数据中的原始数据导入；S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；S2将抽样数据进行分割并行处理，得到分割处理结果；S21将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。S3根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；S4根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；S5获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；S6运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。优选的，所述数据处理包括：进入数据处理程序预留区，确定处理工序和提取数据处理内容，进入数据处理区，根据数据的种类调出不同工序数据处理函数，导入各个种类的数据内容；执行工序数据处理函数，如执行成功，弹出成功提醒对话框，循环执行数据处理的步骤直至所有原始数据处理完毕，如执行不成功，弹出bug提醒。优选的，所述步骤S4日志信息用于表示所述源数据库中的数据修改操作。优选的，所述步骤S1包括获取模块，获取模块用于获取数据分析处理工作流的配置信息。优选的，所述步骤S2中还将分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。优选的，所述在步骤S2之前还包括：根据业务规则和算法规则建立预置数学模型。本专利技术中，所述一种基于内存数据的分析处理方法，实现对待分析数据的不同需求的分解和提取，提高了数据分析的通用性，同时，提高了工作效率和数据的安全性。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。一种基于内存数据的分析处理方法，，包括以下步骤：S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；S11将内存数据中的原始数据导入；S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；S2将抽样数据进行分割并行处理，得到分割处理结果；S21将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。S3根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；S4根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；S5获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；S6运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。本专利技术中，所述数据处理包括：进入数据处理程序预留区，确定处理工序和提取数据处理内容，进入数据处理区，根据数据的种类调出不同工序数据处理函数，导入各个种类的数据内容；执行工序数据处理函数，如执行成功，弹出成功提醒对话框，循环执行数据处理的步骤直至所有原始数据处理完毕，如执行不成功，弹出bug提醒。本专利技术中，所述步骤S4日志信息用于表示所述源数据库中的数据修改操作。本专利技术中，所述步骤S1包括获取模块，获取模块用于获取数据分析处理工作流的配置信息。本专利技术中，所述步骤S2中还将分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。本专利技术中，所述在步骤S2之前还包括：根据业务规则和算法规则建立预置数学模型。本专利技术：获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；将内存数据中的原始数据导入；将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；将抽样数据进行分割并行处理，得到分割处理结果；将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果；根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的本文档来自技高网...

【技术保护点】
1.一种基于内存数据的分析处理方法，其特征在于，包括以下步骤：/nS1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；/nS11将内存数据中的原始数据导入；/nS12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；/nS13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；/nS2将抽样数据进行分割并行处理，得到分割处理结果；/nS21将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果；/nS3根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；/nS4根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；/nS5获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；/nS6运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。/n...

【技术特征摘要】
1.一种基于内存数据的分析处理方法，其特征在于，包括以下步骤：
S1获取待分析处理数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，并对所述待分析处理数据进行抽样处理，得到抽样数据；
S11将内存数据中的原始数据导入；
S12将内存数据中的原始数据抽取到临时中间层后进行清洗、转换、集成和加载；
S13将经过处理后的数据进行数据透视和数据分析得到各个数据种类对应的数据图形；
S2将抽样数据进行分割并行处理，得到分割处理结果；
S21将抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果；
S3根据所述数据段分解正则表达式对处理后的待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；
S4根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息；
S5获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；
S6运行所述数据修改操作语句，完成对目标数据库...

【专利技术属性】
技术研发人员：李泛洪，
申请(专利权)人：辽宁振兴银行股份有限公司，
类型：发明
国别省市：辽宁;21