一种大数据分析处理方法技术

本发明专利技术公开了一种大数据分析处理方法，包括如下步骤：获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表；根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与所述数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对。本发明专利技术通过根据用户分析需要设定数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，实现对待分析数据的不同需求的分解和提取，提高了数据分析的通用性。

A large data analysis processing method

The present invention discloses a method of large data analysis processing, which includes the following steps: obtaining the pending data, the decomposition regular expression of the data segment, and the list of data term names corresponding to the decomposed regular expression of the data segment; decomposing the regular expression according to the data segment to carry out data in the data segment of the analyzed data. The data item values are generated, and the values of the data items are associated with the list of the names of the data items to form the intermediate data pairs that correspond to the data item names and the values of the data items. By setting the regular expression of data segment decomposition and the list of data item names corresponding to the regular expression of the data segment, the invention realizes the decomposition and extraction of the different requirements of the analysis data, and improves the universality of the data analysis.

【技术实现步骤摘要】
一种大数据分析处理方法
本专利技术涉及一种处理方法，具体是一种大数据分析处理方法。
技术介绍
近几年，由于数据在互联网领域的持续增长，各公司都面临海量数据的处理需求。部门内的数据分析主要为公司各部门运维服务，数据分析主要基于各部门的服务器产生的日志来进行分析，目的是基于这些日志对用户访问、数据流量在时间维度、产品线维度、域名维度等有明确的量化数据，从而为公司服务器运维管理、流量分配、预估等提供建议。在现有的数据分析系统中，针对用户不同的分析需求，需要采用专用的数据分析方法，即针对用户不同的分析需求，都需要设计一套数据分析方法。因此，导致数据分析的效率底下，成本高昂。
技术实现思路
本专利技术的目的在于提供一种大数据分析处理方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种大数据分析处理方法，包括如下步骤：获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表；根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与所述数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息，所述日志信息用于表示所述源数据库中的数据修改操作；获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。作为本专利技术进一步的方案：在根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解之前，还包括：获取边界鉴定正则表达式，并对所述待分析数据应用所述边界鉴定正则表达式进行边界鉴定，提取出所述待分析数据中的数据段。作为本专利技术进一步的方案：所述将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句之前，还包括：生成所述语句类型。作为本专利技术进一步的方案：在所述运行所述数据修改操作语句之前，还包括：将所述数据修改操作语句添加到语句组；所述运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改具体包括：在所述语句组的语句类型为预设类型时，运行所述语句组，完成对目标数据库中相同存储位置的数据的修改。作为本专利技术进一步的方案：对所述中间数据对进行统计分析，得到数据分析结果，包括：获取统计分析结果字段表中的结果字段，结果字段包括字段统计公式，所述统计分析结果字段表包括至少一个结果字段；根据字段统计公式，对所述中间数据对中的相应数据进行统计。作为本专利技术再进一步的方案：所述结果字段还包括字段值；根据字段统计公式，对所述中间数据对中的相应数据进行统计，包括：将所述中间数据对和字段值代入字段统计公式，计算得到新的字段值；将新的字段值替换所述字段值，并保存至统计分析结果字段表中的对应结果字段中。与现有技术相比，本专利技术的有益效果是：本专利技术通过根据用户分析需要设定数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表，实现对待分析数据的不同需求的分解和提取，提高了数据分析的通用性。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例中，一种大数据分析处理方法，包括如下步骤：获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表；根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与所述数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息，所述日志信息用于表示所述源数据库中的数据修改操作；获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。在根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解之前，还包括：获取边界鉴定正则表达式，并对所述待分析数据应用所述边界鉴定正则表达式进行边界鉴定，提取出所述待分析数据中的数据段。所述将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句之前，还包括：生成所述语句类型。在所述运行所述数据修改操作语句之前，还包括：将所述数据修改操作语句添加到语句组；所述运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改具体包括：在所述语句组的语句类型为预设类型时，运行所述语句组，完成对目标数据库中相同存储位置的数据的修改。对所述中间数据对进行统计分析，得到数据分析结果，包括：获取统计分析结果字段表中的结果字段，结果字段包括字段统计公式，所述统计分析结果字段表包括至少一个结果字段；根据字段统计公式，对所述中间数据对中的相应数据进行统计。所述结果字段还包括字段值；根据字段统计公式，对所述中间数据对中的相应数据进行统计，包括：将所述中间数据对和字段值代入字段统计公式，计算得到新的字段值；将新的字段值替换所述字段值，并保存至统计分析结果字段表中的对应结果字段中。对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本专利技术内。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。本文档来自技高网...

【技术保护点】
1.一种大数据分析处理方法，其特征在于，包括如下步骤：获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表；根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与所述数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息，所述日志信息用于表示所述源数据库中的数据修改操作；获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。

【技术特征摘要】
1.一种大数据分析处理方法，其特征在于，包括如下步骤：获取待分析数据、数据段分解正则表达式和与所述数据段分解正则表达式对应的数据项名称列表；根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解，生成数据项值，并将数据项值与所述数据项名称列表进行关联，形成数据项名称与数据项值对应的中间数据对；根据设定统计规则，对所述中间数据对进行统计分析，接收源数据库发送的日志信息，所述日志信息用于表示所述源数据库中的数据修改操作；获取所述日志信息中所述数据修改操作的类型和参数，并将获取的所述数据修改操作的参数绑定到与所述数据修改操作的类型对应的语句模板中，生成数据修改操作语句；运行所述数据修改操作语句，完成对目标数据库中相同存储位置的数据的修改，得到数据分析结果。2.根据权利要求1所述的大数据分析处理方法，其特征在于，在根据所述数据段分解正则表达式对所述待分析数据中的数据段进行数据分解之前，还包括：获取边界鉴定正则表达式，并对所述待分析数据应用所述边界鉴定正则表达式进行边界鉴定，提取出所述待分析数据中的数据段。3.根据权利要求1所述的大数据分析处理方法，其特征在于，所述将获取...

【专利技术属性】
技术研发人员：戴亚娥，
申请(专利权)人：浙江工商职业技术学院，
类型：发明
国别省市：浙江,33