数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置。该数据处理方法包括：解析日志记录，得到解析结果；分析业务需求和解析结果，得到对应的命令和键；批量压缩命令和键，得到压缩结果；将压缩结果保存到第一预设文件；将第一预设文件的内容提交至预设数据库。通过本发明专利技术，降低了数据处理占用网络资源的占用量。

Data processing method and apparatus

The invention discloses a data processing method and a device. The data processing method includes analysis of log records, to obtain analytical results; analysis of business needs and the results of analysis, get the corresponding commands and keys; batch compression commands and key compression results; the compression results are saved to the first preset file; the first preset document submitted to the default database. By the invention, the occupation of the network resource occupied by data processing is reduced.

【技术实现步骤摘要】

本专利技术涉及计算机领域，具体而言，涉及一种数据处理方法和装置。
技术介绍
在计算机数据处理中，日志记录经过日志收集和分发模块分发后，进入编程模块进行计算，在对计算结果保存到数据库的过程中，需要对指定的键执行相应的命令。目前采用的数据保存方式主要是将每一条包含命令和键的数据项通过客户端直接发送到指定的数据库服务器执行。但是，现有的方案存在一些弊端，在一些数据库，比如，redis和hbase中，客户端和服务器之间是分布式的，它们的交流基于网络，采用这样一种数据的存储方式使得客户端和服务器之间的交流过于频繁，客户端需要不断发起请求，服务器根据客户端发送的请求不断响应，因此在数据存储过程中占用大量网络资源。对于每一数据项都要执行一次提交到数据库的操作，在数据量比较大的情况下，数据处理效率低，降低了系统吞吐量。针对相关技术中，针对数据处理占用网络资源量大的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种数据处理方法和装置，以解决数据处理占用网络资源量大问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种数据处理方法，该方法包括解析日志记录，得到解析结果；分析业务需求和解析结果，得到对应的命令和键；批量压缩命令和键，得到压缩结果；将压缩结果保存到第一预设文件；将第一预设文件的内容提交至预设数据库。进一步地，解析日志记录，得到解析结果包括：对日志记录进行分解，得到业务需求所需的业务字段。进一步地，批量压缩命令和键，得到压缩结果包括：将命令和键提取至预设对象，将预设对象中相同键的相同类型命令进行合并，得到合并后的命令，其中，合并后的命令与键一一对应。进一步地，在将压缩结果保存到第一预设文件之后，该方法包括：统计第一预设文件中合并后的命令的个数；判断第一预设文件中合并后的命令的个数是否大于或等于预设阈值；如果判断出第一预设文件中的合并后的命令个数大于或等于预设阈值，则进行刷新操作，其中，刷新操作包括将第一预设文件的后缀名修改为预设后缀名，并新建预设文件，得到第二预设文件，将再次合并后的命令和键保存到第二预设文件。进一步地，如果判断出第一预设文件中的合并后的命令个数小预设阈值，该方法还包括：获取第一预设文件的修改时间；计算修改时间与当前时间的差值，得到预设时间差；判断预设时间差是否超过预设时间；以及如果判断出预设时间差超过预设时间，进行刷新操作。进一步地，将第一预设文件的内容提交至预设数据库包括：读取第一预设文件；判断第一预设文件的后缀名是否为预设后缀名；如果判断出第一预设文件的后缀名为预设后缀名，提交第一预设文件至预设数据库。为了实现上述目的，根据本专利技术的另一方面，提供了一种数据处理的装置，该装置包括：解析单元，用于解析日志记录，得到解析结果；分析单元，用于分析业务需求和解析结果，得到对应的命令和键；压缩单元，用于批量命令和键，得到压缩结果；第一保存单元，用于将压缩结果保存到第一预设文件；以及提交单元，用于将第一预设文件的内容提交至预设数据库。进一步地，解析单元包括：分解模块，用于对所述日志记录进行分解，得到所述业务需求所需的业务字段。进一步地，压缩单元包括：提取模块，用于将命令和键提取至预设对象；合并模块，用于将预设对象中相同键的相同类型命令进行合并，得到合并后的命令，其中，合并后的命令与键一一对应。进一步地，在将压缩结果保存到第一预设文件之后，装置还包括：第一统计单元，用于统计第一预设文件中合并后的命令的个数；第一判断单元，用于判断第一预设文件中合并后的命令的个数是否大于或等于预设阈值；以及刷新单元，用于在判断出预设文件中的合并后的命令个数大于或等于预设阈值，进行刷新操作，其中，刷新操作包括将预设文件的后缀名修改为预设后缀名，并新建预设文件，得到第二预设文件，将再次合并后的命令和键保存到第二预设文件。进一步地，如果判断出第一预设文件中的合并后的命令个数小于预设阈值，该装置还包括：获取单元，用于获取第一预设文件的修改时间；计算单元，用于计算修改时间与当前时间的差值，得到预设时间差；第二判断单元，用于判断预设时间差是否超过预设时间，其中，刷新单元用于在判断出预设时间差超过预设时间时，进行刷新操作。进一步地，提交单元包括：读取模块，用于读取第一预设文件；判断模块，用于判断第一预设文件的后缀名是否为预设后缀名；提交模块，用于在判断出第一预设文件的后缀名为预设后缀名，提交第一预设文件至预设数据库。本专利技术通过对日志记录进行解析，并分析业务需求和解析结果，提取对应的命令和键，并对命令和键在客户端进行压缩处理，批量提交至服务器的预设数据库，这就使得客户端与服务器之间的通信次数和数据流量降低，从而解决了数据处理占用网络资源量大的问题，进而达到了降低数据处理占用网络资源量的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术第一实施例的数据处理方法的流程图；图2是根据本专利技术第二实施例的数据处理方法的流程图；图3是根据本专利技术第三实施例的数据处理方法的流程图；图4是根据本专利技术第四实施例的数据处理方法的流程图；图5是根据本专利技术第五实施例的数据处理方法的流程图；以及图6是根据本专利技术实施例的数据处理装置的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术提供了一种数据处理方法，图1是根据本专利技术第一实施例的数据处理方法的流程图。如图1所示，该方法包括以下的步骤：步骤S102，解析日志记录，得到解析结果。日志记录经过收集器收集和分布式消息系统，比如kafka分布式消息系统接收之后，对收集的日志记录进行分发处理。在对收集的日志记录经过分发处理之后，对日志记录进行解析。可选地，采用分布式解析方法，得到解析结果。解析结果包括对日志记录进行分解，得到业务需求所需的业务字段。业务需求是指分析用户问题，提取解决问题所需的需求数据。举例而言，业务需求为统计业务的访问(PageView，简称为PV)量，也即，客户端对网页页面的浏览量或点击量，客户端每对网页页面进行一次浏览或点击，即被视为一次访问，从而通过对网页页面的浏览量或点击本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：解析日志记录，得到解析结果；分析业务需求和所述解析结果，得到对应的命令和键；批量压缩所述命令和所述键，得到压缩结果；将所述压缩结果保存到第一预设文件；以及将所述第一预设文件的内容提交至预设数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：解析日志记录，得到解析结果；分析业务需求和所述解析结果，得到对应的命令和键；批量压缩所述命令和所述键，得到压缩结果；将所述压缩结果保存到第一预设文件；以及将所述第一预设文件的内容提交至预设数据库。2.根据权利要求1所述的方法，其特征在于，解析所述日志记录，得到所述解析结果包括：对所述日志记录进行分解，得到所述业务需求所需的业务字段。3.根据权利要求1所述的方法，其特征在于，批量压缩所述命令和所述键，得到所述压缩结果包括：将所述命令和所述键提取至预设对象；以及将所述预设对象中相同键的相同类型命令进行合并，得到合并后的命令，其中，所述合并后的命令与所述键一一对应。4.根据权利要求3所述的方法，其特征在于，在将所述压缩结果保存到所述第一预设文件之后，所述方法还包括：统计所述第一预设文件中所述合并后的命令的个数；判断所述第一预设文件中所述合并后的命令的个数是否大于或等于预设阈值；以及如果判断出所述第一预设文件中的所述合并后的命令个数大于或等于所述预设阈值，则进行刷新操作，其中，所述刷新操作包括将所述第一预设文件的后缀名修改为预设后缀名，并新建预设文件，得到第二预设文件，将再次合并后的命令和所述键保存到所述第二预设文件。5.根据权利要求4所述的方法，其特征在于，如果判断出所述第一预设文件中的所述合并后的命令个数小于所述预设阈值，所述方法还包括：获取所述第一预设文件的修改时间；计算所述修改时间与当前时间的差值，得到预设时间差；判断所述预设时间差是否超过预设时间；以及如果判断出所述预设时间差超过所述预设时间，进行所述刷新操作。6.根据权利要求5所述的方法，其特征在于，将所述第一预设文件提交至所述预设数据库包括：读取所述第一预设文件；判断所述第一预设文件的后缀名是否为所述预设后缀名；以及如果判断出所述第一预设文件的后缀名为所述预设后缀名，提交所述第一预设文件至所述预设数据库。7.一种数据处理装置，其特征在于，包括：解析单元，用于解析日志记录，得到解析结果；分析单元，用于分析业务需...

【专利技术属性】
技术研发人员：洪珂，林斌树，柳阳彬，陈影旺，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31