多业务的日志数据存储处理和查询系统及其方法技术方案

本发明专利技术提供了一种多业务的日志数据存储处理和查询系统及其方法，该系统借助字段区映射表指示的对应关系，将多个业务的日志数据有序的统一存储在数据存储表中，避免了同一业务服务器中不同业务的日志数据存储散乱、冗杂而导致浪费更多的业务服务器存储空间，同时多个业务日志数据的统一存储也使得多业务日志数据的查询处理更为简便，免去了在不同业务的日志数据库之间进行切换查询的繁琐操作过程，有助于提高对多业务日志数据的查询处理效率，并且其日志数据存储处理和查询操作都无需大量的人工干预操作，在多业务日志数据的存储处理得到优化的同时，依旧能够保证日志数据查询结果的准确性。

【技术实现步骤摘要】
多业务的日志数据存储处理和查询系统及其方法
本专利技术涉及计算机通信网络技术和网络应用业务服务
，具体涉及一种多业务的日志数据存储处理和查询系统及其方法。
技术介绍
为了提升应用业务的可维护性，采集日志数据成为了目前应用业务开发和维护中所常用的技术手段。应用业务的一条日志数据是用于记录该业务在某个时刻对某个数据对象进行处理时所执行的操作或状态，日志数据中往往包含有多个数据属性，例如业务标识、执行对象、执行内容、执行日期、操作时间、完成时间等数据属性，不同业务的日志数据所包含的数据属性不尽相同，而一条日志数据中每个数据属性的属性值则表征了业务进行处理时在相应数据属性上的具体状态。业务每进行一个处理通常都会触发采集一条相应的日志数据，以便于业务管理人员在后期能够根据业务各条日志数据所记录的内容掌握业务的运行状态，进而判断业务运行是否正常、掌握业务运行统计数据等，以便执行相应的维护操作。目前，业务日志数据的记录通常采用两种方式，即日志文档记录方式和日志数据库记录方式。日志文档记录方式，即某业务所有的日志数据都记录在一个可被业务服务器系统识别和打开的日志文档文件中，业务管理人员打开日志文档文件即可查阅该业务全部的日志数据，查阅比较方便，但是由于全部的日志数据都冗杂在一起，业务技术人员如果要从众多的日志数据中查找特定条件的数据属性信息则比较麻烦。由于日志数据中数据属性的属性值才是业务管理人员所关心的信息，日志数据库记录方式则是根据业务所包含的数据属性建立设有若干个数据属性区的日志数据库，每条日志中不同数据属性的属性值对应的存储在日志数据库的相应数据属性区内，从而实现对日志数据的数据库管理，便于业务技术人员利用数据库查询方式在日志数据库中查询所需要的数据属性信息，以了解某些特定状态条件下的业务运行情况，因此日志数据库记录方式是目前应用业务的日志数据采集系统所普遍采用的方式。随着业务服务器处理能力的不断增强以及网络应用业务服务的急剧增加，业务服务器同时承载多个业务已经非常普遍，但这却对多业务的维护管理提出了难题。由于业务服务器承载的多个业务各自所包含的数据属性不尽相同，因此在现有技术中，多业务往往各自设置有自己的日志数据库分别记录相应业务的日志数据，造成多业务的日志数据存储散乱、冗杂，容易浪费更多的业务服务器存储空间；另一方面，如果因维护管理的需要，业务管理人员需要了解在某种特定的数据属性值下各个业务的运行状况，则需要分别查询各个业务的日志数据库了解相关信息，查询工作量大，操作繁琐，容易出错，而且执行多个日志数据库的检索操作过程中也可能出现重复检索的情况，查询检索执行效率也比较低。
技术实现思路
针对现有技术中存在的上述不足，本专利技术的目的在于提供一种多业务的日志数据存储处理和查询系统，用于承载有多个业务的业务服务器，以实现对多业务日志数据的统一存储和查询，避免多业务日志数据存储冗杂、浪费更多的存储空间，同时也使得多业务日志数据的查询处理更为简便，有助于提高对多业务日志数据的查询处理效率。为实现上述目的，本专利技术采用了如下技术手段：多业务的日志数据存储处理和查询系统，用于对业务服务器承载的多个业务进行日志数据存储处理和查询操作，该系统包括：日志数据存储模块，用于设置包含有若干个字段区的数据存储表，所述数据存储表用于存储日志数据项；每个日志数据项用于记录一个业务中一条日志数据的各个数据属性的属性值；映射表生成模块，用于生成各业务的字段区映射表并加以存储；每个业务的字段区映射表用于记录相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，且各业务的字段区映射表记录的不同数据属性分别对应数据存储表中不同的字段区；日志数据项生成模块，用于采集各业务的日志数据，并分别将每个业务中每一条日志数据的各个数据属性的属性值构成一个日志数据项；数据存储处理模块，用于查询每个日志数据项所对应业务的字段区映射表获得相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，从而按照相应业务中日志数据的各个数据属性在数据存储表中的字段区对应关系，将每个日志数据项中各个数据属性的属性值分别存储在数据存储表中相应数据属性所对应的字段区，完成对各个日志数据项的存储；查询条件设定模块，提供人机交互界面，用于设定至少一组查询条件参数；每组查询条件参数包括一个数据属性及其对应的属性值；数据查询处理模块，用于查询各个业务的字段区映射表，分别获得每组查询条件参数中包含的数据属性在数据存储表中所对应的字段区作为相应一组查询条件参数对应的匹配字段区，然后对数据存储表进行匹配查询，将数据存储表中同时在各组查询条件参数对应的匹配字段区中存储的属性值分别与相应一组查询条件参数中包含的属性值相同的日志数据项作为匹配查询结果，从而输出作为匹配查询结果的各个日志数据项，并指示出作为匹配查询结果的日志数据项中各个属性值对应的数据属性。上述多业务的日志数据存储处理和查询系统中，作为一种优化方案，所述映射表生成模块主要由数据属性获取单元、映射设定处理单元和映射表生成处理单元构成；数据属性获取单元用于获取单个业务中日志数据的各个数据属性；映射设定处理单元用于针对单个业务中日志数据的每个数据属性，判断其它业务的字段区映射表中是否已存在与该数据属性相同的数据属性；若是，则设定该数据属性所对应的字段区与在其它业务的字段区映射表中记录的相同数据属性所对应的字段区相一致；否则，设定该数据属性对应于数据存储表中一个尚未对应有数据属性的字段区；从而分别设定单个业务中日志数据的各个数据属性在数据存储表中所对应的字段区；映射表生成处理单元用于生成单个业务的字段区映射表，以记录相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，并加以存储。上述多业务的日志数据存储处理和查询系统中，作为一种优化方案，所述数据查询处理模块主要由映射查询处理单元、字段区查询处理单元和匹配查询结果输出单元构成；映射查询处理单元用于查询各个业务的字段区映射表，分别获得每组查询条件参数中包含的数据属性在数据存储表中所对应的字段区作为相应一组查询条件参数对应的匹配字段区；字段区查询处理单元用于查询数据存储表中各个匹配字段区存储的属性值，分别获得每个匹配字段区中与相应一组查询条件参数中包含的属性值相同的属性值所对应的日志数据项作为与相应一组查询条件参数相匹配的日志数据项；匹配查询结果输出单元用于将数据存储表中同时与各组查询条件参数相匹配的日志数据项作为匹配查询结果，从而输出作为匹配查询结果的各个日志数据项，并指示出作为匹配查询结果的日志数据项中各个属性值对应的数据属性。上述多业务的日志数据存储处理和查询系统中，作为一种优化方案，每个业务的日志数据的数据属性中至少包括有业务标识。相应于上述多业务的日志数据存储处理和查询系统，本专利技术还提供了多业务的日志数据存储处理方法，采用上述多业务的日志数据存储处理和查询系统实现；该方法包括如下步骤：1）日志数据存储模块设置包含有若干个字段区的数据存储表；2）映射表生成模块生成各业务的字段区映射表并加以存储；3）日志数据项生成模块采集各业务的日志数据，并分别将每个业务中每一条日志数据的各个数据属性的属性值构成一个日志数据项；4）数据存储处理模块查询每个日志数据项所对应业务本文档来自技高网...

【技术保护点】
多业务的日志数据存储处理和查询系统，其特征在于，用于对业务服务器承载的多个业务进行日志数据存储处理和查询操作，该系统包括：日志数据存储模块，用于设置包含有若干个字段区的数据存储表，所述数据存储表用于存储日志数据项；每个日志数据项用于记录一个业务中一条日志数据的各个数据属性的属性值；映射表生成模块，用于生成各业务的字段区映射表并加以存储；每个业务的字段区映射表用于记录相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，且各业务的字段区映射表记录的不同数据属性分别对应数据存储表中不同的字段区；日志数据项生成模块，用于采集各业务的日志数据，并分别将每个业务中每一条日志数据的各个数据属性的属性值构成一个日志数据项；数据存储处理模块，用于查询每个日志数据项所对应业务的字段区映射表获得相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，从而按照相应业务中日志数据的各个数据属性在数据存储表中的字段区对应关系，将每个日志数据项中各个数据属性的属性值分别存储在数据存储表中相应数据属性所对应的字段区，完成对各个日志数据项的存储；查询条件设定模块，提供人机交互界面，用于设定至少一组查询条件参数；每组查询条件参数包括一个数据属性及其对应的属性值；数据查询处理模块，用于查询各个业务的字段区映射表，分别获得每组查询条件参数中包含的数据属性在数据存储表中所对应的字段区作为相应一组查询条件参数对应的匹配字段区，然后对数据存储表进行匹配查询，将数据存储表中同时在各组查询条件参数对应的匹配字段区中存储的属性值分别与相应一组查询条件参数中包含的属性值相同的日志数据项作为匹配查询结果，从而输出作为匹配查询结果的各个日志数据项，并指示出作为匹配查询结果的日志数据项中各个属性值对应的数据属性。...

【技术特征摘要】
1.一种多业务的日志数据存储处理和查询的系统，其特征在于，用于对业务服务器承载的多个业务进行日志数据存储处理和查询操作，该系统包括：日志数据存储模块，用于设置包含有若干个字段区的数据存储表，所述数据存储表用于存储日志数据项；每个日志数据项用于记录一个业务中一条日志数据的各个数据属性的属性值；映射表生成模块，用于生成各业务的字段区映射表并加以存储；每个业务的字段区映射表用于记录相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，且各业务的字段区映射表记录的不同数据属性分别对应数据存储表中不同的字段区；日志数据项生成模块，用于采集各业务的日志数据，并分别将每个业务中每一条日志数据的各个数据属性的属性值构成一个日志数据项；数据存储处理模块，用于查询每个日志数据项所对应业务的字段区映射表获得相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，从而按照相应业务中日志数据的各个数据属性在数据存储表中的字段区对应关系，将每个日志数据项中各个数据属性的属性值分别存储在数据存储表中相应数据属性所对应的字段区，完成对各个日志数据项的存储；查询条件设定模块，提供人机交互界面，用于设定至少一组查询条件参数；每组查询条件参数包括一个数据属性及其对应的属性值；数据查询处理模块，用于查询各个业务的字段区映射表，分别获得每组查询条件参数中包含的数据属性在数据存储表中所对应的字段区作为相应一组查询条件参数对应的匹配字段区，然后对数据存储表进行匹配查询，将数据存储表中同时在各组查询条件参数对应的匹配字段区中存储的属性值分别与相应一组查询条件参数中包含的属性值相同的日志数据项作为匹配查询结果，从而输出作为匹配查询结果的各个日志数据项，并指示出作为匹配查询结果的日志数据项中各个属性值对应的数据属性。2.根据权利要求1所述多业务的日志数据存储处理和查询的系统，其特征在于，所述映射表生成模块主要由数据属性获取单元、映射设定处理单元和映射表生成处理单元构成；数据属性获取单元用于获取单个业务中日志数据的各个数据属性；映射设定处理单元用于针对单个业务中日志数据的每个数据属性，判断其它业务的字段区映射表中是否已存在与该数据属性相同的数据属性；若是，则设定该数据属性所对应的字段区与在其它业务的字段区映射表中记录的相同数据属性所对应的字段区相一致；否则，设定该数据属性对应于数据存储表中一个尚未对应有数据属性的字段区；从而分别设定单个业务中日志数据的各个数据属性在数据存储表中所对应的字段区；映射表生成处理单元用于生成单个业务的字段区映射表，以记录相应业务中日志数据的各个数据属性在数据存储表中所对应的字段区，并加以存储。3.根据权利要求1所述多业务的日志数据存储处理和查询的系统，其特征在于，所述数据查询处理模块主要由映射查询处理单元、字段区查询处理单元和匹配查询结果输出单元构成；映射查询处理单元用于查询各个业务的字段区映射表，分别获得每组查询条件参数中包含的数据属性在数据存储表中所对应的字段区作为相应一组查询条件参数对应的匹配字段区；字段区查询处理单元用于查询数据存储表中各个匹配字段区存储的属性值，分别获得每个匹配字段区中与相应一组查询条件参数中包含的属性值相同的属性值所对应的日志数据项作为与相应一组查询条件参数相匹配的日志数据项；匹配查询结果输出单元用于将数据存储表中同时与各组查询条件参数相匹配的日志数据项作为匹配查询结果，从而输出作为匹配查询结果的各个日志数据项，并指示出作为匹配查询结果的日志数据项中各个属性值对应的数据属性。4.根据权利要求1-3中任一项所述多业务的日志数据存储处理和查询的系统，其特征在于，每个业务的日志数据的数据属性中至少包括有业务标识。5.多业务的日志数据存储处理方法，其特征在于，采用如权利要求1-4中任一项所述多业务的日志数据存储处理和...

【专利技术属性】
技术研发人员：王忻，
申请(专利权)人：重庆新媒农信科技有限公司，
类型：发明
国别省市：重庆;85