数据处理方法及装置、电子设备和可读存储介质制造方法及图纸

技术编号:22330022 阅读:34 留言:0更新日期:2019-10-19 12:15
本公开提供了一种由电子设备执行的数据处理方法,包括:采集来自企业业务系统的多个联机事务日志;根据预设分类要素对多个联机事务日志进行分类,得到多个日志集,其中,多个日志集中的每个日志集具有对应的类别信息;将每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出处理结果。本公开还提供了一种由电子设备执行的数据处理装置、一种数据处理系统、一种电子设备和一种计算机可读存储介质。

【技术实现步骤摘要】
数据处理方法及装置、电子设备和可读存储介质
本公开涉及计算机
,更具体地,涉及一种由电子设备执行的数据处理方法、一种由电子设备执行的数据处理装置、一种数据处理系统、一种电子设备和一种计算机可读存储介质。
技术介绍
目前,越来越多的大型企业成立了数据中心,以实现集中处理核心业务,从而满足企业联机事务处理的高时效、高可用等要求,联机事务是指处于不同地理位置的客户端与服务器之间交互产生的事务,特点在于事务量大,事务内容比较简单且重复率高。然而在市场快速变化、客户需求增加、企业产品丰富等情况下,联机事务的并发度、复杂度都大幅增长,从而对数据中心的企业业务系统带来了更大的性能风险和运维压力。由于在大型数据中心,联机事务的种类可能会有上千个,每日联机事务的数量有可能会过亿。面对如此大的数据,在进行联机事务分析的时候会存在如下问题和困难:如何及时发现联机事务中的异常变化情况,从而评估异常变化的原因,并做好优化应对措施;如何准确预测联机事务的增长趋势情况,从而做好业务系统的容量需求评估,并做好系统扩容调优等前瞻性工作。
技术实现思路
有鉴于此,本公开提供了一种由电子设备执行的数据处理方法、一种由电子设备执行的数据处理装置、一种数据处理系统、一种电子设备和一种计算机可读存储介质。本公开的一个方面提供了一种由电子设备执行的数据处理方法,包括:采集来自企业业务系统的多个联机事务日志;根据预设分类要素对上述多个联机事务日志进行分类,得到多个日志集,其中,上述多个日志集中的每个日志集具有对应的类别信息;将上述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,上述多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出上述处理结果。根据本公开的实施例,根据预设分类要素对上述多个联机事务日志进行分类包括:对上述多个联机事务日志中的每个联机事务日志进行解析,从上述每个联机事务日志中提取一个或多个关键字;以及通过将上述每个联机事务日志中的一个或多个关键字与上述预设分类要素进行比较,对上述多个联机事务日志进行分类。根据本公开的实施例,输出上述处理结果包括:根据上述处理结果自动生成数据报表;以及可视化展示上述数据报表。根据本公开的实施例,上述多个日志集至少包括属于第一类别的第一日志集和属于第二类别的第二日志集,上述数据分析模型至少包括第一分析模型和与上述第一分析模型不同的第二分析模型,将上述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型包括:将上述第一日志集输入上述第一分析模型;以及将上述第二日志集输入上述第二分析模型。根据本公开的实施例,上述第一分析模型和上述第二分析模型为以下模型之一:交易异常检测模型、趋势预测模型。本公开的另一个方面提供了一种由电子设备执行的数据处理装置,包括:采集模块,用于采集企业业务系统中的多个联机事务日志;分类模块,用于根据预设分类要素对上述多个联机事务日志进行分类,得到多个日志集,其中,上述多个日志集中的每个日志集具有对应的类别信息;输入模块,用于将上述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,上述多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出模块,用于输出上述处理结果。本公开的另一个方面提供了一种数据处理系统,包括:企业业务系统,存储有多个联机事务日志;以及数据统计分析服务器,用于:对获取到的上述企业业务系统中的多个联机事务日志按照预设分类要素进行分类,得到多个日志集,其中,上述多个日志集中的每个日志集具有对应的类别信息;将上述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,上述多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出上述处理结果。根据本公开的实施例,数据处理系统还包括:管理服务器,用于管理上述数据统计分析服务器中存储的数据分析模型。根据本公开的实施例,数据处理系统还包括:信息提示服务器,用于接收上述数据统计分析服务器输出的上述处理结果,并根据上述处理结果确定是否向外部设备发送提示信息。本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当上述一个或多个指令被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上所述的方法。本公开的另一个方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。根据本公开的实施例,通过将不同类别的日志集分别输入与类别信息对应的模型进行自动处理的技术手段,使得企业业务系统的日志容量能够满足当前和未来联机事务的处理需求,通过联机事务日志的准确有效分析,可以对企业业务系统进行优化调整等措施,确保企业业务系统稳定,联机事务的处理满足计算服务要求,所以至少部分地克服了相关技术中联机事务的并发度和复杂度高,导致企业业务系统的稳定性低,运维压力大的技术问题,进而达到了提高企业业务系统的稳定性的技术效果。附图说明通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:图1示意性示出了可以应用本公开的数据处理方法和装置的示例性系统架构;图2示意性示出了根据本公开实施例的数据处理方法的流程图;图3示意性示出了根据本公开实施例的根据预设分类要素对多个联机事务日志进行分类的流程图;图4示意性示出了根据本公开实施例的数据处理系统的框图;图5示意性示出了根据本公开实施例的数据处理方法的流程图;图6示意性示出了根据本公开实施例的数据处理装置的框图;以及图7示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。具体实施方式以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似本文档来自技高网...

【技术保护点】
1.一种由电子设备执行的数据处理方法,包括:采集来自企业业务系统的多个联机事务日志;根据预设分类要素对所述多个联机事务日志进行分类,得到多个日志集,其中,所述多个日志集中的每个日志集具有对应的类别信息;将所述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,所述多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出所述处理结果。

【技术特征摘要】
1.一种由电子设备执行的数据处理方法,包括:采集来自企业业务系统的多个联机事务日志;根据预设分类要素对所述多个联机事务日志进行分类,得到多个日志集,其中,所述多个日志集中的每个日志集具有对应的类别信息;将所述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型,对被输入的日志集中的联机事务日志进行处理以得到处理结果,其中,所述多个日志集中的每个日志集分别具有对应的数据分析模型;以及输出所述处理结果。2.根据权利要求1所述的方法,其中,根据预设分类要素对所述多个联机事务日志进行分类包括:对所述多个联机事务日志中的每个联机事务日志进行解析,从所述每个联机事务日志中提取一个或多个关键字;以及通过将所述每个联机事务日志中的一个或多个关键字与所述预没分类要素进行比较,对所述多个联机事务日志进行分类。3.根据权利要求1所述的方法,输出所述处理结果包括:根据所述处理结果自动生成数据报表;以及可视化展示所述数据报表。4.根据权利要求1所述的方法,其中,所述多个日志集至少包括属于第一类别的第一日志集和属于第二类别的第二日志集,所述数据分析模型至少包括第一分析模型和与所述第一分析模型不同的第二分析模型,将所述每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型包括:将所述第一日志集输入所述第一分析模型;以及将所述第二日志集输入所述第二分析模型。5.根据权利要求4所述的方法,其中,所述第一分析模型和所述第二分析模型为以下模型之一:交易异常检测模型、趋势预测模型。6.一种由电子设备执行的数据处理装置,包括:采集模块,用于采集企业业务系统中的多个联机事务日志;分类模块,用于根据预设分类要素对所述多个联机事务日志进行分类,得到多个日志集,其中,所述多个日志集中的每个日志集具有对应的类别信息;输入模块,用于将所述每个日...

【专利技术属性】
技术研发人员:包旭利吴韵迪郭开锋
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1