业务数据的提取方法、装置、存储介质及电子设备制造方法及图纸

技术编号:35031127 阅读:16 留言:0更新日期:2022-09-24 23:05
本申请公开了一种业务数据的提取方法、装置、存储介质及电子设备。涉及大数据领域,获取查询请求,其中,查询请求用于请求查询具有目标业务属性的业务数据;从具有对应关系的参考业务属性和参考业务中获取目标业务属性对应的目标业务;从日志文件集合中筛选目标业务对应的目标日志文件,其中,日志文件集中包括执行业务所产生的日志文件;从目标日志文件中提取业务数据,得到目标业务数据,其中,目标业务数据为具有目标业务属性的业务数据,采用上述技术方案,解决了相关技术中业务数据的查询效率较低等问题,实现了提高业务数据的查询效率的技术效果。的技术效果。的技术效果。

【技术实现步骤摘要】
业务数据的提取方法、装置、存储介质及电子设备


[0001]本申请涉及大数据领域,具体而言,涉及一种业务数据的提取方法、装置、存储介质及电子设备。

技术介绍

[0002]随着互联网技术的快速发展,越来越多的企业或者服务机构通过网络为用户提供业务服务,随机也就产生了越来越多的业务数据,在这种情况下,推进数据价值挖掘,促进数据业务服务支撑成为了企业或者服务机构的重点工作任务,当前,企业常用构建用于查询不同数据的数据查询程序的方式,即构建查询特定业务数据的查询程序,在数据查询程序中将执行业务的程序信息写死,从而在查询业务数据时,通过运行对应的查询程序从而查询业务数据,但是这种方式局限性较强,不利于数据查询的灵活拓展,比如,在新增统计逻辑或者新增业务功能的时候,就需要从新编写新的查询程序,造成了程序查询程序维护成本高、扩展性差等问题。
[0003]针对相关技术中业务数据的查询效率较低等问题,尚未提出有效的解决方案。

技术实现思路

[0004]本申请的主要目的在于提供一种业务数据的提取方法、装置、存储介质及电子设备,以解决相关技术中业务数据的查询效率较低的问题。
[0005]为了实现上述目的,根据本申请的一个方面,提供了一种业务数据的提取方法。该方法包括:获取查询请求,其中,所述查询请求用于请求查询具有目标业务属性的业务数据;从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务;从日志文件集合中筛选所述目标业务对应的目标日志文件,其中,所述日志文件集中包括执行业务所产生的日志文件;从所述目标日志文件中提取业务数据,得到目标业务数据,其中,所述目标业务数据为具有所述目标业务属性的业务数据。
[0006]可选的,所述从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务,包括:将目标子属性集合与具有对应关系的参考子属性集合和参考程序标识中的每个参考子属性集合进行匹配,其中,所述参考子属性集合中包括多个参考业务子属性,所述多个参考业务子属性用于从多个维度对业务的业务类型进行划分,所述目标业务属性包括所述目标子属性集合;获取与所述目标子属性集合匹配成功的参考子属性集合所对应的目标程序标识,其中,所述目标程序标识用于唯一标识所述目标业务。
[0007]可选的,所述将目标子属性集合与具有对应关系的参考子属性集合和参考程序标识中的每个参考子属性集合进行匹配,包括:确定所述目标子属性集合中所包括的一个或者多个目标业务子属性中每个目标业务子属性的目标属性值与所述每个所述参考子属性集合中对应维度的参考业务子属性的参考属性值是否一致;将所述参考属性值与所述目标属性值全部一致的参考子属性集合确定为与所述目标子属性集合匹配成功的参考子属性集合。
[0008]可选的,所述确定所述目标子属性集合中所包括的一个或者多个目标业务子属性中每个目标业务子属性的目标属性值与所述每个所述参考子属性集合中对应维度的参考业务子属性的参考属性值是否一致,包括:在所述一个或者多个目标业务子属性中包括目标部门类型标识的情况下,从所述参考子属性集合中获取具有参考部门类型标识的参考标识值与所述目标部门类型标识的目标标识值一致的候选子属性集合;确定所述目标业务子属性中所包括的目标业务标识串中的每个目标标识位与每个所述候选子属性集合中所包括的候选业务标识串上对应的候选标识位是否一致,其中,所述目标业务标识串包括以下至少之一:登录业务标识,动账类业务标识,业务动户类业务标识,线程类业务标识,接口类业务标识,登出业务标识;在所述一个或者多个目标业务子属性中不包括目标部门类型标识的情况下,确定所述目标业务子属性中所包括的目标业务标识串中的每个目标标识位与每个所述参考子属性集合中所包括的参考业务标识串上对应的参考标识位是否一致,其中,所述目标业务标识串包括以下至少之一:登录业务标识,动账类业务标识,业务动户类业务标识,线程类业务标识,接口类业务标识,登出业务标识。
[0009]可选的,所述从所述目标日志文件中提取业务数据,得到目标业务数据,包括:根据所述目标业务属性对应的目标字段生成目标数据提取脚本,其中,所述目标数据提取脚本用于运行提取所述目标字段对应数据的程序;对所述目标日志文件运行所述目标数据提取脚本,得到所述目标业务数据。
[0010]可选的,所述根据所述目标业务属性对应的目标字段生成目标数据提取脚本,包括:获取初始数据提取脚本,其中,所述初始数据提取脚本记录了提取数据的程序模板;将所述目标字段编辑至所述初始数据提取脚本中的对应位置,得到所述目标数据提取脚本。
[0011]可选的,在所述根据所述目标业务属性对应的目标字段生成目标数据提取脚本之前,所述方法还包括以下之一:从所述查询请求中提取所述目标业务属性的目标字段;从具有对应关系的参考业务属性和参考业务中提取与所述目标业务属性对应的所述参考业务属性的字段作为所述目标字段。
[0012]为了实现上述目的,根据本申请的另一方面,提供了一种业务数据的提取装置。该装置包括:第一获取模块,用于获取查询请求,其中,所述查询请求用于请求查询具有目标业务属性的业务数据;第二获取模块,用于从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务;筛选模块,用于从日志文件集合中筛选所述目标业务对应的目标日志文件,其中,所述日志文件集中包括执行业务所产生的日志文件;第一提取模块,用于从所述目标日志文件中提取业务数据,得到目标业务数据,其中,所述目标业务数据为具有所述目标业务属性的业务数据。
[0013]为了实现上述目的,根据本申请的另一方面,提供了一种非易失性存储介质,上述非易失性存储介质存储有多条指令,上述指令适于由处理器加载并执行任意一项上述的方法。
[0014]为了实现上述目的,根据本申请的另一方面,提供了一种电子设备。该电子设备包括:一个或多个处理器和存储器,上述存储器用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现任意一项上述的方法。
[0015]通过本申请,采用以下步骤:获取查询请求,其中,所述查询请求用于请求查询具
有目标业务属性的业务数据;从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务;从日志文件集合中筛选所述目标业务对应的目标日志文件,其中,所述日志文件集中包括执行业务所产生的日志文件;从所述目标日志文件中提取业务数据,得到目标业务数据,其中,所述目标业务数据为具有所述目标业务属性的业务数据,即参考业务属性和参考业务具有对应关系,查询请求用于请求查询具有目标业务属性的业务数据,通过查询请求能够知道要查询的业务数据的目标业务属性,进而能够在具有对应关系的参考业务属性和参考业务中获取待与目标业务属性对应的目标业务,即通过目标业务属性确定出产生要查询的业务数据的目标业务,进而在目标业务的目标日志文件中提取出目标业务数据,实现在查询时只需要知道要查询的业务数据的目标业务属性,通过目标业务属性查询业务,进而提取业务对应本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种业务数据的提取方法,其特征在于,包括:获取查询请求,其中,所述查询请求用于请求查询具有目标业务属性的业务数据;从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务;从日志文件集合中筛选所述目标业务对应的目标日志文件,其中,所述日志文件集中包括执行业务所产生的日志文件;从所述目标日志文件中提取业务数据,得到目标业务数据,其中,所述目标业务数据为具有所述目标业务属性的业务数据。2.根据权利要求1所述的方法,其特征在于,所述从具有对应关系的参考业务属性和参考业务中获取所述目标业务属性对应的目标业务,包括:将目标子属性集合与具有对应关系的参考子属性集合和参考程序标识中的每个参考子属性集合进行匹配,其中,所述参考子属性集合中包括多个参考业务子属性,所述多个参考业务子属性用于从多个维度对业务的业务类型进行划分,所述目标业务属性包括所述目标子属性集合;获取与所述目标子属性集合匹配成功的参考子属性集合所对应的目标程序标识,其中,所述目标程序标识用于唯一标识所述目标业务。3.根据权利要求2所述的方法,其特征在于,所述将目标子属性集合与具有对应关系的参考子属性集合和参考程序标识中的每个参考子属性集合进行匹配,包括:确定所述目标子属性集合中所包括的一个或者多个目标业务子属性中每个目标业务子属性的目标属性值与所述每个所述参考子属性集合中对应维度的参考业务子属性的参考属性值是否一致;将所述参考属性值与所述目标属性值全部一致的参考子属性集合确定为与所述目标子属性集合匹配成功的参考子属性集合。4.根据权利要求3所述的方法,其特征在于,所述确定所述目标子属性集合中所包括的一个或者多个目标业务子属性中每个目标业务子属性的目标属性值与所述每个所述参考子属性集合中对应维度的参考业务子属性的参考属性值是否一致,包括:在所述一个或者多个目标业务子属性中包括目标部门类型标识的情况下,从所述参考子属性集合中获取具有参考部门类型标识的参考标识值与所述目标部门类型标识的目标标识值一致的候选子属性集合;确定所述目标业务子属性中所包括的目标业务标识串中的每个目标标识位与每个所述候选子属性集合中所包括的候选业务标识串上对应的候选标识位是否一致,其中,所述目标业务标识串包括以下至少之一:登录业务标识,动账类业务标识,业务动户类业务标识,线程类业务标识,接口类业务标识,登出业务标识;在所述一个或者...

【专利技术属性】
技术研发人员:韩金涛李江涛卢永安马坤
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1