本发明专利技术涉及数据处理技术领域，其实施方式提供了一种可配置的流程数据处理方法、装置及设备。其中可配置的流程数据处理方法，所述方法包括：根据数据的所属行业和对应业务确定关联字段；根据所述关联字段从响应于业务环节操作的数据流中提取报文；根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。本发明专利技术提供的实施方式能够解决多流关联的时效性，以及提升多表关联的效率。以及提升多表关联的效率。以及提升多表关联的效率。
【技术实现步骤摘要】
可配置的流程数据处理方法、装置及设备
[0001]本专利技术涉及数据处理
，具体地涉及一种可配置的流程数据处理方法、一种可配置的流程数据处理装置、一种可配置的流程数据处理设备以及对应的存储介质。
技术介绍
[0002]目前基于Hbase的海量数据查询，在其他行业已经有一定的应用场景，例如电商平台有使用Hbase存储交易数据并提供查询，但其流程一般较为简单，数据之间的关联性及耦合度均较低，可以使用Hbase进行单点查询。银行业务的复杂性决定了一笔业务从开始到结束必然会经过多个环节，且一个环节涉及多条关联数据，这就决定了银行交易数据的复杂度较高，存在海量明细数据与精简数据相结合的场景，其他行业使用Hbase的方式，不能满足银行复杂数据处理的要求。
[0003]目前银行业的交易数据处理，会针对系统数据量级，设计不同的处理架构。传统处理方式是将数据存储在oracle或者mysql这种关系型数据中，并对外提供高时效性的查询服务。另外，近年来随着大数据业务的蓬勃发展，传统的关系型数据库已经无法应对海量数据的处理，故主流的大数据处理方式是将数据存储到Hbase这种非关系型数据库中，但由于Hbase的局限性，无法支持复杂查询逻辑的场景，例如基于多表关联以及多查询条件，效率低。因此，上述两种主流的处理方式，其缺点是显而易见的，关系型数据库能支持复杂查询逻辑，但无法应对海量数据处理；非关系型数据库可以存储海量数据，但不能支持客户灵活的查询逻辑。
技术实现思路
[0004]本专利技术实施例的目的是提供一种可配置的流程数据处理方法、装置及设备。
[0005]为了实现上述目的，本专利技术第一方面提供一种可配置的流程数据处理方法，所述方法包括：根据数据的所属行业和对应业务确定关联字段；根据所述关联字段从响应于业务环节操作的数据流中提取报文；根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。
[0006]优选的，在根据数据的所属行业和对应业务确定关联字段之前，所述方法还包括：将所述业务分为多个业务流程，为所述业务流程定义业务流程定义表；将每个业务流程分为多个流程环节，为所述流程环节定义流程环节定义表。
[0007]优选的，根据所述关联字段从响应于业务环节操作的数据流中提取报文，包括：将所述响应于业务环节操作的数据流存入Guava与Redis所组成的混合缓存中；判断从所述输入的数据流中提取的报文的关联字段是否在所述混合缓存中存在；若不存在，则将所述数据进行压缩后保留在所述混合缓存中。
[0008]优选的，所述方法还包括：将结果数据分为多个类型，根据不同类型的结果数据的数量级，将结果数据按所述类型存储至对应的数据库中。
[0009]优选的，以所述关联字段为内容的第一报文格式包括行键，所述行键采用以下步骤进行确定：获取预定义的行键要素以及所述行键要素的顺序，按所述行键要素的顺序从所述数据中提取的行键要素进行组合后得到所述行键。
[0010]优选的，所述报文的类型包括请求报文、响应报文和前端报文；所述根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应，包括：根据业务查询条件得到请求报文；提取所述请求报文中的关联字段，进行响应报文和前端报文的查询；根据获取到的请求报文、响应报文和前端报文实现对所述业务环节操作的响应。
[0011]在本专利技术的第二方面提供了一种可配置的流程数据处理装置，所述装置包括：
[0012]关联字段确定模块，用于根据数据的所属行业和对应业务确定关联字段；报文提取模块，用于根据所述关联字段从响应于业务环节操作的数据流中提取报文；格式映射模块，用于根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；以及报文执行模块，用于根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。
[0013]优选的，根据数据的所属行业和对应业务确定关联字段，包括：将所述业务分为多个业务流程，为所述业务流程定义业务流程定义表；将每个业务流程分为多个流程环节，为所述流程环节定义流程环节定义表。
[0014]优选的，根据所述关联字段从响应于业务环节操作的数据流中提取报文，包括：将所述响应于业务环节操作的数据流存入Guava与Redis所组成的混合缓存中；判断从所述输入的数据流中提取的报文的关联字段是否在所述混合缓存中存在；若不存在，则将所述数据进行压缩后保留在所述混合缓存中。
[0015]优选的，所述装置还包括：分类存储模块，用于将结果数据分为多个类型，根据不同类型的结果数据的数量级，将结果数据按所述类型存储至对应的数据库中。
[0016]优选的，以所述关联字段为内容的第一报文格式包括行键，所述行键采用以下步骤进行确定：获取预定义的行键要素以及所述行键要素的顺序，按所述行键要素的顺序从所述数据中提取的行键要素进行组合后得到所述行键。
[0017]优选的，所述报文的类型包括请求报文、响应报文和前端报文；所述根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应，包括：根据业务查询条件得到请求报文；提取所述请求报文中的关联字段，进行响应报文和前端报文的查询；根据获取到的请求报文、响应报文和前端报文实现对所述业务环节操作的响应。
[0018]在本专利技术的第三方面提供了一种可配置的流程数据处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的可配置的流程数据处理方法。
[0019]在本专利技术的第四方面提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的可配置的流程数据处理方法。
[0020]在本专利技术的第五方面提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述的可配置的流程数据处理方法。
[0021]上述技术方案具有以下有益效果：
[0022]通过一套银行流程模型定义方法，可实现对不同业务场景下不同流程的灵活定义。基于银行交易数据特点，提出了具备通用性的流程环节业务要素定义，可解决复杂场景
下，多流关联的时效性问题，以及单纯使用Redis的空间占用过大问题。Hbase的查询设计，解决了Hbase无法进行高效的多表关联问题。
[0023]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0024]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0025]图1示意性示出了根据本申请实施例的可配置的流程数据处理方法的步骤示意图；
[0026]图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种可配置的流程数据处理方法，其特征在于，所述方法包括：根据数据的所属行业和对应业务确定关联字段；根据所述关联字段从响应于业务环节操作的数据流中提取报文；根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。2.根据权利要求1所述的方法，其特征在于，在根据数据的所属行业和对应业务确定关联字段之前，所述方法还包括：将所述业务分为多个业务流程，为所述业务流程定义业务流程定义表；将每个业务流程分为多个流程环节，为所述流程环节定义流程环节定义表。3.根据权利要求1所述的方法，其特征在于，根据所述关联字段从响应于业务环节操作的数据流中提取报文，包括：将所述响应于业务环节操作的数据流存入Guava与Redis所组成的混合缓存中；判断从存入的数据流中提取的数据的关联字段是否在所述混合缓存中存在；若不存在，则将所述数据进行压缩后保留在所述混合缓存中。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据业务场景将所述业务环节操作的数据流中的数据分为多个类型，不同类型对应的数据量的数量级不同；根据不同类型将数据按类型存储至对应的数据库中。5.根据权利要求1所述的方法，其特征在于，以所述关联字段为内容的第一报文格式包括行键，所述行键采用以下步骤进行确定：获取预定义的行键要素以及所述行键要素的顺序；按所述行键要素的顺序提取行键要素进行组合后得到所述行键。6.根据权利要求1所述的方法，其特征在于，所述报文的类型包括请求报文、响应报文和前端报文；所述根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应，包括：根据业务查询条件得到请求报文；提取所述请求报文中的关联字段，进行响应报文和前端报文的查询；根据获取到的请求报文、响应报文和前端报文实现对所述业务环节操作的响应。7.一种可配置的流程数据处理装置，其特征在于，所述装置包括：关联字段确定模块，用于根据数据的所属行业和对应业务确定关联字段；报文提取模块，用于根据所述关联字段从响应于业务环节操作的数据流中提取报文；格式映射模块，用于根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字...
【专利技术属性】
技术研发人员：孙兵兵，王超，汪维，张小彪，李冉冉，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。