数据规则挖掘方法及装置制造方法及图纸

本说明书实施例提供了数据规则挖掘方法及装置，其中，一种数据规则挖掘方法包括：获取远程过程调用消息的消息参数；对所述远程过程调用消息的消息参数进行预处理，获得中间参数；对所述中间参数进行组合，将组合获得的数据规则中满足业务条件的数据规则作为候选规则；基于所述中间参数对所述候选规则进行验证，获得所述候选规则的支持度和置信度；在所述候选规则中筛选支持度和置信度满足预设阈值的候选规则作为目标规则。值的候选规则作为目标规则。值的候选规则作为目标规则。

【技术实现步骤摘要】
数据规则挖掘方法及装置
[0001]本申请是申请日为20200925、申请号为CN202011025237.7、名称为“数据规则挖掘方法及装置”的中国专利技术专利申请的分案申请。


[0002]本文件涉及数据挖掘
，尤其涉及一种数据规则挖掘方法及装置。

技术介绍

[0003]随着互联网技术的发展，互联网中产生的数据可能蕴含着大量的价值，许多业务场景下，如何有效的对业务系统产生的业务数据进行挖掘，成为当下业务处理的重点。数据挖掘是指从业务系统产生的大量业务数据中通过算法搜索隐藏于其中信息的过程，而业务处理过程中数据挖掘的重点，则是挖掘业务数据中有价值的业务规则，以对业务系统后续运行过程中产生的业务数据的处理提供帮助。

技术实现思路

[0004]本说明书一个或多个实施例提供了一种数据规则挖掘方法。所述数据规则挖掘方法包括：获取远程过程调用消息的消息参数。对所述远程过程调用消息的消息参数进行预处理，获得中间参数。对所述中间参数进行组合，将组合获得的数据规则中满足业务条件的数据规则作为候选规则。基于所述中间参数对所述候选规则进行验证，获得所述候选规则的支持度和置信度。在所述候选规则中筛选支持度和置信度满足预设阈值的候选规则作为目标规则。
[0005]本说明书一个或多个实施例提供了一种数据规则挖掘装置，包括：消息参数获取模块，被配置为获取远程过程调用消息的消息参数。参数预处理模块，被配置为对所述远程过程调用消息的消息参数进行预处理，获得中间参数。中间参数组合模块，被配置为对所述中间参数进行组合，将组合获得的数据规则中满足业务条件的数据规则作为候选规则。候选规则验证模块，被配置为基于所述中间参数对所述候选规则进行验证，获得所述候选规则的支持度和置信度。目标规则筛选模块，被配置为在所述候选规则中筛选支持度和置信度满足预设阈值的候选规则作为目标规则。
[0006]本说明书一个或多个实施例提供了一种数据规则挖掘设备，包括：获取远程过程调用消息的消息参数。对所述远程过程调用消息的消息参数进行预处理，获得中间参数。对所述中间参数进行组合，将组合获得的数据规则中满足业务条件的数据规则作为候选规则。基于所述中间参数对所述候选规则进行验证，获得所述候选规则的支持度和置信度。在所述候选规则中筛选支持度和置信度满足预设阈值的候选规则作为目标规则。
[0007]本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现以下流程：获取远程过程调用消息的消息参数。对所述远程过程调用消息的消息参数进行预处理，获得中间参数。对所述中间参数进行组合，将组合获得的数据规则中满足业务条件的数据规则作为候选规则。基于所述中间参数对所
述候选规则进行验证，获得所述候选规则的支持度和置信度。在所述候选规则中筛选支持度和置信度满足预设阈值的候选规则作为目标规则。
附图说明
[0008]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0009]图1为本说明书一个或多个实施例提供的一种数据规则挖掘方法处理流程图；
[0010]图2为本说明书一个或多个实施例提供的一种应用于业务处理场景的数据规则挖掘方法处理流程图；
[0011]图3为本说明书一个或多个实施例提供的一种数据规则挖掘装置示意图；
[0012]图4为本说明书一个或多个实施例提供的一种数据规则挖掘设备的结构示意图。
具体实施方式
[0013]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0014]本说明书提供的一种数据规则挖掘方法实施例：
[0015]参见图1，本实施例提供的数据规则挖掘方法，包括步骤S102至步骤S110。
[0016]步骤S102，获取远程过程调用消息的消息参数。
[0017]本实施例提供的数据规则挖掘方法，通过录制数据平台在运行过程中进行远程过程调用(RPC，Remote Procedure Call)所生成的远程过程调用消息的消息参数，然后对录制的消息参数进行“扁平化”预处理，并对预处理之后获得的中间参数进采样，其次对采样后的采样参数进行组合，利用采样参数组合获得数据规则，进一步，利用中间参数对组合获得的数据规则进行验证，最终在数据规则中筛选出目标规则作为规则产出，实现通过少量参数发现规则，再利用全量参数对规则做验证，以此提升数据规则的发现效率。
[0018]实际业务处理场景中，业务运行过程中涉及的业务处理平台、与业务运行有关的应用往往会比较多，在这种情况下，出于业务处理场景的数据处理需要，往往需要对整个业务链路涉及的业务数据进行相应的数据核对，为了提升业务数据在数据核对处理过程中的有效性，也为了提升数据核对处理的效率，本实施例中，采用节点化的方式来进行数据规则的挖掘，具体的，如果当前业务处理场景中需要对场景中的一个数据平台进行数据规则挖掘，则在对该数据平台进行数据规则挖掘的过程中，结合远程过程调用的实现特性，将该数据平台以及该数据平台调用的后端应用作为挖掘对象。类似的，业务处理场景中处于该数据平台上游的业务处理平台或者业务系统，以及，处于该数据平台下游的业务处理平台或者业务系统，同样可以采用类似的方式实现数据规则的挖掘，本实施例以数据平台及其调用的后端应用在远程过程调用过程中生成的远程过程调用消息的数据规则挖掘为例进行
说明。
[0019]具体实施时，在针对所述数据挖掘方法应用的数据平台进行数据挖掘的过程中，需获取数据平台参与的远程过程调用过程中远程过程调用消息的消息参数，同时，还需获取数据平台的后端应用在进行远程过程调用的过程中生成的远程过程调用消息的消息参数，具体而言，一方面采用数据录制的方式采集调用所述数据平台的远程过程调用请求的请求参数，以及所述数据平台返回的远程过程调用响应的响应参数；另一方面，获取所述数据平台调用的后端应用采用埋点的方式采集的远程过程调用请求的应用请求参数，以及所述后端应用返回的远程过程调用响应的应用响应参数。
[0020]步骤S104，对所述远程过程调用消息的消息参数进行预处理，获得中间参数。
[0021]需要说明的是，远程过程调用消息(比如，RPC请求、针对RPC请求返回的RPC响应)的消息是结构化并且具有层次的，例如：数据平台中RPC请求的数据格式具体如下：
[0022]{
[0023]ar本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据规则挖掘方法，包括：对获取的远程过程调用消息的消息参数进行预处理，获得中间参数；将所述中间参数组合为数据规则，并确定所述数据规则中的候选规则；基于所述中间参数对所述候选规则进行验证，获得所述候选规则的关联指标；根据所述关联指标在所述候选规则中进行筛选，获得目标规则。2.根据权利要求1所述的数据规则挖掘方法，应用于数据平台；相应的，所述对获取的远程过程调用消息的消息参数进行预处理，获得中间参数步骤执行之前，还包括：获取所述远程过程调用消息的消息参数；其中，所述获取所述远程过程调用消息的消息参数，包括：采用数据录制的方式采集调用所述数据平台的远程过程调用请求的请求参数，以及所述数据平台返回的远程过程调用响应的响应参数；获取所述数据平台调用的后端应用采用埋点的方式采集的远程过程调用请求的应用请求参数，以及所述后端应用返回的远程过程调用响应的应用响应参数。3.根据权利要求1所述的数据规则挖掘方法，所述对远程过程调用消息的消息参数进行预处理，获得中间参数，包括：将所述消息参数解析为参数域的参数标识与数值域的参数值组成的中间参数；将所述参数域的参数标识与所述数值域的参数值写入参数数据表；其中，所述参数数据表采用键值对的方式存储参数标识以及对应的参数值。4.根据权利要求1所述的数据规则挖掘方法，所述将所述中间参数组合为数据规则，并确定所述数据规则中的候选规则，包括：对所述中间参数进行采样，获得采样参数；将所述采样参数组合为数据规则，并将组合获得的数据规则当中参数值相同且满足预设调用关系的数据规则确定为所述候选规则。5.根据权利要求4所述的数据规则挖掘方法，所述预设调用关系包括下述至少一项：数据平台的远程过程调用请求与数据平台返回的远程过程调用响应间的调用关系，数据平台的远程过程调用请求与后端应用的远程过程调用请求间的调用关系，数据平台的远程过程调用响应与后端应用的远程过程调用响应间的调用关系。6.根据权利要求1所述的数据规则挖掘方法，所述关联指标包括支持度和置信度；所述基于所述中间参数对所述候选规则进行验证，获得所述候选规则的关联指标，包括：针对任意一条候选规则，采用如下方式进行验证：判断所述中间参数所属的远程过程调用消息是否满足所述候选规则的调用关系；若满足，判断所述中间参数的参数值是否满足所述候选规则的参数关系；若是，更新所述候选规则的支持度和置信度。7.根据权利要求6所述的数据规则挖掘方法，若所述判断所述中间参数的参数值是否满足所述候选规则的参数关系子步骤执行后的判断结果为否，剔除所述候选规则。8.根据权利要求1所述的数据规则挖掘方法，所述关联指标包括支持度和置信度；所述根据所述关联指标在所述候选规则中进行筛选，获得目标规则，包括：在所述候选规则中筛选置信度满足置信度阈值的候选规则；判断筛选出的候选规则的支持度是否大于支持度阈值；
若是，将支持度大于所述支持度阈值的候选规则作为所述目标规则。9.根据权利要求1所述的数据规则挖掘方法，所述根据所述关联指标在所述候选规则中进行筛选，获得目标规则步骤执行之后，还包括：将所述目标规则转换为数据核对脚本；将所述数据核对脚本同步至线上存储，以使所述数据脚本...

【专利技术属性】
技术研发人员：邵开来，熊士强，牟键，
申请(专利权)人：蚂蚁智信杭州信息技术有限公司，
类型：发明
国别省市：