一种问题数据及其链路追溯方法及装置制造方法及图纸

本发明专利技术提供一种问题数据及其链路追溯方法及装置，涉及数据处理技术领域，可用于金融领域或其他技术领域。所述方法包括：获取源数据，识别所述源数据的完整性；若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。所述装置执行上述方法。本发明专利技术实施例提供的方法及装置，能够从根源处全面获取问题数据以及问题数据链路，进而简便快捷发现业务风险。进而简便快捷发现业务风险。进而简便快捷发现业务风险。

【技术实现步骤摘要】
一种问题数据及其链路追溯方法及装置


[0001]本专利技术涉及数据处理
，具体涉及一种问题数据及其链路追溯方法及装置。

技术介绍

[0002]目前相关监管部门在开展执法数据检查时，首先通过数据库SQL语句的方式人工开发出一条条检查规则，然后在待进行检查数据表中运行检查规则，最后输出各表字段间的问题数据。
[0003]上述通过数据库SQL语句人工开发检查规则的方式，需要针对每张表的字段一条条开发检查规则，效率低下，并且获取到的问题数据为各表中一条条数据记录，检查人员及金融机构人员无法宏观知悉问题数据中存在的风险点和各问题的层级链路，导致金融机构在问题数据整改过程中无法抓主要问题、也无法溯源。

技术实现思路

[0004]针对现有技术中的问题，本专利技术实施例提供一种问题数据及其链路追溯方法及装置，能够至少部分地解决现有技术中存在的问题。
[0005]一方面，本专利技术提出一种问题数据及其链路追溯方法，包括：
[0006]获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；
[0007]若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；
[0008]对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。
[0009]其中，所述识别所述源数据的完整性，包括：
[0010]在所述源数据中识别预设数据缺失标记；所述预设数据缺失标记为预先在所述源数据中生成的，用于表示数据缺失的预设字符符号；
[0011]若确定识别到所述预设数据缺失标记，则将所述预设数据缺失标记所在位置确定为数据缺失位置，将所述数据缺失位置对应数据作为数据缺失的数据。
[0012]其中，所述确定与存在数据缺失的数据对应的目标数据类型，包括：
[0013]将与所述数据缺失位置对应数据对应的数据类型确定所述目标数据类型。
[0014]其中，所述对与所述目标数据类型对应的目标数据进行关联分析，包括：
[0015]基于预设关联分析模型对与所述目标数据类型对应的目标数据进行关联分析；
[0016]其中，所述预设关联分析模型根据样本数据训练关联规则挖掘算法得到。
[0017]其中，根据样本数据训练关联规则挖掘算法得到所述预设关联分析模型，包括：
[0018]对关联规则挖掘参数进行初始化，对样本数据之间的关联规则进行挖掘；
[0019]对挖掘得到的关联规则进行分析，得到挖掘规则结果；
[0020]对所述挖掘规则结果进行验证，若确定验证结果满足预设算法训练终止条件，则完成训练关联规则挖掘算法得到所述预设关联分析模型。
[0021]其中，所述问题数据及其链路追溯方法还包括：
[0022]若确定验证结果不满足预设算法训练终止条件，则对所述关联规则挖掘参数进行优化调整，并利用优化调整后的关联规则挖掘参数对样本数据之间的关联规则进行挖掘，并执行后续步骤直到确定验证结果满足预设算法训练终止条件为止。
[0023]其中，所述问题数据及其链路追溯方法还包括：
[0024]基于融合模型对所述源数据进行完整性识别以及关联分析，得到问题数据及问题数据链路；
[0025]其中，所述融合模型包括与所述预设关联分析模型串联的数据完整性识别模型；所述数据完整性识别模型为预先训练得到的文本语义模型，所述数据完整性识别模型的输出结果作为所述预设关联分析模型的输入项。
[0026]一方面，本专利技术提出一种问题数据及其链路追溯装置，包括：
[0027]获取单元，用于获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；
[0028]确定单元，用于若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；
[0029]追溯单元，用于对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。
[0030]再一方面，本专利技术实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
[0031]所述处理器和所述存储器通过所述总线完成相互间的通信；
[0032]所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
[0033]获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；
[0034]若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；
[0035]对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。
[0036]本专利技术实施例提供一种非暂态计算机可读存储介质，包括：
[0037]所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
[0038]获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；
[0039]若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；
[0040]对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。
[0041]本专利技术实施例提供的问题数据及其链路追溯方法及装置，获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路，能够从根源处全面获取问题数据以及问题数据链路，进而简便快捷发现业务风险。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问题数据及其链路追溯方法，其特征在于，包括：获取源数据，识别所述源数据的完整性；所述源数据的数据类型包括客户基本信息数据、客户账户信息数据和客户交易信息数据；若确定存在至少一种数据类型对应的数据存在数据缺失，则确定与存在数据缺失的数据对应的目标数据类型；对与所述目标数据类型对应的目标数据进行关联分析，得到与所述目标数据相关联的目标数据关联数据，并确定所述目标数据为问题数据，以及确定所述目标数据和所述目标数据关联数据之间的关联关系为问题数据链路。2.根据权利要求1所述的问题数据及其链路追溯方法，其特征在于，所述识别所述源数据的完整性，包括：在所述源数据中识别预设数据缺失标记；所述预设数据缺失标记为预先在所述源数据中生成的，用于表示数据缺失的预设字符符号；若确定识别到所述预设数据缺失标记，则将所述预设数据缺失标记所在位置确定为数据缺失位置，将所述数据缺失位置对应数据作为数据缺失的数据。3.根据权利要求2所述的问题数据及其链路追溯方法，其特征在于，所述确定与存在数据缺失的数据对应的目标数据类型，包括：将与所述数据缺失位置对应数据对应的数据类型确定所述目标数据类型。4.根据权利要求1所述的问题数据及其链路追溯方法，其特征在于，所述对与所述目标数据类型对应的目标数据进行关联分析，包括：基于预设关联分析模型对与所述目标数据类型对应的目标数据进行关联分析；其中，所述预设关联分析模型根据样本数据训练关联规则挖掘算法得到。5.根据权利要求4所述的问题数据及其链路追溯方法，其特征在于，根据样本数据训练关联规则挖掘算法得到所述预设关联分析模型，包括：对关联规则挖掘参数进行初始化，对样本数据之间的关联规则进行挖掘；对挖掘得到的关联规则进行分析，得到挖掘规则结果；对所述挖掘规则结果进行验证，若确定验证结果满足预设算法训练终止条件，则完成训练...

【专利技术属性】
技术研发人员：邢言言，杨金朝，王辉，
申请(专利权)人：工银科技有限公司，
类型：发明
国别省市：