关系型数据的标签清洗方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种关系型数据的标签清洗方法、装置、设备及存储介质，通过从关系型数据库中提取目标关系型数据，计算关系型特征标签集的数据饱和度，将关系型特征标签集中数据饱和度小于饱和度阈值的关系型特征标签剔除；计算关系型特征标签集中的异常占比值，提取出异常占比值小于异常占比阈值的关系型特征标签；计算关系型特征标签集的信息量值，提取出信息量值大于信息量阈值的关系型特征标签；采用预设的决策树模型确定关系型特征标签集的重要性度量值，提取出重要性度量值大于重要性度量阈值的关系型特征标签；最后根据预设策略对生成的关系型特征标签进行整合处理；从而提高了对目标关系型数据进行标签筛选的准确性。

Label cleaning method, device, equipment and storage medium of relational data

【技术实现步骤摘要】
关系型数据的标签清洗方法、装置、设备及存储介质
本专利技术涉及数据处理领域，尤其涉及一种关系型数据的标签清洗方法、装置、设备及存储介质。
技术介绍
随着计算机技术的日益发展，各种类型的数据库随之不断发展。目前比较常见的数据库主要包括有关系型数据库和非关系型数据库。不同类型的数据库具有不同的优势，虽然非关系数据库因具有灵活的可扩展性，且允许创建许多不同类型的非结构化的或任意格式的字段等优势，越来越受到开发者的欢迎，但也由于技术的不成熟，存在事务处理能力弱、没有完整性约束，且对于复杂业务场景支持较差等缺陷。因此很多技术开发者在处理数据时依旧会选择传统的关系型数据库。传统的关系型数据库具有查询灵活、容易保持数据的一致性的优点，但是对关系型数据进行标签筛选时大部分都是采用大量的专家经验对数据标签进行分析，业务专家结合自己的经验筛选出符合要求的目标关系型数据。然而，采用专家经验进行标签筛选往往对人工依赖过多，且当关系型数据量较大时人工处理速度有限，对关系型数据进行标签筛选的准确性较低。
技术实现思路
本专利技术实施例提供一种关系型数据的标签清洗方法、装置、计算机设备及存储介质，以解决对关系型数据进行标签筛选的准确性较低问题。一种关系型数据的标签清洗方法，包括：从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。一种关系型数据的标签清洗装置，包括：第一提取模块，用于从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；第一数据饱和度计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；第一异常占比值计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；第一信息量值计算模块，用于计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；第一重要性度量值确定模块，用于采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；整合处理模块，用于根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述关系型数据的标签清洗方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述关系型数据的标签清洗方法。上述关系型数据的标签清洗方法、装置、计算机设备及存储介质，从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；计算关系型特征标签集中每一关系型特征标签的数据饱和度，将关系型特征标签集中数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；计算关系型特征标签集中每一关系型特征标签的异常占比值，提取出异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；计算关系型特征标签集中每一关系型特征标签的信息量值，提取出信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；采用预设的决策树模型确定关系型特征标签集中每一关系型特征标签的重要性度量值，提取出重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；根据预设策略对第一特征标签集、第二特征标签集、第三特征标签集和第四特征标签集进行整合处理，得到目标关系型标签集；通过分别采用多种不同的标签筛选方法对目标关系型数据进行标签筛选，然后再对筛选出的特征标签集进行组合，从而保证了生成的目标关系型标签集的精准度，提高了对目标关系型数据进行标签筛选的准确性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中关系型数据的标签清洗方法的一应用环境示意图；图2是本专利技术一实施例中关系型数据的标签清洗方法的一示例图；图3是本专利技术一实施例中关系型数据的标签清洗方法的另一示例图；图4是本专利技术一实施例中关系型数据的标签清洗方法的另一示例图；图5是本专利技术一实施例中关系型数据的标签清洗方法的另一示例图；图6是本专利技术一实施例中关系型数据的标签清洗方法的另一示例图；图7是本专利技术一实施例中关系型数据的标签清洗方法的另一示例图；图8是本专利技术一实施例中关系型数据的标签清洗装置的一原理框图；图9是本专利技术一实施例中关系型数据的标签清洗装置的另一原理框图；图10是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供的关系型数据的标签清洗方法，该关系型数据的标签清洗方法可应用如图1所示的应用环境中。具体地，该关系型数据的标签清洗方法应用在关系型数据的标签清洗系统中，该关系型数据的标签清洗系统包括如图1所示的客户端和服务端，客户端与服务端通过网络进行通信，用于解决对关系型数据进行标签筛选的准确性较低问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实本文档来自技高网...

【技术保护点】
1.一种关系型数据的标签清洗方法，其特征在于，包括：/n从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；/n计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；/n计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；/n计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；/n采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；/n根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。/n

【技术特征摘要】
1.一种关系型数据的标签清洗方法，其特征在于，包括：
从关系型数据库中提取目标关系型数据的特征标签，生成关系型特征标签集；
计算所述关系型特征标签集中每一关系型特征标签的数据饱和度，将所述关系型特征标签集中所述数据饱和度小于饱和度阈值的关系型特征标签剔除，得到第一特征标签集；
计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集；
计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集；
采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集；
根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第四特征标签集进行整合处理，得到目标关系型标签集。


2.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述计算所述关系型特征标签集中每一关系型特征标签的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集，包括：
获取所述关系型特征标签集中每一关系型特征标签；
判断每一所述关系型特征标签的关系型变量值的数据类型；
若所述关系型特征标签的所述关系型变量值的数据类型为连续型，则采用预设的异常值计算公式，确定所述关系型特征标签中的异常值；
若所述关系型特征标签的所述关系型变量值的数据类型为离散型，则根据所述关系型特征标签获取对应的筛选标准，并根据所述筛选标准确定所述关系型特征标签中的异常值；
计算每一所述关系型特征标签中所述异常值在对应的所述关系型变量值中的异常占比值，提取出所述异常占比值小于异常占比阈值的关系型特征标签，组成第二特征标签集。


3.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述计算所述关系型特征标签集中每一关系型特征标签的信息量值，提取出所述信息量值大于信息量阈值的关系型特征标签，组成第三特征标签集，包括：
采用如下公式计算所述关系型特征标签集中每一关系型特征标签的信息量值IV:



其中，r为关系型特征标签所取值的类别个数，ni0为关系型特征标签取第i个值，对应可选变量为0的个数，n*0为所有可选变量取值为0的个数，ni1为标签取第i个值，对应可选变量为1的个数，n*1为所有可选变量取值为1的个数；
将每一所述关系型特征标签的所述信息量值IV与预设的信息量阈值进行比较；
提取出所述信息量值IV大于所述信息量阈值的关系型特征标签，组成第三特征标签集。


4.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述采用预设的决策树模型确定所述关系型特征标签集中每一关系型特征标签的重要性度量值，提取出所述重要性度量值大于重要性度量阈值的关系型特征标签，组成第四特征标签集，包括：
将所述关系型特征标签集中的每一关系型特征标签输入预设的梯度提升决策模型中进行训练，根据每一所述关系型特征标签在所述梯度提升决策模型的每颗树中的重要性平均值，确定每一所述关系型特征标签的重要性度量值；
将每一所述关系型特征标签的所述重要性度量值与预设的重要性度量阈值进行比较；
提取出所述重要性度量值大于所述重要性度量阈值的关系型特征标签，组成第四特征标签集。


5.如权利要求1所述的关系型数据的标签清洗方法，其特征在于，所述根据预设策略对所述第一特征标签集、所述第二特征标签集、所述第三特征标签集和所述第...

【专利技术属性】
技术研发人员：黄移军，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44