敏感数据识别方法、装置、设备以及存储介质制造方法及图纸

本公开的实施例提供了一种敏感数据识别方法、装置、设备以及存储介质，应用于机器学习技术领域。该方法包括：获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；对样本集进行过采样；根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。以此方式，可以基于过采样解决样本不均衡导致的过拟合问题，并通过对代价敏感模型进行训练得到识别能力较强的敏感数据识别模型，进而基于该模型快速精确地识别待识别的数据是否为敏感数据，有效地提高敏感数据识别效果。提高敏感数据识别效果。提高敏感数据识别效果。

【技术实现步骤摘要】
敏感数据识别方法、装置、设备以及存储介质


[0001]本公开涉及机器学习
，尤其涉及一种敏感数据识别方法、装置、设备以及存储介质。

技术介绍

[0002]随着云计算、大数据的快速发展，数据已经成为各行各业的重要资产，医疗、人社、保险、税务、银行和社交网络等各类数据平台和信息采集系统，汇聚了越来越多与个人隐私信息相关的敏感数据。一旦数据发生外泄，势必带来无法估计的损失和伤害。因此，在对数据的安全管理中，敏感数据的识别，是数据安全管理中的重要组成部分。
[0003]目前，常用的敏感数据识别方案，通常基于机器学习算法实现，普遍存在效果较差的问题。因此，如何提高敏感数据识别效果就成为了目前亟待解决的技术问题。

技术实现思路

[0004]本公开的实施例提供了一种敏感数据识别方法、装置、设备以及存储介质。
[0005]第一方面，本公开的实施例提供了一种敏感数据识别模型的训练方法，该方法包括：
[0006]获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；
[0007]对样本集进行过采样；
[0008]根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。
[0009]在第一方面的一些可实现方式中，获取样本集，包括：
[0010]获取多条数据及其标签；
[0011]对各数据进行数据清洗；
[0012]将清洗后的各数据输入BERT模块中进行编码，得到各数据的特征向量；
[0013]将各数据的标签确定为各数据的特征向量对应的标签；
[0014]根据各数据的特征向量及其对应的标签生成样本，并根据各样本生成样本集。
[0015]在第一方面的一些可实现方式中，对样本集进行过采样，包括：
[0016]利用Borderline SMOTE算法、Borderline SMOTE SVM算法或者Borderline SMOTE Logistic算法对样本集进行过采样。
[0017]在第一方面的一些可实现方式中，利用Borderline SMOTE Logistic算法对样本集进行过采样，包括：
[0018]利用Logistic分类器对样本集进行处理，确定样本集对应的决策边界，将样本集中处于决策边界预设范围内的少数类样本视为边界样本，并将其复制到边界样本集；
[0019]将样本集中的少数类样本复制到少数类样本集；
[0020]根据边界样本集与少数类样本集，生成多个新的少数类样本，并将其添加至样本
集中。
[0021]在第一方面的一些可实现方式中，代价敏感模型为Stacking结构，其中的基学习器包括代价敏感支持向量机CS
‑
SVM、代价敏感朴素贝叶斯模型CSNB、代价敏感C4.5决策树CSC4.5，元学习器包括Attention模块、LR模块。
[0022]第二方面，本公开的实施例提供了一种敏感数据识别方法，该方法包括：
[0023]获取待识别的数据的特征向量；
[0024]将特征向量输入敏感数据识别模型，确定待识别的数据是否为敏感数据；
[0025]其中，敏感数据识别模型基于以上所述的敏感数据识别模型的训练方法得到。
[0026]第三方面，本公开的实施例提供了一种敏感数据识别模型的训练装置，该装置包括：
[0027]获取模块，用于获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；
[0028]过采样模块，用于对样本集进行过采样；
[0029]训练模块，用于根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。
[0030]第四方面，本公开的实施例提供了一种敏感数据识别装置，该装置包括：
[0031]获取模块，用于获取待识别的数据的特征向量；
[0032]确定模块，用于将特征向量输入敏感数据识别模型，确定待识别的数据是否为敏感数据；
[0033]其中，敏感数据识别模型基于以上所述的敏感数据识别模型的训练方法得到。
[0034]第五方面，本公开的实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行以上所述的方法。
[0035]第六方面，本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行以上所述的方法。
[0036]在本公开的实施例中，可以基于过采样解决样本不均衡导致的过拟合问题，并通过对代价敏感模型进行训练得到识别能力较强的敏感数据识别模型，进而基于该模型快速精确地识别待识别的数据是否为敏感数据，有效地提高敏感数据识别效果。
[0037]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0038]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0039]图1示出了本公开的实施例提供的一种敏感数据识别模型的训练方法的流程图；
[0040]图2示出了本公开的实施例提供的一种敏感数据识别方法的流程图；
[0041]图3示出了本公开的实施例提供的一种敏感数据识别模型的训练装置的结构图；
[0042]图4示出了本公开的实施例提供的一种敏感数据识别装置的结构图；
[0043]图5示出了一种能够实施本公开的实施例的示例性电子设备的结构图。
具体实施方式
[0044]为使本公开的实施例的目的、技术方案和优点更加清楚，下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0045]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0046]针对
技术介绍
中出现的问题，本公开的实施例提供了一种敏感数据识别方法、装置、设备以及存储介质。具体地，获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；对样本集进行过采样；根据过采样后的样本集对代价敏感模型进行训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种敏感数据识别模型的训练方法，其特征在于，所述方法包括：获取样本集，其中，所述样本集中的样本包括特征向量及其对应的标签，所述标签用于标识特征向量所属的数据是否为敏感数据；对所述样本集进行过采样；根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。2.根据权利要求1所述的方法，其特征在于，所述获取样本集，包括：获取多条数据及其标签；对各数据进行数据清洗；将清洗后的各数据输入BERT模块中进行编码，得到各数据的特征向量；将各数据的标签确定为各数据的特征向量对应的标签；根据各数据的特征向量及其对应的标签生成样本，并根据各样本生成所述样本集。3.根据权利要求1所述的方法，其特征在于，所述对所述样本集进行过采样，包括：利用Borderline SMOTE算法、Borderline SMOTE SVM算法或者Borderline SMOTE Logistic算法对所述样本集进行过采样。4.根据权利要求3所述的方法，其特征在于，利用Borderline SMOTE Logistic算法对所述样本集进行过采样，包括：利用Logistic分类器对所述样本集进行处理，确定所述样本集对应的决策边界，将所述样本集中处于决策边界预设范围内的少数类样本视为边界样本，并将其复制到边界样本集；将所述样本集中的少数类样本复制到少数类样本集；根据边界样本集与少数类样本集，生成多个新的少数类样本，并将其添加至所述样本集中。5.根据权利要求1所述的方法，其特征在于，所述代价敏感模型为Stacking结构，其中的基学习器包括代价敏感支持向量机CS
‑
SVM、代价敏感朴素贝叶斯模型CSNB、代价敏感...

【专利技术属性】
技术研发人员：孙燕杰，孔维玉，袁开国，付海涛，司大鹏，石明磊，陆毅远，
申请(专利权)人：上海速丰通联科技集团有限公司，
类型：发明
国别省市：