数据特征监控方法、装置、电子设备及存储介质制造方法及图纸

技术编号:30164904 阅读:21 留言:0更新日期:2021-09-25 15:20
本发明专利技术涉及安全监控领域,揭露了一种数据特征监控方法,包括:获取原始数据,识别原始数据的数据特征,对数据特征进行特征聚类,生成多个聚类数据特征;对每个聚类数据特征进行结构化转换,得到结构化聚类数据特征;识别结构化聚类数据特征中的敏感数据特征和非敏感数据特征,对敏感数据特征进行特征加密,得到加密聚类数据特征;配置加密聚类数据特征和非敏感数据特征的特征库,根据预构建的数据特征监控规则,监控特征库的运行状态。另外,本发明专利技术还提供一种数据特征监控装置、电子设备及存储介质。此外,本发明专利技术还涉及区块链技术,所述敏感数据特征可存储于区块链中。本发明专利技术可以监控数据特征的运行状态,以保障应用数据特征的业务系统的鲁棒性。统的鲁棒性。统的鲁棒性。

【技术实现步骤摘要】
数据特征监控方法、装置、电子设备及存储介质


[0001]本专利技术涉及安全监控领域,尤其涉及一种数据特征监控方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着信息科技的不断发展,数据成井喷式的增长,数据特征显得尤为重要,所述数据特征可以理解为目标类数据的一般特征或特性的汇总,基于数据特征可以过滤掉部分业务数据,提高业务系统的识别能力。
[0003]目前,数据特征通常是基于实际业务场景中产生的数据生成,在数据特征的应用过程中,数据特征的稳定决定了业务系统是否能够正常运行,但是在实际业务场景中会产生大量的数据特征,而每个数据特征处于错综复杂多变的业务场景中,因此,很难识别每个数据特征的使用状态(如数据特征被使用了多少次,数据特征是否有用等),从而无法很好地监控每个数据特征的运行状态,进而很难保障数据特征对应业务系统的运行稳定性。

技术实现思路

[0004]本专利技术提供一种数据特征监控方法、装置、电子设备及计算机可读存储介质,其主要目的在于监控数据特征的运行状态,以保障应用数据特征的业务系统的鲁棒性。
[0005]为实现上述目的,本专利技术提供的一种数据特征监控方法,包括:
[0006]获取原始数据,识别所述原始数据的数据特征,对所述数据特征进行特征聚类,生成多个聚类数据特征;
[0007]对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征;
[0008]识别所述结构化聚类数据特征中的敏感数据特征和非敏感数据特征,并对所述敏感数据特征进行特征加密,得到加密聚类数据特征;
[0009]配置所述加密聚类数据特征和所述非敏感数据特征的特征库,根据预构建的数据特征监控规则,监控所述特征库的运行状态。
[0010]可选地,所述识别原始数据的数据特征,包括:
[0011]对所述原始数据进行去重操作,识别去重后的所述原始数据的数据字段;
[0012]根据所述数据字段,对去重后的所述原始数据进行特征提取,得到特征数据;
[0013]根据所述特征数据,生成所述原始数据的数据特征。
[0014]可选地,所述对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征,包括:
[0015]识别每个所述聚类数据特征中所有数据特征的特征结构和特征类;
[0016]根据所述特征结构和特征类,识别所述聚类数据特征中的非结构化数据特征;
[0017]将所述聚类数据特征中的非结构化数据特征转换为结构化数据特征,得到结构化聚类数据特征。
[0018]可选地,所述根据所述特征结构和特征类,识别所述聚类数据特征中的非结构化
数据特征,包括:
[0019]识别所述特征结构是否具备表结构,及所述特征类是否具备类定义形式;
[0020]若所述数据结构具备表结构且所述数据类型具备类定义形式,则得到所述数据特征为结构化数据特征;
[0021]若所述数据结构不具备表结构和/或所述数据类型不具备类定义形式,则得到所述数据特征为非结构化数据特征。
[0022]可选地,所述识别所述结构化聚类数据特征中的敏感数据特征和非敏感数据特征,包括:
[0023]计算所述结构化聚类数据特征中的结构化数据特征与预设敏感数据特征库中敏感数据特征的匹配度;
[0024]将所述匹配度大于预设匹配度的结构化数据特征作为敏感数据特征,及将匹配度不大于预设匹配度的结构化数据特征作为非敏感数据特征。
[0025]可选地,所述对所述敏感数据特征进行特征加密,得到加密聚类数据特征,包括:
[0026]识别所述敏感数据特征的特征类型;
[0027]若所述特征类型为类别特征,则采用哈希算法对所述类别特征的敏感数据特征进行特征加密,得到第一加密聚类数据特征;
[0028]若所述特征类型为数值类别,则采用离散化算法对所述数值类别的敏感数据特征进行特征加密,得到第二加密聚类数据特征;
[0029]汇总所述第一加密聚类数据特征和第二加密聚类数据特征,得到加密聚类数据特征。
[0030]可选地,所述配置所述加密聚类数据特征和所述非敏感数据特征的特征库,包括:
[0031]定义所述加密聚类数据特征和所述非敏感数据特征之间的层级关系;
[0032]根据所述层级关系,创建所述加密聚类数据特征和所述非敏感数据特征之间的下拉图表和数据特征表;
[0033]根据所述下拉图表和数据特征表,生成所述加密聚类数据特征和所述非敏感数据特征的特征库。
[0034]为了解决上述问题,本专利技术还提供一种数据特征监控装置,所述装置包括:
[0035]特征聚类模块,用于获取原始数据,识别所述原始数据的数据特征,对所述数据特征进行特征聚类,生成多个聚类数据特征;
[0036]特征转换模块,用于对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征;
[0037]特征加密模块,用于识别所述结构化聚类数据特征中的敏感数据特征和非敏感数据特征,并对所述敏感数据特征进行特征加密,得到加密聚类数据特征;
[0038]特征监控模块,用于配置所述加密聚类数据特征和所述非敏感数据特征的特征库,根据预构建的数据特征监控规则,监控所述特征库的运行状态。
[0039]为了解决上述问题,本专利技术还提供一种电子设备,所述电子设备包括:
[0040]至少一个处理器;以及,
[0041]与所述至少一个处理器通信连接的存储器;其中,
[0042]所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序
被所述至少一个处理器执行,以实现上述所述的数据特征监控方法。
[0043]为了解决上述问题,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据特征监控方法。
[0044]本专利技术实施例首先通过识别原始数据的数据特征,对所述数据特征进行特征聚类,生成多个聚类数据特征,并对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征,以保障后续数据特征可以正常加载;其次,本专利技术实施例通过对所述结构化聚类数据特征中的敏感数据特征进行特征加密,得到加密聚类数据特征,以保障数据特征在运行过程中的隐私性和安全性;进一步地,本专利技术实施例配置所述加密聚类数据特征的特征库,根据预构建的数据监控规则,监控所述特征库的运行状态,可以了解加密聚类数据特征中数据特征之间的逻辑关系,从而监控特征库中每个数据特征在运行过程中的使用状态,进而可以保障应用数据特征对应业务系统的鲁棒性。因此,本专利技术提出的一种数据特征监控方法、装置、电子设备以及计算机可读存储介质可以监控数据特征的运行状态,以保障应用数据特征的业务系统的鲁棒性。
附图说明
[0045]图1为本专利技术一实施例提供的数据特征监控方法的流程示意图;
[0046]图2为本专利技术一实施例中图1提供本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据特征监控方法,其特征在于,所述方法包括:获取原始数据,识别所述原始数据的数据特征,对所述数据特征进行特征聚类,生成多个聚类数据特征;对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征;识别所述结构化聚类数据特征中的敏感数据特征和非敏感数据特征,并对所述敏感数据特征进行特征加密,得到加密聚类数据特征;配置所述加密聚类数据特征和所述非敏感数据特征的特征库,根据预构建的数据特征监控规则,监控所述特征库的运行状态。2.如权利要求1所述的数据特征监控方法,其特征在于,所述识别原始数据的数据特征,包括:对所述原始数据进行去重操作,识别去重后的所述原始数据的数据字段;根据所述数据字段,对去重后的所述原始数据进行特征提取,得到特征数据;根据所述特征数据,生成所述原始数据的数据特征。3.如权利要求1所述的数据特征监控方法,其特征在于,所述对每个所述聚类数据特征进行结构化转换,得到结构化聚类数据特征,包括:识别每个所述聚类数据特征中所有数据特征的特征结构和特征类;根据所述特征结构和特征类,识别所述聚类数据特征中的非结构化数据特征;将所述聚类数据特征中的非结构化数据特征转换为结构化数据特征,得到结构化聚类数据特征。4.如权利要求3所述的数据特征监控方法,其特征在于,所述根据所述特征结构和特征类,识别所述聚类数据特征中的非结构化数据特征,包括:识别所述特征结构是否具备表结构,及所述特征类是否具备类定义形式;若所述数据结构具备表结构且所述数据类型具备类定义形式,则得到所述数据特征为结构化数据特征;若所述数据结构不具备表结构和/或所述数据类型不具备类定义形式,则得到所述数据特征为非结构化数据特征。5.如权利要求1所述的数据特征监控方法,其特征在于,所述识别所述结构化聚类数据特征中的敏感数据特征和非敏感数据特征,包括:计算所述结构化聚类数据特征中的结构化数据特征与预设敏感数据特征库中敏感数据特征的匹配度;将所述匹配度大于预设匹配度的结构化数据特征作为敏感数据特征,及将匹配度不大于预设匹配度的结构化数据特征作为非敏感数据特征。6.如权利...

【专利技术属性】
技术研发人员:李芳
申请(专利权)人:平安银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1