一种数据传输方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据传输方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域。数据传输方法包括：从数据源获取待传输数据，采用预设语义识别算法对待传输数据进行敏感字段识别得到识别结果，当识别结果通过有效性验证时，基于识别结果对待传输数据进行脱敏处理得到目标传输数据，并输出目标传输数据。本发明专利技术采用预设语义识别算法实现了对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少了待传输数据中重要字段识别遗漏的情况，从而提高了数据传输的安全性。据传输的安全性。据传输的安全性。

【技术实现步骤摘要】
一种数据传输方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据传输
，更具体的说，涉及一种数据传输方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，企业内部的大数据平台、安全审计平台等对接了多个系统，各系统之间数据传输频繁、数据传输量大。为提高数据传输的安全性，现有方案在进行数据传输之前，通常由开发者或业务人员根据一张敏感词列表对传输数据进行敏感字段识别，通过将识别出的敏感字段匿名化来提高数据传输的安全性。
[0003]但是，人为识别敏感字段不仅工作量大，而且容易遗漏传输数据中的重要字段，导致数据传输的安全性降低。

技术实现思路

[0004]有鉴于此，本专利技术公开一种数据传输方法、装置、电子设备及存储介质，以实现对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少待传输数据中重要字段识别遗漏的情况，从而提高数据传输的安全性。
[0005]一种数据传输方法，包括：
[0006]从数据源获取待传输数据；
[0007]采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果；
[0008]对所述识别结果进行有效性验证；
[0009]当所述识别结果验证通过时，基于所述识别结果对所述待传输数据进行脱敏处理得到目标传输数据；
[0010]输出所述目标传输数据。
[0011]可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：
[0012]确定所述待传输数据的表结构，其中，所述表结构包括：表字段英文名和/或表字段中文名；
[0013]基于所述表结构，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。
[0014]可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：
[0015]从所述待传输数据中读取指定行数的目标数据；
[0016]确定所述目标数据的数据格式和数据内容；
[0017]基于所述数据格式和所述数据内容，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。
[0018]可选的，所述预设匹配算法为：正则匹配算法或模糊匹配算法。
[0019]可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：
[0020]确定预设知识库中的枚举值，其中，所述枚举值基于敏感字段确定；
[0021]利用所述预设知识库中的所述枚举值对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。
[0022]可选的，所述对所述识别结果进行有效性验证，包括：
[0023]按照预设抽样比例从所述待传输数据中随机抽取数据作为待验证数据；
[0024]基于所述识别结果确定所述待校验数据中包含敏感字段的行数为命中行数；
[0025]将所述待校验数据的总行数作为抽样总行数，基于所述命中行数与所述抽样总行数得到敏感字段命中率；
[0026]基于所述敏感字段命中率与命中率阈值的大小关系对所述识别结果进行有效性验证；
[0027]其中，当所述敏感字段命中率不低于所述命中率阈值时，确定所述识别结果校验通过。
[0028]一种数据传输装置，包括：
[0029]获取单元，用于从数据源获取待传输数据；
[0030]识别单元，用于采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果；
[0031]验证单元，用于对所述识别结果进行有效性验证；
[0032]脱敏单元，用于当所述识别结果验证通过时，基于所述识别结果对所述待传输数据进行脱敏处理得到目标传输数据；
[0033]输出单元，拥有输出所述目标传输数据。
[0034]可选的，所述验证单元包括：
[0035]抽样子单元，用于按照预设抽样比例从所述待传输数据中随机抽取数据作为待验证数据；
[0036]确定子单元，用于基于所述识别结果确定所述待校验数据中包含敏感字段的行数为命中行数；
[0037]计算子单元，用于将所述待校验数据的总行数作为抽样总行数，基于所述命中行数与所述抽样总行数得到敏感字段命中率；
[0038]验证子单元，用于基于所述敏感字段命中率与命中率阈值的大小关系对所述识别结果进行有效性验证；其中，当所述敏感字段命中率不低于所述命中率阈值时，确定所述识别结果校验通过。
[0039]一种电子设备，所述电子设备包括：存储器和处理器；
[0040]所述存储器用于存储至少一个指令；
[0041]所述处理器用于执行所述至少一个指令以实现上述所述的数据传输方法。
[0042]一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述所述的数据传输方法。
[0043]从上述的技术方案可知，本专利技术公开了一种数据传输方法、装置、电子设备及存储介质，从数据源获取待传输数据，采用预设语义识别算法对待传输数据进行敏感字段识别
得到识别结果，当识别结果通过有效性验证时，基于识别结果对待传输数据进行脱敏处理得到目标传输数据，并输出目标传输数据。本专利技术采用预设语义识别算法实现了对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少了待传输数据中重要字段识别遗漏的情况，从而提高了数据传输的安全性。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
[0045]图1为本专利技术实施例公开的一种数据传输方法流程图；
[0046]图2为本专利技术实施例公开的一种对识别结果进行有效性验证的方法流程图；
[0047]图3为本专利技术实施例公开的一种数据传输装置的结构示意图；
[0048]图4为本专利技术实施例公开的一种验证单元的结构示意图；
[0049]图5为本专利技术实施例公开的一种电子设备的结构示意图。
具体实施方式
[0050]需要说明的是，本专利技术提供的一种数据传输方法、装置、电子设备及存储介质，可用于大数据领域或金融领域。上述仅为示例，并不对本专利技术提供的一种数据传输方法、装置、电子设备及存储介质的应用领域进行限定。
[0051]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0052]本专利技术实施例公开了一种数据传输方法、装置、电子设备及存储介质，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：从数据源获取待传输数据；采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果；对所述识别结果进行有效性验证；当所述识别结果验证通过时，基于所述识别结果对所述待传输数据进行脱敏处理得到目标传输数据；输出所述目标传输数据。2.根据权利要求1所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：确定所述待传输数据的表结构，其中，所述表结构包括：表字段英文名和/或表字段中文名；基于所述表结构，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。3.根据权利要求1所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：从所述待传输数据中读取指定行数的目标数据；确定所述目标数据的数据格式和数据内容；基于所述数据格式和所述数据内容，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。4.根据权利要求2或3所述的数据传输方法，其特征在于，所述预设匹配算法为：正则匹配算法或模糊匹配算法。5.根据权利要求1～3任意一项所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：确定预设知识库中的枚举值，其中，所述枚举值基于敏感字段确定；利用所述预设知识库中的所述枚举值对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。6.根据权利要求1～3任意一项所述的数据传输方法，其特征在于，所述对所述识别结果进行有效性验证，包括：按照预设抽样比例从所述待传输数据中随机抽取数据作为待验证数据；基于所述识别结果确定所述待校验数...

【专利技术属性】
技术研发人员：徐雪莲，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：