数据处理方法、装置及计算设备、存储介质制造方法及图纸

本申请提供一种数据处理方法、装置及计算设备、存储介质，涉及数据处理技术领域，该方法应用于收集和解析服务器Logstash，包括：针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；将所述脱敏数据分发给所述业务系统。该方式中针对不同操作权限的业务系统设置不完全相同的数据处理规则，使得脱敏数据更加符合业务系统的需求，提升了数据脱敏的效率，且使数据脱敏更加灵活。且使数据脱敏更加灵活。且使数据脱敏更加灵活。

【技术实现步骤摘要】
数据处理方法、装置及计算设备、存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及计算设备、存储介质。

技术介绍

[0002]随着大数据时代的到来，大数据商业价值的挖掘，用户的精准定位，大数据中蕴藏的巨大商业价值被逐步挖掘出来，但是同时也带来了巨大的挑战——个人隐私保护。个人信息与个人行为(比如位置信息、消费信息、网络访问行为)等，这些都是人的隐私，也是敏感信息，在大数据价值挖掘的基础上如何保护人的隐私，是数据处理必须解决的难题。
[0003]相关技术中，通过对数据脱敏使得敏感信息不被泄露，之后将脱敏后的数据发送给查询数据的用户来解决敏感信息容易被泄露的难题。但相关技术中，数据脱敏的形式单一，不能满足用户需求。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置及计算设备、存储介质，用以提高数据处理的灵活性。
[0005]第一方面本申请实施例提供数据处理方法，所述方法应用于收集和解析服务器Logstash，包括：
[0006]针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；
[0007]将所述脱敏数据分发给所述业务系统。
[0008]在一个实施例中，所述数据处理规则包括：数据抽取规则以及数据脱敏规则。
[0009]在一个实施例中，所述数据抽取规则包括：待抽取数据的数量、抽取数据的类型中的至少一种。
[0010]在一个实施例中，所述基于预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据之前，还包括：
[0011]通过日志数据采集器filebeat工具并基于所述数据抽取规则从所述生产数据库的数据中抽取数据，得到抽取数据；
[0012]所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：
[0013]采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏，获取脱敏数据。
[0014]在一个实施例中，所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏之前，还包括：
[0015]对所述filebeat工具进行身份验证；
[0016]所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：
[0017]若确定所述filebeat工具进行身份验证通过，则采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏。
[0018]在一个实施例中，所述将所述脱敏数据分发给对应的业务系统，包括：
[0019]将所述脱敏数据分发至预先绑定的搜索服务器(ElasticSearch，ES)节点存储，以使所述业务系统从所述ES节点中获取所述脱敏数据，其中所述ES节点是基于倒排索引的数据存储方式存储脱敏数据的，且所述ES节点中绑定有所述各业务系统的指定地址，所述指定地址为所述业务系统的网际互联协议(Internet Protocol，IP)地址。
[0020]在一个实施例中，所述方法还包括：
[0021]将所述生产数据库中的数据传输给应用系统；
[0022]若业务系统具有访问非脱敏数据的权限，则通过调用所述应用系统的接口获取非脱敏数据。
[0023]第二方面本申请实施例提供数据处理装置，所述装置设置于收集和解析服务器Logstash，包括：
[0024]获取模块，用于针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；
[0025]分发模块，用于将所述脱敏数据分发给所述业务系统。
[0026]第三方面，本申请实施例还提供一种计算设备，包括：
[0027]存储器以及处理器；
[0028]存储器，用于存储程序指令；
[0029]处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令第一方面任一项所述的数据处理方法。
[0030]第四方面，本申请实施例还提供一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一数据处理方法。
[0031]本申请实施例提供的数据处理方法、装置及计算设备、存储介质，该方法应用于Logstash，先针对任一业务系统，采用业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的预设的数据处理规则不完全相同，之后将脱敏数据分发给业务系统。该方式中，针对不同操作权限的业务系统设置不完全相同的数据处理规则，使得脱敏数据更加符合业务系统的需求，提升了数据脱敏的效率，且使数据脱敏更加灵活。
[0032]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0033]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为相关技术中数据脱敏的示意图；
[0035]图2为本申请实施例提供的一种数据处理方法的流程示意图；
[0036]图3为本申请实施例提供的一种数据脱敏的示意图；
[0037]图4为本申请实施例提供的一种数据处理装置的结构示意图；
[0038]图5为本申请实施例提供一种计算设备的结构示意图。
具体实施方式
[0039]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0040]所属
的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0041]数据脱敏，又称数据漂白、数据去隐私化或数据变形。指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于收集和解析服务器Logstash，包括：针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；将所述脱敏数据分发给所述业务系统。2.根据权利要求1所述的方法，其特征在于，所述数据处理规则包括：数据抽取规则以及数据脱敏规则。3.根据权利要求2所述的方法，其特征在于，所述数据抽取规则包括：待抽取数据的数量、抽取数据的类型中的至少一种。4.根据权利要求2所述的方法，其特征在于，所述基于预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据之前，还包括：通过日志数据采集器filebeat工具并基于所述数据抽取规则从所述生产数据库的数据中抽取数据，得到抽取数据；所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏，获取脱敏数据。5.根据权利要求4所述的方法，其特征在于，所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏之前，还包括：对所述filebeat工具进行身份验证；所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：若确定所述filebeat工具进行身份验证通过，则采用所述业务系统对应的预设的数据处...

【专利技术属性】
技术研发人员：梁宵，耿方，李孝猛，赵菁淳，牟森，董宁博，高洁，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：