数据管控方法、装置、设备、计算机存储介质及系统制造方法及图纸

本发明专利技术公开了一种数据管控方法、装置、设备、计算机存储介质及系统。其中，数据管控方法包括：在存储数据时，确定待存储的数据对应的敏感数据信息，并存储待存储的数据及其对应的敏感数据信息；在读取数据时，获取敏感数据读取规则、待读取的数据和待读取的数据对应的敏感数据信息，并根据敏感数据读取规则、待读取的数据及其对应的敏感数据信息，生成输出数据。根据本发明专利技术实施例，能够对大数据平台的数据进行管控，提高数据的安全性。

Data Management and Control Method, Device, Equipment, Computer Storage Media and System

【技术实现步骤摘要】
数据管控方法、装置、设备、计算机存储介质及系统
本专利技术属于数据安全
，尤其涉及一种数据管控方法、装置、设备、计算机存储介质及系统。
技术介绍
目前，大数据平台主要通过“接口机-代理服务-大数据平台组件”方式对数据进行管控。接口机是公用平台，运维人员仅需登录接口机的授权账号即可以对大数据平台进行运维管理，并且各个授权账号的权限一般相同。但是，可能存在多人共享同一授权账号的情况，导致难以确认实施运维管理操作的运维人员的具体身份，使得无法对运维人员进行追责。另外，当从大数据平台下载/导出数据时，无法知晓在数据落到接口机之后的流转情况，如果数据被直接下载到用户终端上，极有可能造成数据泄漏的风险。并且，由于接口机通过代理服务的方式连接大数据平台组件，也无法在代理服务调用操作命令之前对运维管理操作进行实时管控，同样会带来安全风险。
技术实现思路
本专利技术实施例提供一种数据管控方法、装置、设备、计算机存储介质及系统，能够对大数据平台的数据进行管控，提高数据的安全性。一方面，本专利技术实施例提供一种数据管控方法，包括：在存储数据时，确定待存储的数据对应的敏感数据信息，并存储所述待存储的数据及其对应的敏感数据信息；在读取数据时，获取敏感数据读取规则、待读取的数据和所述待读取的数据对应的敏感数据信息，并根据所述敏感数据读取规则、所述待读取的数据及其对应的敏感数据信息，生成输出数据。进一步地，确定待存储的数据对应的敏感数据信息前，还包括：若所述待存储的数据大于预设数据量，对所述待存储的数据进行分布式计算处理。进一步地，确定待存储的数据对应的敏感数据信息包括：若所述待存储的数据为结构化数据，利用结构化数据分析组件确定所述待存储的数据对应的敏感数据信息；若所述待存储的数据为非结构化数据，利用非结构化数据分析组件确定所述待存储的数据对应的敏感数据信息。进一步地，所述待存储的数据对应的敏感数据信息包括所述待存储的数据中包含的敏感数据、所述敏感数据在所述待存储的数据中的数据位置以及所述敏感数据的等级。进一步地，存储所述待存储的数据及其对应的敏感数据信息包括：将所述待存储的数据存储至数据库；将所述待存储的数据对应的敏感数据信息存储至标记库。进一步地，获取敏感数据读取规则的方法包括：获取读取数据的用户标识；根据所述用户标识，查询与所述用户标识对应的所述敏感数据读取规则。进一步地，所述敏感数据读取规则包括对敏感数据进行模糊处理和对敏感数据进行加密处理。进一步地，若所述敏感数据读取规则为对敏感数据进行加密处理，在读取数据时，还包括：获取权限修改指令；根据所述权限修改指令，解密所述输出数据中被加密的敏感数据，并重新生成输出数据。另一方面，本专利技术实施例提供了一种数据管控装置，所述装置包括：数据存储单元，其配置为在存储数据时，确定待存储的数据对应的敏感数据信息，并存储所述待存储的数据及其对应的敏感数据信息；数据输出单元，其配置为在读取数据时，获取敏感数据读取规则、待读取的数据和所述待读取的数据对应的敏感数据信息，并根据所述敏感数据读取规则、待读取的数据及其对应的敏感数据信息，生成输出数据。又一方面，本专利技术实施例提供了一种数据管控设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现上述的数据管控方法。再一方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的数据管控方法。再一方面，本专利技术实施例提供了一种数据管控系统，包括：数据库，用于存储数据；用户终端，用于发出向所述数据库存储数据或从所述数据库读取数据的指令信息；数据管控模块，分别与所述用户终端和所述数据库通信连接，用于根据所述用户终端发出的所述指令信息执行如权利要求1-8任意一项所述的数据管控方法。进一步地，所述数据库至少包括HDFS数据库、Hive数据库和HBase数据库。本专利技术实施例的数据管控方法、装置、设备、计算机存储介质及系统，用于对大数据平台的数据进行管控，能够在存储数据时先识别待存储的数据的敏感数据信息，然后同时存储待存储的数据及其对应的敏感数据信息，在读取数据时根据敏感数据读取规则、待读取的数据及其对应的敏感数据信息生成输出数据，使得运维人员在读取数据时，仅输出经过对敏感数据进行处理后的输出数据，提高大数据平台的数据安全性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的数据管控方法的流程示意图；图2是本专利技术一个实施例提供的确定敏感数据信息的具体方法的流程示意图；图3是本专利技术一个实施例提供的读取数据的具体方法的流程示意图；图4是本专利技术一个实施例提供的数据管控装置的结构示意图；图5是本专利技术实施例提供的数据管控设备的硬件结构示意图；图6是本专利技术一个实施例提供的数据管控系统的结构示意图；图7是采用本专利技术实施例的数据管控系统读取HDFS数据库中的数据的流程示意图；图8是采用本专利技术实施例的数据管控系统读取Hive数据库中的数据的流程示意图；图9是采用本专利技术实施例的数据管控系统读取HBase数据库中的数据的流程示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。为了解决现有技术问题，本专利技术实施例提供了一种数据管控方法、装置、设备、计算机存储介质及系统。下面首先对本专利技术实施例所提供的数据管控方法进行介绍。图1示出了本专利技术一个实施例提供的数据管控方法的流程示意图。如图1所示，该数据管控方法包括：S110、在存储数据时，确定待存储的数据对应的敏感数据信息，并存储所述待存储的数据及其对应的敏感数据信息；S120、在读取数据时，获取敏感数据读取规则、待读取的数据和所述待读取的数据对应的敏感数据信息，并根据所述敏感数据读取规则、所述待读取的数据及其对应的敏感数据信息，生成输出数据。本专利技术实施例用于对大数据平台的数据进行管控，能够在存储数据时先识别待存储的数据的敏感数据信息，然后同时存储待存储的数据及其对应的敏感数据信息，在读取数据时根据敏感数据读本文档来自技高网...

【技术保护点】
1.一种数据管控方法，其特征在于，包括：在存储数据时，确定待存储的数据对应的敏感数据信息，并存储所述待存储的数据及其对应的敏感数据信息；在读取数据时，获取敏感数据读取规则、待读取的数据和所述待读取的数据对应的敏感数据信息，并根据所述敏感数据读取规则、所述待读取的数据及其对应的敏感数据信息，生成输出数据。

【技术特征摘要】
1.一种数据管控方法，其特征在于，包括：在存储数据时，确定待存储的数据对应的敏感数据信息，并存储所述待存储的数据及其对应的敏感数据信息；在读取数据时，获取敏感数据读取规则、待读取的数据和所述待读取的数据对应的敏感数据信息，并根据所述敏感数据读取规则、所述待读取的数据及其对应的敏感数据信息，生成输出数据。2.根据权利要求1所述的数据管控方法，其特征在于，确定待存储的数据对应的敏感数据信息前，还包括：若所述待存储的数据大于预设数据量，对所述待存储的数据进行分布式计算处理。3.根据权利要求1所述的数据管控方法，其特征在于，确定待存储的数据对应的敏感数据信息包括：若所述待存储的数据为结构化数据，利用结构化数据分析组件确定所述待存储的数据对应的敏感数据信息；若所述待存储的数据为非结构化数据，利用非结构化数据分析组件确定所述待存储的数据对应的敏感数据信息。4.根据权利要求1所述的数据管控方法，其特征在于，所述待存储的数据对应的敏感数据信息包括所述待存储的数据中包含的敏感数据、所述敏感数据在所述待存储的数据中的数据位置以及所述敏感数据的等级。5.根据权利要求1所述的数据管控方法，其特征在于，存储所述待存储的数据及其对应的敏感数据信息包括：将所述待存储的数据存储至数据库；将所述待存储的数据对应的敏感数据信息存储至标记库。6.根据权利要求1所述的数据管控方法，其特征在于，获取敏感数据读取规则的方法包括：获取读取数据的用户标识；根据所述用户标识，查询与所述用户标识对应的所述敏感数据读取规则。7.根据权利要求1所述的数据管控方法，其特征在于，所述敏感数据读...

【专利技术属性】
技术研发人员：蒋小雨，徐志成，陈若鹏，陆浩，
申请(专利权)人：中国移动通信集团江苏有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏,32