【技术实现步骤摘要】
可实现不同治理程度的数据治理方法及系统
[0001]本专利技术涉及大数据处理
，尤其涉及一种可实现不同治理程度的数据治理方法及系统。
技术介绍
[0002]数据是大数据工程的基础和核心，其完整性、及时性以及质量是一切目标的保障条件。在大数据的支撑下经济和技术的发展走向“智慧化”，通过整合各类数据信息对社会各个生产领域的运行状况进行监测，实现安全生产管理工作的改进和优化。
[0003]通过对大数据的数据信息的实时采集、数据存储、数据分析和综合查询，使得各行各业能够高效率的捕捉、发现和分析，能够经济地从类型繁杂、数量庞大的数据中挖掘出有价值的信息，从而为各行各业生产运行综合管理、综合调度、综合协调、综合指挥提供数据支撑。但是因为机构组织、业务系统、数据平台的不同，很多数据组织呈现各自为阵、数据不共用、重复数据，信息互不相连、数据分布不均，数据平台的利用情况不平衡；从数据平台硬件角度看，也就是从数据内容透明的角度看，部分数据因为设备容量问题而更新速度过快，造成关键数据提前主动丢失，而有些数据则无条件保留。
[...
【技术保护点】
【技术特征摘要】
1.一种可实现不同治理程度的数据治理方法，其特征在于，包括步骤：S1、接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；其中，所述数据治理请求包括用户标识和待治理数据；其中，所述数据治理流程包括数据读取和数据处理；S2、为所述待治理数据创建数据索引，查询所述数据索引中与预设的敏感识别规则匹配的数据索引，然后基于匹配成功的数据索引，生成多个敏感数据并获取每一所述敏感数据的标签属性；其中，所述标签属性包括标签类别属性和标签级别属性，所述标签类别属性用于表示所述敏感数据的数据类型，所述标签级别属性用于表示所述敏感数据的数据级别；所述数据级别包括敏感程度和重要程度；S3、根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面，并从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高数据级别相匹配的数据治理策略；其中，所述数据治理策略包括脱敏策略，与所述数据治理策略对应的标签属性为最优治理标签属性；根据所述最优治理标签属性并通过以下公式得到所述待治理数据的治理程度系数：μ＝ω
j
ρ
j
+ω
k
σ
k
，其中ω
j
+ω
k
＝1其中，ρ
j
为所述最优治理标签属性的敏感程度对应的分值，σ
k
为所述最优治理标签属性的重要程度对应的分值，ω
j
为所述敏感程度的权重，ω
k
为所述重要程度的权重，ω
j
和ω
k
预设取值为0.5；S4、通过所述客户端显示所述数据治理配置界面，并根据所述数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并配置不同的参数后进行连线处理以完成数据治理流程配置；其中，所述配置界面上显示所述数据读取组件和数据处理组件；所述数据处理组件包括多个，当所述数据处理组件的前面连线数据读取组件或数据处理组件时所述数据处理组件作为目标节点，当所述数据处理组件的后面连线数据处理组件时所述数据处理组件作为源节点，不同的数据处理组件所需配置的参数不同，且配置的参数均与所述治理程度系数成正比，源节点的输出结果可作为目标节点的输入参数；S5、通过所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；S6、当接收到所述客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理；S7、当接收到所述客户端发送的用户请求更新当前数据治理流程配置时，通过所述客户端显示更新界面以允许用户对所述待治理数据的治理程度系数中的敏感程度的权重ω
j
和重要程度的权重ω
k
进行更改以更新所述治理程度系数，并在接收到所述客户端发送的治理程度系数更新操作完成时，根据更新后的治理程度系数对应更改所述数据处理组件的参数以更新当前数据治理流程配置，并按照更新后的数据治理流程配置对待治理的数据进行治理以完成数据治理；S8、通过所述客户端显示数据治理完成后的结果。2.根据权利要求1所述的可实现不同治理程度的数据治理方法，其特征在于，所述数据治理流程还包括数据发布，所述配置界面上还显示与所述数据发布对应的数据发布组件；所述可实现不同治理程度的数据治理方法还包括步骤：
S9、接收客户端发送的响应用户触发的数据治理结果发布请求，根据所述数据治理结果发布请求中用户所选择的数据发布组件将所述数据治理结果对应发布。3.根据权利要求2所述的可实现不同治理程度的数据治...
【专利技术属性】
技术研发人员：刘葵，刘汉胤，
申请(专利权)人：广东东联信创信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。