【技术实现步骤摘要】
一种大数据治理系统
[0001]本专利技术涉及数据处理
，尤其涉及一种大数据治理系统。
技术介绍
[0002]大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
[0003]中国专利公开号：CN109241107A。公开了一种基于Hadoop的大数据治理装置，包括：数据治理信息管理模块，用于维护各数据源的数据治理操作信息；数据源选择模块，用于对导入大数据平台的数据进行治理操作；数据预览模块，用于从结构化数据库的角度展示各数据表的基本信息；元数据管理模块，用于向用户多维度呈现数据表中的元数据信息；数据质量管理模块，用于查看数据表中各字段的具体缺失信息，并设置相应的填充规则以完成缺失信息的填充；多源数据融合模块，用于将多个数据源的多张数据表进行再次融合汇总，以得到新的数据表后，对新的数据表进行进一步分析。由此可见，现有技术在对大数据进行治理时，无法根据数据的复杂程度对数据情况进行掌握，以对数据缺...
【技术保护点】
【技术特征摘要】
1.一种大数据治理系统，其特征在于，包括：数据获取模块，用于获取数据信息；数据分析模块，其与所述数据获取模块相连，用于分析所述数据信息的数据特征，以对出现字符缺失的数据信息进行标记；其中，数据特征包括数据信息的字符长度和数据类型；所述数据类型为组成数据信息的字符种类，所述字符长度包括数据信息的字符总长度和单一数据类型的字符总长度；数据修复模块，其与所述数据分析模块相连，用于根据所述出现字符缺失的数据信息数据特征，计算数据信息的实际复杂度，以判定是否对该数据信息进行修复，并在计算所述实际复杂度时，所述数据修复模块根据该数据信息的实际字符总长度，以判定是否对所述实际复杂度进行修正。2.根据权利要求1所述的大数据治理系统，其特征在于，当所述数据修复模块根据所述出现字符缺失的数据信息数据特征，计算数据信息的实际复杂度A时，所述数据修复模块将实际复杂度A与预设负责度A0进行比对，并根据比对结果判定是否修复对应的数据信息；所述预设复杂度A0包括第一预设复杂度A1和第二预设复杂度A2，其中，A1＜A2；当A＜A1时，所述数据修复模块判定对应数据信息的复杂度符合标准，并根据预设算法对所述数据信息进行修复；当A1≤A≤A2时，所述数据修复模块判定需结合对应数据信息的数据类型数量，二次判定是否对所述数据信息进行修复；当A＞A2时，所述数据修复模块判定对应数据信息的复杂度不符合标准，并不对所述数据信息进行修复。3.根据权利要求2所述的大数据治理系统，其特征在于，当所述数据修复模块计算各数据信息的实际复杂度A时，所述数据修复模块获取对应数据信息的实际字符总长度B，并将实际字符总长度B与预设字符总长度B0进行比对，并根据比对结果判定是否修正所述实际复杂度；当B＜B0时，所述数据修复模块则判定对应数据信息的字符长度不符合标准，并需修正对应数据信息的实际复杂度；当B≥B0时，所述数据修复模块则判定对应数据信息的字符长度符合标准，并无需修正对应数据信息的实际复杂度。4.根据权利要求3所述的大数据治理系统，其特征在于，当所述数据修复模块对所述实际复杂度A进行修正时，所述数据修复模块将修正后的实际复杂度记为Aa，设定Aa＝A
ⅹ
(1
‑
(B0
‑
B)/B0)。5.根据权利要求4所述的大数据治理系统，其特征在于，当所述数据修复模块中还设置有复杂度最小值Amin，当所述数据修复模块判定需将实际复杂度修正至Aa时，所述数据修复模块将Aa与复杂度最小值进行比对，当Aa≥Amin时，所述数据修复模块判定修正后的实际复杂度符合标准，并使用修正后的实际复杂度Aa，以判定是否对数据信息进行修复，当Aa＜Amin时，所述数据修复模块判定修正后的实际复杂度不符合...
【专利技术属性】
技术研发人员：贾志伟，孙颖，
申请(专利权)人：江苏鼎驰电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。