【技术实现步骤摘要】
本申请涉及大数据处理领域，尤其涉及一种智慧城市的数据治理方法、装置及设备。
技术介绍
1、随着互联网、人工智能、物联网、大数据、云计算、机器人等科学技术的蓬勃发展，结合新技术以智慧化的方式解决城市管理问题的需求越来越旺盛。智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，通过各种智能化的应用，提升城市基础设施的运作效率，提升城市运行管理和公共服务水平，有助于缓解“大城市病”，提高城镇化质量，并提升城市管理成效和改善市民生活质量。在智慧城市中，由于物联网技术的采用很多的基础设施与设备都具备了被感知、被监控的功能，同时这也导致了这些基础设施和设备产生了大量的数据，这些数据构成了智慧城市中的大数据，由于这些数据量极其庞大而且种类繁多，为了将杂乱的城市数据梳理成可流通的“资产”，以及方便针对某一场景进行数据分析，如何对城市数据进行治理成为亟待解决的问题。
2、目前，国内在城市数据治理方面已经有一定的研究，但是由于数据格式多样、数据源负责部门多样、数据量大等原因，现有的数据治理方法在进行数据治理的过程中，若某一环节出现问题，无法准确的对问题数据以及问题流程进行溯源。
技术实现思路
1、本申请实施例提供了一种智慧城市的数据治理方法、装置及设备，解决现有的数据治理方法在进行数据治理的过程中，若某一环节出现问题，无法准确的对问题数据以及问题流程进行溯源的问题。
2、第一方面，本申请实施例提供了一
3、将调研记录对应的业务系统中的城市数据抽取到的贴源层，根据预设的贴源层数据命名规则为城市数据进行命名，其中，所述城市数据包括至少一个表数据，每个表数据包括至少一条数据，每条数据对应多个字段；
4、按照预设的校验规则对各命名后的表数据进行逐条校验，对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改，得到干净的表数据；
5、将干净的表数据发送至标准层，根据预设的标准层数据命名规则对各表数据进行重命名；
6、确定重命名后的各表数据对应的至少一个字段，若任一字段符合任一预设主题类别，则将所述任一字段对应的数据归类到任意一个主题类别下；
7、将归类后的数据发送至数据仓库明细层，对所述任一主题类别下的数据按照预设的数据仓库明细层数据命名规则进行命名。
8、在一种可能的实施方式中，所述方法还包括：
9、根据应用需求从所述数据仓库明细层中选取相匹配的数据进行与所述应用需求对应的处理，将处理后的数据发送至数据超市层，并按照预设的数据超市层数据命名规则对所述处理后的数据进行命名。
10、在一种可能的实施方式中，所述根据预设的标准层数据命名规则对校验后的城市数据进行命名后，还包括：
11、将标准层干净的表数据发送至历史层，根据预设的历史层数据命名规则修改所述表数据的名称，所述历史层表数据的存储周期大于所述标准层表数据的存储周期。
12、在一种可能的实施方式中，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之前，还包括：
13、在不满足所述预设的校验规则的任意一条数据对应的原字段的基础上，增加如下至少一个字段：
14、检查结果字段，用于记录所述任意一条数据的错误内容；
15、结果标识字段，用于标识所述任意一条数据是否满足校验规则。
16、在一种可能的实施方式中，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之后，还包括：
17、在不满足所述预设的校验规则的所述任意一条数据对应的原字段的基础上，增加转换标识字段，所述转换标识字段用于标识所述任意一条数据是否进行过清洗或核实修改。
18、在一种可能的实施方式中，所述将调研记录对应的业务系统中的城市数据抽取到的贴源层，包括：
19、为所述调研记录预先配置对应的抽取任务，调用所述抽取任务将调研记录对应的业务系统中的城市数据抽取到的贴源层；
20、所述按照预设的校验规则对各命名后的表数据进行逐条校验，包括：
21、为任意一个命名后的表数据预先配置对应的校验任务，调用所述校验任务对所述任意一个命名后的表数据进行逐条校验；
22、所述确定重命名后的各表数据对应的至少一个字段，若任一字段符合任一预设主题类别，则将所述任一字段对应的数据归类到任意一个主题类别下，包括：
23、为任意一个重命名后的表数据预先配置对应的归类任务，调用所述归类任务确定任意一个重命名后的表数据中的任一字段符合任一预设主题类别，并将所述任一字段对应的数据归类到任意一个主题类别下；
24、其中，对所述抽取任务根据数据来源进行命名，所述抽取任务包括与业务系统连接的数据接口；对所述校验任务根据数据来源进行命名，所述校验任务中包括与所述命名后的表数据相匹配的预设校验规则；对所述归类任务根据数据来源进行命名，所述归类任务包括至少一个主题类别。
25、在一种可能的实施方式中，所述根据预设的历史层数据命名规则修改所述表数据的名称，包括：
26、为所述干净的表数据预先配置对应的镜像任务，调用所述镜像任务修改所述干净的表数据名称。
27、其中，对所述镜像任务根据数据来源进行命名。
28、第二方面，本申请实施例提供了一种智慧城市的数据治理装置，所述装置包括：
29、抽取模块，用于将调研记录对应的业务系统中的城市数据抽取到的贴源层，根据预设的贴源层数据命名规则为城市数据进行命名，其中，所述城市数据包括至少一个表数据，每个表数据包括至少一条数据，每条数据对应多个字段；
30、校验模块，用于按照预设的校验规则对各命名后的表数据进行逐条校验，对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改，得到干净的表数据；
31、重命名模块，用于将干净的表数据发送至标准层，根据预设的标准层数据命名规则对各表数据进行重命名；
32、归类模块，用于确定重命名后的各表数据对应的至少一个字段，若任一字段符合任一预设主题类别，则将所述任一字段对应的数据归类到任意一个主题类别下；
33、命名模块，用于将归类后的数据发送至数据仓库明细层，对所述任一主题类别下的数据按照预设的数据仓库明细层数据命名规则进行命名。
34、第三方面，本申请实施例提供了一种智慧城市的数据治理设备，所述设备包括：
35、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面的方法。
36、第四方面，本申请提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述第一方面的本文档来自技高网...
【技术保护点】
1.一种智慧城市的数据治理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据预设的标准层数据命名规则对校验后的城市数据进行命名后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之前，还包括：
5.根据权利要求1所述的方法，其特征在于，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之后，还包括：
6.根据权利要求1所述的方法，其特征在于，所述将调研记录对应的业务系统中的城市数据抽取到的贴源层，包括：
7.根据权利要求3所述的方法，其特征在于，所述根据预设的历史层数据命名规则修改所述表数据的名称，包括：
8.一种智慧城市的数据治理装置，其特征在于，所述装置包括：
9.一种智慧城市的数据治理设备，其特征在于，所述设备包括：
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算
...【技术特征摘要】
1.一种智慧城市的数据治理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据预设的标准层数据命名规则对校验后的城市数据进行命名后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之前，还包括：
5.根据权利要求1所述的方法，其特征在于，所述对不满足所述预设的校验规则的任意一条数据进行清洗或核实修改之后，还包括：
【专利技术属性】
技术研发人员：李建伟，孙永良，张旭陆，徐贤，高瑞丽，
申请(专利权)人：青岛海信网络科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。