【技术实现步骤摘要】
本文件涉及大数据处理，尤其涉及一种政务离线数据批量归集方法及系统。
技术介绍
1、政务数仓建设期间涉及众多对政务部门的离线数据进行归集的工作，这些离线数据多为excel文件，数仓管理人员需手工逐个的对每个文件建立对应规范的数仓表并做数据导入。但数据仓库建表、数据入仓过程中涉及的人工输入操作较多，操作繁琐且数据质量难以保障。同时，政务数据归集是一项持续性的工作，需要周期性的获取政务部门的离线数据整合至数仓，数仓管理人员需要周期性的对离线数据文件进行整理，重复性的做数据入仓操作，工作量较大。
技术实现思路
1、本说明书一个或多个实施例提供了一种政务离线数据批量归集方法，包括：
2、获取部门名称目录列表，基于所述部门名称目录列表获取每个所述部门名称目录下的excel数据文件名称，并读取每个所述excel数据文件中的表头和数据；
3、将所述部门名称、excel数据文件名称和表头转换为拼音名称，基于所述部门名称、excel数据文件名称和表头及其对应的拼音名称生成数仓表，并进行数据初始化入库及校验；
4、基于所述部门名称、excel数据文件名称和表头及其对应的拼音名称，根据数据上报表单生成标准，将每个excel数据文件转换成数据上报表单；
5、建立所述数据上报表单与数仓表的映射关系，配置数据同步任务，将所述数据上报表单数据自动同步至其对应的数仓表中。
6、本说明书一个或多个实施例提供了一种政务离线数据批量归集系统，包括：
8、数仓表生成模块：用于将所述部门名称、excel数据文件名称和表头转换为拼音名称，基于所述部门名称、excel数据文件名称和表头及其对应的拼音名称生成数仓表，并进行数据初始化入库及校验；
9、表单生成模块：用于基于所述部门名称、excel数据文件名称和表头及其对应的拼音名称，根据数据上报表单生成标准，将每个excel数据文件转换成数据上报表单；
10、数据同步模块：用于建立所述数据上报表单与数仓表的映射关系，配置数据同步任务，将所述数据上报表单数据自动同步至其对应的数仓表中。
11、本说明书一个或多个实施例提供了一种电子设备，包括：
12、处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述政务离线数据批量归集方法的步骤。
13、本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述政务离线数据批量归集方法的步骤。
14、采用本专利技术实施例，基于python数据处理程序、数据上报工具、数仓工具等，建立一套完整的政务离线数据标准化处理、数据初始化入仓、数据在线上报标准流程，以供政务部门后续进行自助式的数据上报入仓。离线数据归集入仓方案更完整、可用性更强，解决了已有方案未解决的数据周期性更新维护自动入仓的问题和离线文件数据传输风险问题等。
15、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种政务离线数据批量归集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取部门名称目录列表，基于所述部门名称目录列表获取每个所述部门名称目录下的Excel数据文件名称，并读取每个所述Excel数据文件中的表头和数据具体方法为：
3.根据权利要求1所述的方法，其特征在于，所述将所述部门名称、Excel数据文件名称和表头转换为拼音名称具体方法为：
4.根据权利要求1所述的方法，其特征在于，对所述数仓表进行初始化具体方法为：
5.根据权利要求1所述的方法，其特征在于，所述根据数据上报表单生成标准，将每个Excel数据文件转换成数据上报表单具体方法为：
6.根据权利要求5所述的方法，其特征在于，所述建立所述数据上报表单与数仓表的映射关系，配置数据同步任务，将所述数据上报表单数据自动同步至其对应的数仓表中具体方法为：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.一种政务离线数据批量归集系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现如权利要求1至7任一所述的政务离线数据批量归集方法的步骤。
...【技术特征摘要】
1.一种政务离线数据批量归集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取部门名称目录列表，基于所述部门名称目录列表获取每个所述部门名称目录下的excel数据文件名称，并读取每个所述excel数据文件中的表头和数据具体方法为：
3.根据权利要求1所述的方法，其特征在于，所述将所述部门名称、excel数据文件名称和表头转换为拼音名称具体方法为：
4.根据权利要求1所述的方法，其特征在于，对所述数仓表进行初始化具体方法为：
5.根据权利要求1所述的方法，其特征在于，所述根据数据上报表单生成标准，将每个...
【专利技术属性】
技术研发人员：李永帅，唐珂欣，牛智鹏，郑丹辉，叶艳，
申请(专利权)人：数字郑州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。