一种基于模板配置的制造技术

本发明专利技术公开了一种基于模板配置的

【技术实现步骤摘要】
一种基于模板配置的Excel通用导入的实现方法


[0001]本专利技术涉及数据处理领域，具体涉及一种基于模板配置的
Excel
通用导入的实现方法
。

技术介绍

[0002]随着国家对个体工商户信用评价信息化的重视，各政府纷纷上线信息化系统，主动对接国家
、
省
、
市的社会信用体系建设的新战略，着力提升信息化的业务能力，通过对个体工商户信用评价公示系统建设，实现个体工商户信用信息的归集共享，形成个体工商户信用信息资源库，实现个体信用信息资源的统一管理，并实现各协同监管部门之间的有效联动和广泛的社会服务，进一步规范市场秩序，增强经济活动的可预期性和效率，营造和谐融洽的市场商贸环境
。
[0003]其中，个体工商户信用信息数据包括经营者信息
、
行政许可
、
行政处罚
、
水电气费欠缴费黑名单
、
个人金融贷款担保违约信息
、
个人诉讼审判信息
、
社保医保参保信息
、
纳税
A
级等
30
多种数据，需要定期从不同部门
、
公司
、
银行获取，网络通畅的情况下可以定期从不同平台同步数据过来，但对于一些不对外的平台，则只能定期把数据导出并录入个体工商信用系统中，不仅增加了系统维护人员的负担，同时数据手工录入容易导致数据不匹配问题
。

技术实现思路

[0004]针对个体工商户信用评价信息化系统数据录入的现状，本专利技术的目的在于提供一种基于模板配置的
Excel
通用导入方法，其可快速导入线下数据，既减轻了运维人员的工作量，又避免了数据手工录入导致的不匹配问题
。
[0005]为实现上述目的，本专利技术采用的技术方案是：
[0006]一种基于模板配置的
Excel
通用导入的实现方法，所述方法包括：
[0007]步骤一
、
模板配置及制作
Excel
导入模板；
[0008]步骤二
、
上传模板数据文件及传入模板
ID
；
[0009]步骤三
、
模板数据文件合法检测，合法则进入下一步，不合法则流程结束；
[0010]步骤四
、
解析读取上传文件的数据列表并根据自动值转换配置转换对应字段的值；
[0011]步骤五
、
将模板文件数据保存进对应模块的映射表中；
[0012]步骤六
、
检测导入数据是否重复，关联校验数据是否合法，并记录错误信息；如果有错误信息，根据错误提示修改
Excel
文件中对应记录有错误的字段后重新上传，进入步骤二；没有错误信息，则进入下一步；
[0013]步骤七
、
对该批次上报数据进行审批；审批通过，则进入下一步；审批不通过，需写明不通过原因，流程结束；
[0014]步骤八
、
将该批次上传数据存入目标表中，当需要进行数据修正和补充时，进行数
据修正
、
补充
。
[0015]所述在步骤一中，模板配置为：在模板表中为每个业务模块均添加一条模板配置记录，其中，模板表中主要包含映射表
odsTableName、
目标表
dwTableName、
主键字段
priKeyColumn、
收集配置
collectConfig、
字段映射配置
mappingConfig、
自动值转换配置
autoValueMapping、
检查配置
checkConfig
字段；
[0016]映射表
odsTableName
是一个跟目标表表结构一致的表，目标表
dwTableName
是最终保存该业务数据的表，所有表结构中均有上报数据行号
sn
，数据上报的批次
dataListID
，模板
ID collectMainID
和错误信息
errorMsg
字段；
[0017]主键字段
priKeyColumn
用于检查导入的数据是否重复，如果重复，该条记录将会记录错误信息“模板数据在系统中已存在，请删除后重新上报”；
[0018]收集配置
collectConfig
用于配置
excel
模板中需要导入的数据是从哪一行哪一列开始和标题所在行；
[0019]字段映射配置
mappingConfig
用于配置
Excel
标题行中每一列所对应的数据库表字段；
[0020]自动值转换配置
autoValueMapping
用于配置简单的值映射关系；
[0021]检查配置
checkConfig
用于配置映射表的
column
字段通过关联
targetTable
表的
targetColumn
字段，并满足
targetCondition
条件的记录中的
autoFixColumnTarget
字段的值赋予映射表的
autoFixColumn
字段，如果搜索不到数据，则该条记录将会记录错误信息“XX
字段数据不合法，请修改后重新上报”。
检查配置
checkConfig
也用于目标表的
column
字段通过关联
targetTable
表的
targetColumn
字段，并满足
targetCondition
条件的记录中的
autoFixColumnTarget
字段的值赋予目标表的
autoFixColumn
字段，用于数据修正或补充
。
[0022]所述步骤二具体如下：
[0023]步骤
21、
管理员登录管理平台，在数据模板模块的模板列表中选择对应模板进行模板下载；
[0024]步骤
22、
打开下载的模板，按模板要求录入数据；
[0025]步骤
23、
在管理平台中，通过数据上报模块点击
【
导入
】
，弹出数据上报表单窗口，通过模板下拉选择列表选择对应的模板，并通过点击
【
浏览
】
选择事先录入好数据的
Excel
模板，点击
【
导入
】
按钮；
[0026]步骤
...

【技术保护点】

【技术特征摘要】
1.
一种基于模板配置的
Excel
通用导入的实现方法，其特征在于：所述方法包括：步骤一
、
模板配置及制作
Excel
导入模板；步骤二
、
上传模板数据文件及传入模板
ID
；步骤三
、
模板数据文件合法检测，合法则进入下一步，不合法则流程结束；步骤四
、
解析读取上传文件的数据列表并根据自动值转换配置转换对应字段的值；步骤五
、
将模板文件数据保存进对应模块的映射表中；步骤六
、
检测导入数据是否重复，关联校验数据是否合法，并记录错误信息；如果有错误信息，根据错误提示修改
Excel
文件中对应记录有错误的字段后重新上传，进入步骤二；没有错误信息，则进入下一步；步骤七
、
对该批次上报数据进行审批；审批通过，则进入下一步；审批不通过，写明不通过原因，流程结束；步骤八
、
将该批次上传数据存入目标表中，当需要进行数据修正和补充时，进行数据修正
、
补充
。2.
根据权利要求1所述的一种基于模板配置的
Excel
通用导入的实现方法，其特征在于：所述在步骤一中，模板配置为：在模板表中为每个业务模块添加一条模板配置记录，其中，模板表中主要包含映射表
odsTableName、
目标表
dwTableName、
主键字段
priKeyColumn、
收集配置
collectConfig、
字段映射配置
mappingConfig、
自动值转换配置
autoValueMapping、
检查配置
checkConfig
字段；映射表
odsTableName
是一个跟目标表表结构一致的表，目标表
dwTableName
是最终保存该业务数据的表，所有表结构中均有上报数据行号
sn
，数据上报的批次
dataListID
，模板
ID collectMainID
和错误信息
errorMsg
字段；主键字段
priKeyColumn
用于检查导入的数据是否重复，如果重复，该条记录将会记录错误信息“模板数据在系统中已存在，请删除后重新上报”；收集配置
collectConfig
用于配置
excel
模板中需要导入的数据是从哪一行哪一列开始和标题所在行；字段映射配置
mappingConfig
用于配置
Excel
标题行中每一列所对应的数据库表字段；自动值转换配置
autoValueMapping
用于配置简单的值映射关系；检查配置
checkConfig
用于配置映射表的
column
字段通过关联
targetTable
表的
targetColumn
字段，并满足
targetCondition
条件的记录中的
autoFixColumnTarget
字段的值赋予映射表的
autoFixColumn
字段，如果搜索不到数据，则该条记录将会记录错误信息“XX
字段数据不合法，请修改后重新上报”。
检查配置
checkConfig
也用于目标表的
column
字段通过关联
targetTable
表的
targetColumn
字段，并满足
targetCondition
条件的记录中的
autoFixColumnTarget
字段的值赋予目标表的
autoFixColumn
字段，用于数据修正或补充
。3.
根据权利要求1所述的一种基于模板配置的
Excel
通用导入的实现方法，其特征在于：所述步骤二具体如下：步骤
21、
管理员登录管理平台，在数据模板模块的模板列表中选择对应模板进行模板下载；步骤
22、
打开下载的模板，按模板要求录入数据；步骤
23、
在管理平台中，通过数据上报模块点击
【
导入
】
，弹出数据上报表单窗口，通过
模板下拉选择列表选择对应的模板，并通过点击
【
浏览
】
选择事先录入好数据的
Excel
模板，点击
【
导入
】
按钮；步骤
24、
系统将调用系统统一的导入接口
。4.
根据权利要求1所述的一种基于模板配置的
Excel
通用导入的实现方法，其特征在于：所述步骤三具体如下：步骤
31、
根据模板
ID
查询对应模板配置；步骤
32、
获取
Excel
流并解析；步骤
33、
根据模板配置中的收集配置获取
Excel
中的标题字段列表，并与模板配置中的字段映射配置
mappingConfig
字段配置的标题列表相比较是否完全一致，完全...

【专利技术属性】
技术研发人员：邓玉芳，季统凯，
申请(专利权)人：国云科技股份有限公司，
类型：发明
国别省市：