【技术实现步骤摘要】
本专利技术涉及数据处理，具体涉及一种基于校验与校正的数据导入方法、装置及设备。
技术介绍
1、数据导入通常使用excel表格进行，然而，由于excel表格中可能存在各种格式错误和数据不一致等问题，进而会导致导入数据的准确性和完整性受到挑战。目前，大部分涉及到数据导入功能的应用，都是通过后端进行数据校正和修正，但是这种方法只能实现一些简单的数据检查，例如，必填选项或者数据类型等。或者相对于一些具体业务数据的复杂校验场景，无法做到业务场景通用，需要针对不同的数据进行数据导入，还需要额外编码，因此工作量很大。并且在遇到错误后无法即时准确的反馈错误信息，用户需要重新下载文件，重新编辑，重新导入，使用体验不友好。
技术实现思路
1、本专利技术主要解决的技术问题是数据导入过程中数据会出现各种错误，导致导入数据的准确度不够高。
2、根据第一方面，一种实施例中提供一种基于校验与校正的数据导入方法,其特征在于，包括：
3、获取预设待导入文件对应的待导入数据；所述待导入文件包括excel文件，所述待导入数据包括excel表头对应的json格式数据对象；
4、提取所述待导入数据中所有数据行的列名称，根据预设配置规则和所述列名称将所述待导入数据划分为不同场景下的待校验数据；其中，所述不同场景下的待校验数据包括待校验类型数据、待校验长度数据、待校验数值数据、待校验配置数据和待校验枚举数据中的任意一种或者多种；
5、根据预设校正规则对所述不同场景下的待校验数据进
6、将校正后的数据和/或异常数据、预设校正标签和校正后的数据对应的待校验数据更新至所述待导入文件中，得到实时导入文件。
7、一实施例中，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
8、对于待校验类型数据：
9、判断所述待校验类型数据的类型是否符合预先定义的列类型；
10、若不符合，则将所述待校验类型数据的类型转换为预先定义的列类型，并将所述待校验类型数据转换为在所述列类型下的数据。
11、一实施例中，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
12、对于待校验长度数据：
13、判断所述待校验长度数据是否符合预设长度；
14、若不符合，则根据预设参考值对所述待校验长度数据进行数据增加或者数据删除，得到校正后的数据。
15、一实施例中，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
16、对于待校验数值数据：
17、当所述待校验数值数据的源头为预设系统时，去除所述待校验数值数据中的预设字符，并保留所述待校验数值数据中的可存储数值数据；
18、按照预设格式要求对所述可存储数值数据进行数据格式修正；所述数据格式修正包括修正为大写格式、修正为小写格式和修正为预设格式；所述预设格式包括日期格式；或者
19、按照预设的长度要求对所述可存储数值数据进行数据截取或者数据扩展；所述数据扩展是在所述可存储数值数据末尾添加标识符。
20、一实施例中，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
21、对于待校验配置数据：
22、判断所述待校验配置数据与预构建的正则表达式是否匹配，若不匹配则将所述待校验配置数据校正为与所述正则表达式匹配的校正数据；或者
23、判断所述待校验配置数据与预设自定义函数是否匹配，若不匹配则将所述待校验配置数据校正为与所述自定义函数匹配的校正数据；或者
24、判断所述待校验配置数据是否符合预设校验规则，若不符合则将所述待校验配置数据校正为符合所述校验规则对应的校正数据；预设自定义函数根据业务规则构建。
25、一实施例中，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
26、对于待校验枚举数据：
27、判断所述待校验枚举数据是否在预设枚举范围中；
28、若所述待校验枚举数据不在预设枚举范围中时，将所述待校验枚举数据进行剔除或者基于预设默认值对所述待校验枚举数据进行修正处理，得到校正后的数据；
29、若所述待校验枚举数据在预设枚举范围中时，判断所述待校验枚举数据的数据格式，若所述数据格式为中文名称，则根据预设枚举项目搜索得到所述待枚举数据对应的编码数据，根据所述编码数据将所述待校验枚举数据进行校正，得到校正后的数据。
30、一实施例中，所述获取预设待导入文件对应的待导入数据，包括：
31、根据预设用户请求在网页界面选择与所述用户请求对应的excel文件作为待导入文件；
32、利用表头解析工具对所述待导入文件进行表头解析，得到excel表头；
33、利用格式转换工具将所述excel表头转换为excel表头对应的json格式数据对象，并将所述excel表头对应的json格式数据对象作为待导入数据。
34、一实施例中，所述将所述待校验数据标记成异常数据之后，所述方法还包括：
35、根据所述异常数据生成对应的提醒信息，并根据所述提醒信息对用户进行提醒；或者
36、对所述异常数据进行标记处理，其中，所述标记处理包括高亮标记、划线标记和批注标记。
37、一实施例中，所述得到实时导入文件之后，还包括：
38、获取待参考表格数据，并根据所述实时导入文件中的异常数据在所述待参考表格数据中识别对应的参考数据；
39、利用所述参考数据对所述实时导入文件中的异常数据进行修正处理，得到修正好的数据；
40、将校正后的数据和/或修正好的数据保存至预设数据库中。
41、依据上述实施例的基于校验与校正的数据导入方法、装置及设备，包括获取预设待导入文件对应的待导入数据，其中，待导入数据是一种通用的json格式，便于进行后续校验和验证。将待导入数据划分为不同场景下的待校验数据，并根据预设校正规则针对不同场景下的待校验数据进行数据校正，根据待校验数据的在不同场景下的类型进行校正，提高了数据校正的准确性。根据数据校正完成情况对数据进行标记，并联合预设校正标签一起更新至待导入文件中，得到的实时导入文件可以显示出异常数据，以供用户进行确认修改，更加直观体现出数据的真实性。
本文档来自技高网...【技术保护点】
1.一种基于校验与校正的数据导入方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
3.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
4.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
5.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
6.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
7.如权利要求1所述的方法，其特征在于，所述获取预设待导入文件对应的待导入数据，包括：
8.如权利要求1所述的方法，其特征在于，所述将所述待校验数据标记成异常数据之后，所述方法还包括：
9.如权利要求1所述的方法，其特征在于，所述得到实时导入文件之后，还包括：
10.一种计算机
...【技术特征摘要】
1.一种基于校验与校正的数据导入方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
3.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
4.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
5.如权利要求1所述的方法，其特征在于，所述根据预设校正规则对所述不同场景下的待校验数据进行数据校正，包括：
<...【专利技术属性】
技术研发人员：陈志武，
申请(专利权)人：深圳图为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。