【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据处理
，尤其涉及一种数据处理方法及装置。
技术介绍
在银行的客户风险数据管理系统(CRD)中，业务人员需要将银码客户信息文件中的数据记录上传并导入至数据库。在导入过程中，如果信息文件上传的数据记录与数据库当前保存的数据记录中，存在有主键相同的数据记录，即出现主键重复的情况，则系统将提示信息文件上传的数据记录中存在有异常数据记录，此时信息文件上传的数据记录均无法成功导入至数据库。当前，当系统提示存在异常数据记录时，业务人员可以结合数据库当前保存的数据记录，人工排查出在信息文件上传的数据记录中的异常数据记录，即排查出导致发生主键重复的数据记录，之后再次尝试将信息文件的数据记录上传并导入至数据库中，如果系统再次提示，则业务人员再进行人工排查，直至将信息文件的数据记录成功导入数据库。但是，人工排查异常数据记录和人工导入数据记录操作不便，导入效率低。
技术实现思路
鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获得与当前的目标存储空间对应的主键集合文件，所述主键集合文件包括当前的所述目标存储空间中各条数据记录的主键；/n将待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序，以获得主键合并文件，所述主键合并文件包括有序的主键序列；/n在所述待处理文件的所述至少一个主键中，将在所述主键合并文件中出现次数为一次的主键确定为非重复主键；/n将所述待处理文件中所述非重复主键对应的数据记录导入至所述目标存储空间中。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获得与当前的目标存储空间对应的主键集合文件，所述主键集合文件包括当前的所述目标存储空间中各条数据记录的主键；
将待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序，以获得主键合并文件，所述主键合并文件包括有序的主键序列；
在所述待处理文件的所述至少一个主键中，将在所述主键合并文件中出现次数为一次的主键确定为非重复主键；
将所述待处理文件中所述非重复主键对应的数据记录导入至所述目标存储空间中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述非重复主键保存所述主键集合文件中，以获得新主键集合文件；
将所述新主键集合文件确定为与当前的目标存储空间对应的主键集合文件。
3.根据权利要求1所述的方法，其特征在于，所述将待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序，包括：
使用外部排序方式，对待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述待处理文件的所述至少一个主键中，将在所述主键合并文件中出现次数不少于两次的主键确定为重复主键；
将所述待处理文件中所述重复主键对应的数据记录保存至异常数据文件中。
5.根据权利要求3所述的方法，其特征在于，所述使用外部排序方式，对待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序，包括：
使用归并排序的方式，对待处理文件中的至少一个主键与所述主键集合文件中的各主键进行合并排序。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述待处理文件中所有主键的总数据量大于排序内存的数据容量时，对所述待处理文件进行拆分，以获得至少两个待处理子集文件，所述待处理子集文件包括所述待处理文件中的至少一个主键，所述待处理子集文件中所有主键的数据量不大于所述排序内存的数据容量；
当所述主键集合文件中所有主键的总数据量大于所述排序内存的数据容量时，对所述主键集合文件进行拆分，以获得至少两个主键子集文件，所述主键子集文件包括所述主键集合文件中的至少一个主键，所述主键子集文件中所有主键的数据量不大于所述排序内存的数据容量。
...
【专利技术属性】
技术研发人员：谷兰芝，郭会，许国平，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。