一种数据拼接方法及装置制造方法及图纸

本发明专利技术公开了一种数据拼接方法及装置，该方法包括：获取数据主文件和分类文件，其中数据主文件为增量数据文件，分类文件为全量数据文件；从数据主文件中抽取出与分类文件拼接的关联字段；按照第一预设规则，将关联字段与分类文件组成第一临时文件；按照第二预设规则，从第一临时文件中筛选出第二临时文件；从第二临时文件中筛选出所有分类文件记录；将数据主文件与分类文件记录进行拼接。采用本发明专利技术提供的方案，在拼接之前根据数据主文件记录，从分类文件中抽取出所有键值与数据主文件一致的记录组成第二临时文件来再跟数据主文件的记录拼接，在拼接处理时由于两个文件的键值相同，大小相同，排序和筛选IO会大大减少，从而达到提高处理效率的目的。

【技术实现步骤摘要】
一种数据拼接方法及装置
本专利技术涉及软件编程
，特别是涉及一种方法及装置。
技术介绍
随着银行业务的迅速增长，各行数据大集中是目前国内各行普遍通行的系统架构。对于这样的系统架构，各行的核心系统和其外围系统之间不会是直连的关系，因为随着后续业务的发展，各外围系统可能会不断地增加，核心系统要保持相对地稳定性，不可能不断地增加外围接口。面对这样的需求，有些银行主要是通过数据采集来满足各外围系统的数据查询需求。而在数据采集实现技术中，作为采集的前提和基础，数据排序、拆分和拼接等处理则是整个数据采集的基础性工作。其效率的高低是满足银行数据服务需求的关键。因此，亟需一种能够快速实现数据拼接的方法。
技术实现思路
为解决上述技术问题，本专利技术实施例提供了一种数据拼接方法及装置，技术方案如下：一种数据拼接方法，包括：获取数据主文件和分类文件，其中数据主文件为增量数据文件，分类文件为全量数据文件；从所述数据主文件中抽取出与所述分类文件拼接的关联字段；按照第一预设规则，将所述关联字段与所述分类文件组成第一临时文件；按照第二预设规则，从所述第一临时文件中筛选出第二临时文件；从所述第二临时文件中筛选出本文档来自技高网...

【技术保护点】
一种数据拼接方法，其特征在于，包括：获取数据主文件和分类文件，其中数据主文件为增量数据文件，分类文件为全量数据文件；从所述数据主文件中抽取出与所述分类文件拼接的关联字段；按照第一预设规则，将所述关联字段与所述分类文件组成第一临时文件；按照第二预设规则，从所述第一临时文件中筛选出第二临时文件；从所述第二临时文件中筛选出所有分类文件记录；将所述数据主文件与所述分类文件记录进行拼接。

【技术特征摘要】
1.一种数据拼接方法，其特征在于，包括：获取数据主文件和分类文件，其中数据主文件为增量数据文件，分类文件为全量数据文件；从所述数据主文件中抽取出与所述分类文件拼接的关联字段；按照第一预设规则，将所述关联字段与所述分类文件组成第一临时文件；按照第二预设规则，从所述第一临时文件中筛选出第二临时文件；从所述第二临时文件中筛选出所有分类文件记录；将所述数据主文件与所述分类文件记录进行拼接。2.根据权利要求1所述的方法，其特征在于，按照第一预设规则，将所述关联字段与所述分类文件组成第一临时文件，包括：按照将所述关联字段与所述分类文件中的关联字段位置对齐、其他位置置空的规则，将所述关联字段与所述分类文件组成第一临时文件。3.根据权利要求2所述的方法，其特征在于，按照第二预设规则，从所述第一临时文件中筛选出第二临时文件，包括：从所述第一临时文件中抽取出重复键值的记录；由抽取的重复键值的记录组成所述第二临时文件。4.根据权利要求3所述的方法，其特征在于，从所述第二临时文件中筛选出所有分类文件记录，包括：采用DFSORT工具从所述第二临时文件中筛选出所有分类文件记录。5.根据权利要求1-4任一项所述的方法，其特征在于，所述分类文件为KSDS文件。6.一种数据拼接装置，其特征在...

【专利技术属性】
技术研发人员：牙祖将，梁绍文，冯琦淇，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11