数据处理方法和装置制造方法及图纸

本申请提供了一种数据处理方法和装置，可应用于分布式系统领域或者金融领域等。该方法包括：获得金融机构的外部系统传输的文本文件，文本文件包括至少一个文本段；确定文本文件中包括的各文本段以及文本段中的标识字段，文本段的标识字段用于表征文本段所归属的业务数据表；将标识字段相同的文本段合并到一个子文本文件内，得到文本文件拆分出的至少一个子文本文件；向分布式文件系统上传子文本文件。本申请可以减少金融机构之外的外部系统的业务数据上传分布式文件系统所可能出现的上传异常情况。传异常情况。传异常情况。

【技术实现步骤摘要】
数据处理方法和装置


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]银行等金融机构可以通过分布式文件系统存储业务数据。分布式文件系统存储的业务数据不仅来自金融机构内部的业务系统，还可能会来自金融机构之外的外部系统。
[0003]而金融机构之外的外部系统会以文本文件的形式向分布式文件系统传输的业务数据。很多情况下，金融机构向分布式文件系统传输的文本文件是多个业务数据表的混合数据，这样必然会出现由于数据不规范而导致数据无法上传分布式文件系统或者是上传到分布式文件系统后的文本数据无法准确加载到相应的表内，导致数据上传异常。

技术实现思路

[0004]本申请提供了一种数据处理方法和装置，以减少金融机构之外的外部系统的业务数据上传分布式文件系统所可能出现的上传异常情况。
[0005]一方面，本申请提供了一种数据处理方法，包括：
[0006]获得金融机构的外部系统传输的文本文件，所述文本文件包括至少一个文本段；
[0007]确定所述文本文件中包括的各文本段以及所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获得金融机构的外部系统传输的文本文件，所述文本文件包括至少一个文本段；确定所述文本文件中包括的各文本段以及所述文本段中的标识字段，所述文本段的标识字段用于表征所述文本段所归属的业务数据表；将标识字段相同的文本段合并到一个子文本文件内，得到所述文本文件拆分出的至少一个子文本文件；向分布式文件系统上传所述子文本文件。2.根据权利要求1所述的方法，其特征在于，所述将标识字段相同的文本段合并到一个子文本文件内，包括：基于所述文本段的标识字段，将所述文本文件中的文本段划分为至少一个文本段组，每个文本段组包括：标识字段相同的文本段；针对每个文本段组，按照所述文本段组中各文本段在所述文本文件中的先后顺序，将所述文本段组中各文本段合并到一个子文本文件中。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获得金融机构的外部系统传输的所述文本文件的增量文本文件，所述增量文本文件包括针对所述文本文件的增量文本数据，所述增量文本文件包括至少一个增量文本段；确定所述增量文本文件中包括的各增量文本段以及所述增量文本段中的标识字段；针对每个增量文本段，从所述至少一个子文本文件中，确定与所述增量文本段的标识字段对应的目标子文本文件，将所述增量文本段写入到所述目标子文本文件中，所述目标子文本文件中包含的文本段的标识字段与所述增量文本段的标识字段相同。4.根据权利要求1所述方法，其特征在于，在所述将标识字段相同的文本段合并到一个子文本文件内之前，还包括：获得配置文件，所述配置文件包括：不同标识字段与文件名的对应关系，所述标识字段对应的文件名为符合所述金融机构的文件命名规范的文件名；所述将标识字段相同的文本段合并到一个子文本文件内，包括：基于所述文本段的标识字段，将所述文本文件中的文本段划分为至少一个文本段组，每个文本段组包括：标识字段相同的文本段；针对每个文本段组，基于所述对应关系确定所述文本段组中文本段的标识字段对应的文件名，构建具有所述文件名的子文本文件，将所述文本段组内的各文本段写入到所述子文本文件中。5.根据权利要求4所述的方法，其特征在于，所述配置文件中还包括：所述外部系统所需传输的各备选文本文件的有效文件名；在获得金融机构的外部系统传输的文本文件之后，还包括：检测获得的所述文本文件的文件名是否属于所述配置文件包含的备选文本文件的有效文件名；所述确定所述文本文件中包括的各文本段以及所述文本段中的标识字段，包括：如果所述文本文件的文件名属于配...

【专利技术属性】
技术研发人员：操庐宁，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：