数据处理系统技术方案

本发明专利技术公开了一种数据处理系统，基于WIN平台用于银行分行的海量营销数据处理，包括：参数配置管理模块，用于对所述系统进行整体控制；文件下载模块；文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确；数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库；文件上传模块；作业生成模块；作业运行监控模块。本发明专利技术的数据处理系统，支持海量数据的处理，并且能够减少数据处理对现有联机业务的影响。

【技术实现步骤摘要】
数据处理系统
本专利技术涉及银行辖内网点服务
，尤其涉及一种基于WIN平台用于银行分 行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持的数据处理系统。
技术介绍
现有技术，银行辖内网点服务为了向客户推荐产品，需要分行将客户以及营销产 品的推荐信息导入网点服务销售系统的数据库，面对大型商业银行全行有数以亿计的庞大 客户群，营销产品可能会有成百上千个，那么客户营销产品推荐信息的数据量有可能达到 10亿的规模。在高峰时期，有可能存在各分行同时网点服务销售系统导入数据的情况，如 何支持在非营业时间段处理完10亿级别的数据量以及减少数据处理对现有联机业务的影 响，成为一个需要解决的问题。为满足覆盖银行辖内网点服务销售流程需要，针对未来新线网点综合柜员、综合 客户经理等再造要求，结合对分行调研情况及各分行的实践，建立以客户为中心的新线网 点服务销售标准流程，达到提升客户体验及服务质量、提高网点销售能力及网点销售考核 需要目的，提出了网点综合客户经理及服务销售方案。为了满足面向网点客户到达柜台前的服务支持和业务处理需要，包括网点客户信 息传递、客户业务申请资料预处理、交叉销售支持、网点员工服务销售积分管理等方面功能 需求，为上述方案配套的具体的数据处理系统的开发就成了需要解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种数据处理系统，围绕网点渠道的服务与销 售提供系统支持，支持客户基本信息及资产情况的海量数据的处理；支持客户与营销产品 关系的海量数据的处理；支持客户与营销活动关系的海量数据的处理，并且能够减少数据 处理对现有联机业务的影响。为了解决上述技术问题，本专利技术提供了一种数据处理系统，所述系统基于WIN平 台用于银行分行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持，包括:参数配置管理模块，用于对所述系统总体进行控制；文件下载模块，用于对各分行的客户营销产品信息文件进行下载；文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息 是否正确；数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数 据库；文件上传模块，将处理过的结果文件传回分行，以供分行对处理结果进行审核；作业生成模块，用于根据不同的参数配置，生成最终的运行作业；作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行状 态。作为优选，所述参数配置管理模块的功能为:用于控制文件类型以及该文件类型的处理模块，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；用于控制数据处理的并发度，根据系统资源的情况，选择合适的并发度；用于控制数据的成功率，通过控制数据处理的成功率判定该文件处理成功并可以应用；用于控制错误文件的枚举行数，通过当数据处理发生错误时控制返回给分行的文件的错误数据的行数，使得分行根据列出的错误数据再次调整数据文件。作为优选，所述文件下载模块的功能为对下载的各分行的客户营销产品信息文件名称进行校验，判断文件属性信息是否合法，以及该文件是否被下载过并将下载过的文件移到指定文件夹中。作为优选，所述数据处理模块的功能为向按照分行建立不同的分区的数据库以并行方式导入已经并行处理校验过的数据文件，并且生成处理结果文件，所述处理结果文件包括已处理的数据行数信息、总共处理时间信息和存在主键冲突而导入失败的数据行信息。作为优选，所述系统基于? NET Framework技术实现。作为优选，所述系统使用三层式架构，包括:服务层，用于提供服务接口供外部程序调用；业务处理层，用于提供业务逻辑处理功能；数据层，用于提供对数据库的访问。作为优选，所述系统的联机接口通信承载协议采用国际通用标准协议。作为优选，所述系统的联机接口数据交换协议采用可扩展标记语言。作为优选，所述系统采用可扩展性模块组合设计。与现有技术相比，本专利技术的数据处理系统的有益效果在于:1.高性能:可以支持多家分行在同一时间点同时导入海量的客户营销产品信息数据，并且减少导入时间，同时在处理过程中不会影响联机业务的运行；2.安全:数据生效时间在秒级别，数据处理使用分区切换技术，先将各分行的数据导入临时表，成功之后再统一切换到业务数据表，所以业务数据生效的时间在秒级别，同时不会影响联机业务的运行；3.扩展性好:可以通过配置文件控制文件类型以及相应的处理模块，每个文件类型的处理模块都不尽相同，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；4.灵活的容错机制:可以通过配置文件来配置全量数据文件的导入成功率；5.保存历史数据。可以通过配置，使数据库中自动保存上一个版本的营销信息历史数据，当当前版本存在问题时，可以快速恢复到上一个正确的版本，或者将上一个版本的数据用于查询核对；6.并发机制:可以通过配置来调节系统任务的并发度，根据系统资源情况调整为合适的并发度，已达到最佳性能。7.丰富的错误处理功能:给分行的返回文件中可以记录已处理的数据行数，总共处理的时间，哪一行数据导入失败存在主键冲突等信息，方便分行进行核对并进行相应调難iF.0【附图说明】图1为本专利技术的实施例的数据处理系统的整体结构以及围绕网点渠道的服务与销售提供系统支持的示意图；图2为本专利技术的实施例的数据处理系统的逻辑架构图。【具体实施方式】下面结合附图和具体实施例对本专利技术的实施例的数据处理系统作进一步详细描述，但不作为对本专利技术的限定。图1为本专利技术的实施例的数据处理系统的整体结构以及围绕网点渠道的服务与销售提供系统支持的示意图；图2为本专利技术的实施例的数据处理系统的逻辑架构图。参考图1和图2所示，本专利技术的实施例的数据处理系统，基于WIN平台用于银行分行的海量营销数据处理，围绕网点渠道的服务与销售提供系统支持，包括以下模块:1、参数配置管理模块，对系统进行整体控制，优选的功能为:a.控制文件类型以及相应的处理模块，每个文件类型的处理模块都不尽相同，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块；b.控制数据处理的并发度，根据系统资源的情况，选择合适的并发度；c.控制数据的成功率。因为每次都是全量导入数据，可以控制控制数据处理的成功率，例如全量数据中有80%导入成功则认为该文件处理成功，并可以应用；d.控制错误文件的枚举行数。当数据处理发生错误时可以控制返回给分行的文件的错误数据的行数，以便分行根据列出的错误数据再次调整数据文件，而且又不会因为错误数据过多影响系统性能。2、文件下载模块，用于对各分行的客户营销产品信息文件进行下载，优选的功能为，校验文件名称、文件属性信息是否合法，该文件是否以及下载过等，并将下载过的文件移入指定文件夹。3、文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确等。4、数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库，优选的功能为，并行处理校验过的数据文件，将其以并行的方式同时导入数据库，该数据库中按照分行建立不同的分区，支持各分行数据的同时导入，并且使用分区切换技术保证数据可以在瞬间生效，同时在数据导入过程中又不会影响联机业务。生成处理结果文件，包含已处理的数据行数，总本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，所述系统基于WIN平台用于银行分行的海量营销数据处理，包括：参数配置管理模块，用于对所述系统进行整体控制；文件下载模块，用于对各分行的客户营销产品信息文件进行下载；文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确；数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库；文件上传模块，将处理过的结果文件传回分行，以供分行对处理结果进行审核；作业生成模块，用于根据不同的参数配置，生成最终的运行作业；作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行状态。

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统基于WIN平台用于银行分行的海量营销数据处理，包括: 参数配置管理模块，用于对所述系统进行整体控制； 文件下载模块，用于对各分行的客户营销产品信息文件进行下载； 文件处理模块，用于对下载完成的文件进行处理，校验文件头以及文件格式信息是否正确； 数据处理模块，用于并行处理校验过的数据文件，将其以并行的方式同时导入数据库； 文件上传模块，将处理过的结果文件传回分行，以供分行对处理结果进行审核； 作业生成模块，用于根据不同的参数配置，生成最终的运行作业； 作业运行监控模块，用于根据不同的参数配置，提交相应的作业，并监控其运行状态。2.根据权利要求1所述的数据处理系统，其特征在于，所述参数配置管理模块的功能为: 用于控制文件类型以及该类型文件的处理模块，处理模块为XML的形式，支持在不修改代码的情况下动态的添加文件类型和相应的处理模块； 用于控制数据处理的并发度，根据系统资源的情况，选择合适的并发度； 用于控制数据的成功率，通过控制数据处理的成功率判定该文件处理成功并可以应用； 用于控制错误文件的枚举行数，通过当数据处理发生错误时控制返回给分行的文件的错误数据的行数，使得分行根据列出的错误数据再次调整...

【专利技术属性】
技术研发人员：张立强，张明威，黄海峰，李星星，高辉，张合枰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：