一种基于大数据和分布式的银行客户信息管理系统技术方案

本发明专利技术提供的一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；所述联机模块包括客户的增、删、改、查内容；所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；所述大数据集群模块包括实时任务和离线任务内容。随着客户量逐年增加以及银行拓展业务的需求，银行核心客户系统需要支持高性能、高并发和高可用，并且支持分布式以及大数据处理。支持分布式以及大数据处理。支持分布式以及大数据处理。

【技术实现步骤摘要】
一种基于大数据和分布式的银行客户信息管理系统


[0001]本专利技术涉及银行客户信息领域，尤其涉及一种基于大数据和分布式的银行客户信息管理系统。

技术介绍

[0002]银行核心客户信息管理系统主要存储全行级客户信息，作为银行核心的客户信息管理系统，需要为外围系统提供高时效性的、完整的、一致的、准确的、共享的、权威的全行级客户信息，实现跨业务线、跨渠道的客户信息共享。同时随着银行客户量不断增大，要求客户信息系统有大数据处理能力。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于大数据和分布式的银行客户信息管理系统。
[0004]根据本专利技术的一个方面，提供了一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；
[0005]所述联机模块包括客户的增、删、改、查内容；
[0006]所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；
[0007]所述大数据集群模块包括实时任务和离线任务内容。
[0008]可选的，所述管理系统整体是基于SpringCloudAlibaba和Spring Boot以及hadoop开发的。
[0009]可选的，所述管理系统整体是基于SpringBoot开发的，使用Kafka中间件实时推送数据，能够支持Http通信协议+Json报文格式。
[0010]可选的，所述管理系统包括：网关Gateway前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式。
[0011]可选的，所述管理系统接收http协议，通过联机交易模块，所述系统保留客户信息数据，同时通过Kafka中间件实时推送外围渠道。
[0012]可选的，所述系统应用Nacos作为服务发现和注册中心，并作为应用配置中心，配置限流功能；
[0013]Nacos作为配置中心会推送配置信息到注册到Nacos的服务中，服务也主动拉取Nacos中的配置实现分布式开发。
[0014]可选的，所述管理系统应用Kafka消息队列做异步外围系统消息推送记录，异步给外围系统推送最新客户信息不会影响到应用的响应时间，与应用解耦。
[0015]可选的，所述批量处理模块和大数据集群模块依赖ctm进行作业调度。
[0016]可选的，所述管理系统使用hadoop和spark的离线任务去处理和分析大数据量客户，将处理完数据放到hbase和ElasticSearch中，便于联机和批处理模块对加工完数据的使用。
[0017]本专利技术提供的一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；所述联机模块包括客户的增、删、改、查内容；所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；所述大数据集群模块包括实时任务和离线任务内容。随着客户量逐年增加以及银行拓展业务的需求，银行核心客户系统需要支持高性能、高并发和高可用，并且支持分布式以及大数据处理。
[0018]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0020]图1为本专利技术实施例提供的一种基于大数据和分布式的银行客户信息管理系统的整体框架图。
具体实施方式
[0021]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0022]本专利技术的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0023]下面结合附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0024]本专利技术提供了一种基于大数据和分布式技术的银行客户信息管理系统，本系统将全行的客户信息通过数据加工，整合到一起；提供实时的联机交易，统一客户信息的入口和出口，形成统一的、完整的、准确的客户信息，并且支持批量日终交易去分析加工问题数据，保证全行客户数据质量完整合规从而提供准确真实的客户视图。本系统，包括：联机和批量以及大数据集群三个模块；联机模块包含客户的增、删、改、查等内容；批处理模块包含客户客户注册、客户异步推送、客户信息增量文件抽取等内容；大数据集群模块包含实时任务和离线任务等内容。
[0025]如图1所示，一种基于大数据和分布式技术的银行客户信息管理系统，所述业务系统包括：联机和批量以及大数据集群模块；
[0026]客户信息业务系统包括：联机模块、批量模块、大数据集群模块；
[0027]联机模块是基于SpringBoot开发的，用于存储客户信息以及与后端系统对账情况，能够支持接收能够支持Http+Json报文格式。
[0028]如图1所示ES组件特指ElasticSearch组件，后续不再赘述。
[0029]本系统的包含网关(Gateway)前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式，本系统联机交易模块接收Json数据，对客户数据进行加工操作，以及进行客户数据异步同步。
[0030]本系统应用Nacos作为服务发现和注册中心，并作为应用配置中心，配置限流、熔断、黑白名单和路由信息等功能。Nacos作为配置中心会推送配置信息到注册到Nacos的服务中，服务也可以主动拉取Nacos中的配置。
[0031]本系统应用Kafka消息队列做异步消息推送，异步推送变更客户信息信息消息不会影响到应用的响应时间，与应用解耦。异步推送变更客户信息。
[0032]应用Kafka消息队列进行异步处理，应用将要记录的客户信息生产发送给Kafka队列，Kafka队列将消息发送给记录流水的消费服务。消费服务将流水信息存入数据库中。
[0033]如图1所示批处理模块基于ctm进行作业调度。
[0034]联机和批处理模块，应用springboot框架，可以集成springcloud Alibaba，实现分布式部署，支持高性能。
[0035]如图1所示大数据集群包含事前分析、事中处理、事后估计三部分能力。大数据的事前分析包含：1.通过spark计算后存入Hive表，增加加载的数据进行全量整合，供后续使用，外部接入的客本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；所述联机模块包括客户的增、删、改、查内容；所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；所述大数据集群模块包括实时任务和离线任务内容。2.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统整体是基于SpringCloudAlibaba和Spring Boot以及hadoop开发的。3.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统整体是基于SpringBoot开发的，使用Kafka中间件实时推送数据，能够支持Http通信协议+Json报文格式。4.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统包括：网关Gateway前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式。5.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统接收http协议...

【专利技术属性】
技术研发人员：赵亮，
申请(专利权)人：北银金融科技有限责任公司，
类型：发明
国别省市：