【技术实现步骤摘要】
本专利技术涉及基于消费kafka+离线补偿机制的实时业绩计算系统，具体涉及一种基于消费kafka+离线补偿机制的实时业绩计算系统。
技术介绍
1、伴随着商业银行数字化转型的浪潮，银行业务越来越线上化、自动化。银行客户经理实时业绩计算是一个重要的业务需求，它可以帮助银行管理层和客户经理实时了解业绩情况，做出决策和调整策略。客户经理可以根据实时业绩数据获得个人激励和奖金，提高其工作动力和积极性。同时，实时业绩计算也帮助银行管理层识别和培养优秀的客户经理，提升人力资源管理效能。同时可以迅速发现和解决问题，提高客户服务水平。通过实时监控和反馈，银行可以及时发现并纠正客户经理的差距和问题，提供更优质的服务和满足客户需求。
2、针对上述业务场景，业界也有如下解决方案。
3、方案1)直接请求数据库。在应用系统中直接查询和更新数据库来获取实时业绩数据。但也存在以下的缺陷和不足：(1)数据库可能成为瓶颈，无法承受高并发读写请求；(2)高频率的查询和更新可能对数据库性能和稳定性造成负面影响；(3)数据库的读写操作可能会导致长时间的阻塞，影响实时性。
4、方案2)批处理。定期或按需将数据批量处理，生成实时业绩指标和报告。但也存在以下的缺陷和不足：(1)批处理需要一定的时间窗口来收集足够的数据，无法实现实时的数据处理和反馈；(2)无法实时响应业务需求的变化，数据处理的延迟会导致指标反映的是旧数据。(3)对于高频率的数据更新，批处理可能无法跟上数据的变化，导致数据更新滞后。
5、方案3)基于轮询的方案。业务
6、不管是方案1，方案2还是方案3，综合考虑到系统的可用性、性能、实时性和代码复杂性等因素，都无法很好的满足实时计算的业务逻辑需求。
技术实现思路
1、本专利技术的目的是针对现有技术存在的不足，提供一种基于消费kafka+离线补偿机制的实时业绩计算系统。
2、为实现上述目的，本专利技术提供了基于消费kafka+离线补偿机制的实时业绩计算系统，包括多个业务系统、crm系统和大数据flink平台；
3、多个业务系统将离线业绩明细数据通过kafka的方式抛给银行crm系统。
4、crm系统接收通过kafka的方式抛来的离线业绩明细数据，并匹配到对应的客户经理数据后，再抛给大数据flink平台；
5、所述大数据flink平台具有以下配置：
6、设计了客户经理实时业绩离线表pma_real_time_dtl_t1和客户经理业绩离线统计表pma_real_time_mng_report_t1，所述客户经理实时业绩离线表pma_real_time_dtl_t1汇总了t-1日各个系统中的有关业绩字段的数据信息，所述业绩字段的数据信息与数据库中的字段一一对应，以在加工完成后将客户经理业绩离线业绩数据信息推送到数据库中，所述客户经理业绩离线统计表pma_real_time_mng_report_t1汇总了客户经理离线数中各个业绩指标字段；
7、设计了准实时批扣明细表pma_real_time_loan_batch，用于汇总截至到任务调度前ftp服务器中的批扣数据信息，在写入准实时批扣明细表pma_real_time_loan_batch时，将字段real_time_over_flag置为0，表示实时计算未完成；
8、设计了准实时业绩客户经理统计表pma_real_time_mng_report_t0和准实时业绩明细表pma_real_time_dtl_t0，所述准实时业绩客户经理统计表pma_real_time_mng_report_t0和准实时业绩明细表pma_real_time_dtl_t0分别与客户经理业绩离线统计表pma_real_time_mng_report_t1和客户经理实时业绩离线表pma_real_time_dtl_t1中的字段一致，在大数据端加工离线全量数据信息，同时在这两个表的离线数据加工完成后，将准实时业绩明细表pma_real_time_dtl_t0的数据传入，和客户经理业绩离线统计表pma_real_time_mng_report_t1进行数据的汇总，汇总的条件是pma_real_time_dtl_t0中的数据是今日产生的，最后在加工完成后将数据推送到准实时业绩客户经理统计表pma_real_time_mng_report_t0中；
9、设计了批量监控表sys_batch_monitor，在将数据推数到目标库的同时，在批量监控表sys_batch_monitor中写入一条数据记录，将batch_status状态置为0，表示有待同步的业绩数据；
10、设计了定时任务，利用定时任务以设定的时间间隔轮询批量监控表sys_batch_monitor中是否有batch_status字段为0的数据信息，若有，则再次计算当日明细表中的数据信息并同步到pma_real_time_mng_report_t0表中，在计算的过程中把batch_status字段值置为1，执行完成后会置为2,最终完成一个数据的补偿；同时利用定时任务以设定的时间间隔扫描准实时批扣明细表pma_real_time_loan_batch，查看表中是否有real_time_over_flag字段为0的数据信息，若有，则将real_time_over_flag字段为0的数据信息取出，归属至对应的准实时业绩客户经理统计表pma_real_time_mng_report_t0中；
11、所述大数据flink平台根据准实时业绩客户经理统计表pma_real_time_mng_report_t0中的数据进行实时业绩计算，并将计算好的数据实时写入管理驾驶舱平台和银行内部app端，以展示客户经理实时业绩数据指标。
12、进一步的，所述业务系统包括个人网贷、企业网贷、逐日系统和核心贷款系统。
13、进一步的，所述设定的时间间隔为15分钟。
14、有益效果：1)准实时性：该系统基于消费kakfa消息队列的方式，可以实现较低的延迟，准实时地处理和计算客户经理的业绩数据。客户经理可以及时了解自己的业绩情况，及时调整策略和行动。
15、2)高可扩展性：使用kakfa作为消息队列，可以方便地扩展系统的处理能力，通过增加消费者节点来处理大规模的交易数据。系统具备良好的水平扩展性，能够应对不断增长的业务量和客户规模。
16、3)数据可靠性：通过持久化的kakfa消息队列，可以保证数据的可靠传输和处理。即使在系统故障或网络中断的情况下，数据也不会丢失。离线补偿机制可以确保在恢复正常后，对缺失的数据进行补偿计算。本文档来自技高网...
【技术保护点】
1.基于消费Kafka+离线补偿机制的实时业绩计算系统，其特征在于，包括多个业务系统、CRM系统和大数据Flink平台；
2.根据权利要求1所述的基于消费Kafka+离线补偿机制的实时业绩计算系统，其特征在于，所述业务系统包括个人网贷、企业网贷、逐日系统和核心贷款系统。
3.根据权利要求1所述的基于消费Kafka+离线补偿机制的实时业绩计算系统，其特征在于，所述设定的时间间隔为15分钟。
【技术特征摘要】
1.基于消费kafka+离线补偿机制的实时业绩计算系统，其特征在于，包括多个业务系统、crm系统和大数据flink平台；
2.根据权利要求1所述的基于消费kafka+离线补偿机制的实时业绩计算系统...
【专利技术属性】
技术研发人员：张徐锋，
申请(专利权)人：江苏苏宁银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。