一种数据处理模型构建方法技术

本发明专利技术涉及数据处理领域，具体为一种数据处理模型构建方法

【技术实现步骤摘要】
一种数据处理模型构建方法、平台及存储介质


[0001]本专利技术涉及数据处理领域，具体为一种数据处理模型构建方法
、
平台及存储介质
。

技术介绍

[0002]随着我国金融的高速发展，中国人民银行
、
银保监
、
外汇管理局等重要监管单位都要求金融机构周期性上报银行数据，包括年报
、
季报
、
月报，并逐渐向日报和实时报送发展，从而形成数据的监管报送；而由于金融机构发展的起始时间不一样，数据数字化建设程度不一样，不同的金融机构开展的业务也有所差异，不同金融机构的核心交易系统也不同
、
数据存储和构建的方式也不同，对监管报送要求的理解也不同，对监管报送数据的处理逻辑也不同，监管报送数据的可复用性差，因此造成了报送数据的千差万别，影响了监管效率，而监管效果差，优会影响业务的项目周期和交付质量，并且经过近些年监管的持续完善，穿透式监管已逐步完成，金融机构若不能按要求
、
保质量的完成报送，会面临着越来越严重的行政处罚，近年来处罚金额也达到了千万级，严重时甚至会导致金融机构破产
。

技术实现思路

[0003]本专利技术的目的之一在于提供一种数据处理模型构建方法，能提高数据的可复用性和监管效率，以保障项目周期和交付质量
。
[0004]本专利技术提供的基础方案一：一种数据处理模型构建方法，包括如下内容：
[0005]S1、
获取监管报送范围信息，根据监管报送范围信息，获取对应报送模块；
[0006]S2、
接收报送模块的发文，获取报送要求，根据报送要求，获取所需的数据范围以及对于数据的具体要求；并根据数据范围以及对于数据的具体要求，对数据进行解析，获取扩充数据；
[0007]S3、
根据扩充数据，对其对应的对不同报送模块中业务含义
、
名称相同和不同的部分进行裁剪整理，获取初步的数据中间需求；对数据中间需求所需的数据进行解析，直至不存在扩充数据；
[0008]S4、
根据业务的不同，将数据归类到不同的主题，确定出不同主题下所需的表；
[0009]S5、
根据金融业务的属性
、
关系以及数据的存储方式，获取表与表之间的
mapping
关系；
[0010]S6、
根据经典银行金融模型和数仓设计标准，将不同表归类到不同的数仓层级中；
[0011]S7、
根据报送要求，设置
ADS
层表结构，并进行报送
。
[0012]进一步，通过复制
、
拆分和整合一种或多种方式进行裁剪整理：将报送模块间业务含义
、
名称均不相同的字段进行复制，将业务含义
、
名称相同的多个字段进行合并，将业务含义不同
、
名称相同的多个字段进行拆分
。
[0013]进一步，所述主题，包括：公共
、
财务
、
客户
、
产品
、
协议
、
账户和事件；
[0014]通过金融模型业务剪裁，保留与监管和风险有关的主题
、
实体和属性，删除与监管和风险无关的主题
、
实体和属性，根据实际业务对主题进行新增与合并，从而确定不同的主
题
。
[0015]进一步，所述
S6
，包括：根据经典银行金融模型和数仓设计标准，将数仓拆分成
ODS
层
、BDM
层
、ADM
层
、IDM
层和
ADS
层；
[0016]将不同表归类到不同的数仓层级中
。
[0017]进一步，所述
ODS
层，用于获取数据，其中数据为原始数据；
[0018]BDM
层，用于采用基础数据模型对数据进行处理；
[0019]ADM
层，用于对基础层的数据进行进一步分析处理，生成指标数据；
[0020]IDM
层，用于存储指标数据；
[0021]ADS
层，用于报送数据
。
[0022]本方案的基本原理和优点：本方案首先明确监管报送范围，减少数据处理量，再获取监管报送范围内对应的报送模块和版本，从而能获取报送要求，并对报送要求进行处理，以获取数据范围以及对于数据的具体要求，为后续确定数据处理模型奠定基础；
[0023]后续根据业务的不同，将数据归类到不同的主题，涵盖公共
、
财务
、
客户
、
产品
、
协议
、
账户
、
事件等7大主题，参考了经典银行金融模型
(FS
‑
LDM/BDWM)
主题，同时也整合不同监管报送制度主题划分
(EAST、
金融基础数据等
)
，模型从明细报送需求出发设计基础层，并自下而上分层设计模型，形成
ODS
层
、BDM
层
、ADM
层
、IDM
层和
ADS
层，可以帮助金融机构的
IT
技术人员
、
业务人员
、
财务人员在应对来自银保监
、
人民银行等不同监管部门的几十种报送需求，最终可以实现数据的可得
、
可见
、
可信
、
可溯
、
可用，解决不同监管模块“数出同源”口径不一致的问题
。
从而能提高数据的可复用性和监管效率，以保障项目周期和交付质量
。
[0024]本专利技术的目的之二在于提供一种数据处理模型构建平台，能提高数据的可复用性和监管效率，以保障项目周期和交付质量
。
[0025]本专利技术提供基础方案二：一种数据处理模型构建平台，采用上述数据处理模型构建方法
。
[0026]基础方案二的有益效果：本方案首先明确监管报送范围，减少数据处理量，再获取监管报送范围内对应的报送模块和版本，从而能获取报送要求，并对报送要求进行处理，以获取数据范围以及对于数据的具体要求，为后续确定数据处理模型奠定基础；
[0027]后续根据业务的不同，将数据归类到不同的主题，涵盖公共
、
财务
、
客户
、
产品
、
协议
、
账户
、
事件等7大主题，参考了经典银行金融模型
(FS
‑
LDM/BDWM)
主题，同时也整合不同监管报送制度主题划分
(EAST、
金融基础本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理模型构建方法，其特征在于：包括如下内容：
S1、
获取监管报送范围信息，根据监管报送范围信息，获取对应报送模块；
S2、
接收报送模块的发文，获取报送要求，根据报送要求，获取所需的数据范围以及对于数据的具体要求；并根据数据范围以及对于数据的具体要求，对数据进行解析，获取扩充数据；
S3、
根据扩充数据，对其对应的对不同报送模块中业务含义
、
名称相同和不同的部分进行裁剪整理，获取初步的数据中间需求；对数据中间需求所需的数据进行解析，直至不存在扩充数据；
S4、
根据业务的不同，将数据归类到不同的主题，确定出不同主题下所需的表；
S5、
根据金融业务的属性
、
关系以及数据的存储方式，获取表与表之间的
mapping
关系；
S6、
根据经典银行金融模型和数仓设计标准，将不同表归类到不同的数仓层级中；
S7、
根据报送要求，设置
ADS
层表结构，并进行报送
。2.
根据权利要求1所述的数据处理模型构建方法，其特征在于：通过复制
、
拆分和整合一种或多种方式进行裁剪整理：将报送模块间业务含义
、
名称均不相同的字段进行复制，将业务含义
、
名称相同的多个字段进行合并，将业务含义不同
、
名称相同的多个字段进行拆分
。3.
根据权利要求1所述的数据处理模型构建方法，其特征在于：所述主题，包括：公共
...

【专利技术属性】
技术研发人员：卞雨茗，王明刚，樊晓燕，范鹏鹏，柯昕艺，王运逵，
申请(专利权)人：盛宝金融科技有限公司，
类型：发明
国别省市：