【技术实现步骤摘要】
本专利技术涉及数据处理
，尤其涉及一种分层级联的数据处理方法及系统。
技术介绍
近年来，随着中国金融市场的持续拓展，各类金融产品应运而生，给金融风险控制带来了巨大挑战。金融企业为了加强金融风险的监管，对反洗钱、业务运营风险、信用卡风险等多个风险发生领域进行严密监控。然而，各领域之间的关系十分复杂并且多变，为了使风险监控能够实现全领域覆盖，整个风险监控的体系就变得非常庞大，而且逻辑结构复杂；此外，涉及监控的数据量呈指数级增长，导致批量处理数据时间越来越长，并且数据所占用的存储空间也越来越多。一般地，金融企业根据具体的金融风险需求，设计各种监控模型来实现对数据的监控处理。如图1所示，传统的模型监控处理方法是先接收所有的源数据，然后直接对每个监控模型进行独立计算，并将计算结果分别存储到临时结果表；基于临时结果表中的数据作统一处理，获取命中模型的目标数据，以及所监控的实体与模型之间的关系集。在上述处理方式中，各个模型的临时结果表占用了大量的存储空间，而且CPU需耗费大量I/O时间去访问这些结果表中的数据；此外，各个模型之间即便有公共的特征计算，也是多次重复处理。因而，现有基于传统的模型监控处理方法难于满足时效性与灵活性，存在以下几个方面的不足：(1)每个模型都是独立进行计算，没有对模型中的公共特征计算结果进行共享，引发数据重复计算，造成系统资源的浪费，并使得系统处理效率不高；(2)特征与模型、模型与...
【技术保护点】
一种分层级联的数据处理方法，其特征在于，所述方法包括：接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据‑属性关系表并进行存储；获取预存的特征‑属性关系，并根据所述基础数据‑属性关系表以及所述基础数据中的实体字段，生成实体‑特征关系表并进行存储；获取预存的模型‑特征关系，并根据所述实体‑特征关系表，生成实体‑模型关系表并进行存储；获取预存的高级模型‑模型关系，并根据所述实体‑模型关系表，生成实体‑高级模型关系表并进行存储；查找所述实体‑高级模型关系表、实体‑模型关系表、实体‑特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；根据所述基础数据‑属性关系表、特征‑属性关系、模型‑特征关系以及高级模型‑模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据。
【技术特征摘要】
1.一种分层级联的数据处理方法，其特征在于，所述方法包括：
接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关
系表并进行存储；
获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据
中的实体字段，生成实体-特征关系表并进行存储；
获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表
并进行存储；
获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模
型关系表并进行存储；
查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到
符合高级模型标准、模型标准、特征标准的实体；
根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-
模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础
数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述接收来自不同应用
的源数据，并对所述源数据进行处理，生成基础数据-属性关系表，包括：
采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；
将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；
将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
3.根据权利要求2所述的数据处理方法，其特征在于，获取预存的特征-属性关
系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特
征关系表并进行存储，包括：
获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到
基础数据-特征关系；
接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，
生成实体-特征关系表并进行存储。
4.根据权利要求3所述的数据处理方法，其特征在于，获取预存的模型-特征关
\t系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储，包括：
获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到
基础数据-模型关系；
接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，
生成实体-模型关系表并进行存储。
5.根据权利要求4所述的数据处理方法，其特征在于，获取预存的高级模型-
模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储，包
括：
获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，
得到基础数据-高级模型关系；
接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归
集，生成实体-高级模型关系表并进行存储。
6.根据权利要求5所述的数据处理方法，其特征在于，查找所述实体-高级模型
关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标
准、特征标准的实体，包括：
查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，
所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；
所述实体-模型关系表中数值为1的，即为符合模型标准的实体；
所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
7.根据权利要求5所述的数据处理方法，其特征在于，根据所述基础数据-属性
关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，
得到符合高级模型标准、模型标准、特征标准的基础数据，包括：
对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数
据关系，该关系中数值为1的，即为符合特征标准的基础数据；
对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，
得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；
对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模
型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即
为符合高级模型标准的基础数据。
8.一种分层级联的数据处理系统，其特征在于...
【专利技术属性】
技术研发人员：陈俊清，黄克捷，沈晓敏，徐琳玲，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。