用于变量的智能管理系统及方法技术方案

本发明专利技术涉及风控数据模型建设技术领域，特别涉及一种用于变量的智能管理系统及方法，所述系统包括数据源管理模块、基础变量管理模块、衍生变量管理模块、模型装配管理模块和实时API发布管理模块。所述方法包括数据源管理步骤、基础变量管理步骤、衍生变量管理步骤、模型装配管理步骤和实时API发布管理步骤。本发明专利技术能够根据数据源构建模型变量以及自定义装配离线或实时数据模型，解决了数据开发效率低，开发成本高的问题。

Intelligent management system and method for variables

【技术实现步骤摘要】
用于变量的智能管理系统及方法
本专利技术涉及风控数据模型建设
，特别涉及一种用于变量的智能管理系统及方法。
技术介绍
风控意指风险控制，是指风险管理者采取各种措施和方法，消灭或减少风险事件发生的各种可能性，或风险控制者减少风险事件发生时造成的损失。银行的风控业务人员在风控中具有十分重要意义。银行的风控业务人员在处理银行的风控任务时，若需要在线下从银行的业务系统中提取必要的业务需求数据，例如通过U盘、内存卡拷贝业务需求数据等，但是银行对提取的业务需求数据风控管理十分严格，即使是风控业务人员也需要经历繁复的流程手续，导致风控业务人员取得业务需求数据的时间漫长，影响风控业务人处理业务。而在线上提取必要的业务需求数据相比于线下所需经历的流程手续少，流程快。但是，银行的业务系统数据库中数据的维度高，没有专业的能力很难提取到所需的信息。而目前的风控业务人员并不完全具备复杂语言解析半结构化数据的能力，也不具备通过以编程方式或者运用SQL语言开发数据变量的能力，只能将需求提交给产品开发人员以及技术人员；相关开发人员或技术人员依据需求对数据变量进行逐个开发，完成开发后的模型数据可以将数据变量进行降维处理，方便风控业务人员查看使用，以满足风控业务人员的需求。其中，模型数据以文档方式提交给风控业务人员，由风控业务人员验证是否正确，在风控业务人员验证之后，若有不满意的地方，则会将反馈信息发送给相关开发人员或技术人员让其针对性的修改。整个流程均为线下处理，而且只能一个环节接一个环节的进行循环处理，直到风控业务人员满意为止。这种模式严重影响数据开发的效率，相关开发人员或技术人员的开发工作重复、工作量大，导致数据多且复杂，由于缺乏有效的管理，使得数据存在不安全的问题。而且相关开发人员或技术人员与风控业务人员不断进行意见交流导致沟通成本高，进而造成整体开发成本高的问题。
技术实现思路
本专利技术主要目的之一在于提供一种用于变量的智能管理系统，能够让风控业务人员参与数据变量的开发，构建出便于数据变量调用的数据模型，解决了数据变量开发效率低，开发成本高的问题。为达到上述目的，本专利技术提供了变量的智能管理系统，包括以下模块：数据源管理模块：用于配置数据库，并选定数据源，输出完整数据源信息；所述数据源包括实时数据源和非实时数据源；基础变量管理模块：用于加载完整数据源信息，并使用统一解析工具，解析基础变量；衍生变量管理模块：用于引入基础变量并选择数学算法，对基础变量根据数学算法进行迭代演算生成衍生变量，并输出衍生变量和数学算法，所述数学算法为自定义算法函数；模型装配管理模块：用于获取已创建的基础变量、衍生变量和数学算法输出自定义模型逻辑表，并根据自定义模型逻辑表将基础变量、衍生变量组装生成数据模型。本专利技术的工作原理及优点在于：1、数据源管理模块的设置，可以方便多方的数据交换，以及相关数据的收集与导出。2、基础变量管理模块和衍生变量管理模块的设置，风控业务人员或风控业务人员所属风控业务部门只需要定义相应的算法，系统将为定义算法建立相应的函数，风控业务人员只需要以业务的角度考虑数据变量的演算，减少了开发人员去编程处理数据变量的工作量，相应的提升了数据变量的处理效率，从而实现拥有相关知识技能的风控业务人员也能参与开发变量或数据模型目的，而不是作为旁观者进行指导提意见。在风控业务人员参与数据变量开发的同时，相关开发人员或技术人员与风控业务人员可以对基础变量、衍生变量的生成，及时进行意见交流，方便控制沟通成本，从而控制开发成本。进一步，所述数据模型包括离线模型和实时模型，所述模型装配管理模块中数据模型的组装由以下模块实现，离线模型管理模块：用于通过自定义模型逻辑表对基础变量、衍生变量进行调度组装，生成离线模型；实时API发布管理模块：用于对接实时数据源和衍生变量，并解析验证实时数据源、衍生变量和自定义模型逻辑表是否正确，若正确则结合实时数据源、衍生变量和自定义模型逻辑表生成实时模型，并发布实时API。离线模型和实时模型的设置，方便用户根据实际情况具体选用。进一步，还包括，编辑数据源模块：用于详细编辑数据源的属性，所述属性包括数据源名称、实时接口、数据库、表、字段信息、json字段、关联主键、业务类型和模型字段前缀信息。便于编辑数据源的属性，以便于后期对数据的调用。进一步，还包括，统一解析工具模块：用于加载已编辑完成的完整数据源信息，选择待解析字段，使用同一解析工具，编辑基础变量的基础属性，所述基础属性包括变量名称、字段类型、别名、脱敏方法、业务分类、关联主键、jsonpath、聚合函数和过滤条件信息。便于编辑基础变量的基础属性，以便于后期对数据的调用。进一步，还包括，数据模板编辑模块：用于在json解析过程中，编辑json数据模板，以标准化方式录入json数据模板，完整表述数据的路径以及类型，并保存json数据模板的版本。通过标准化方式录入json数据模板，使得数据的调用更方便。进一步，所述模型装配管理模块还包括以下子模块：装配提交记录模块：用于查看用户装配数据模型的提交记录，所述提交记录包括自定义算法函数、数据模型、json数据模板版本和数据模型装配调度信息。方便对数据模型的装配进行管理。进一步，所述模型装配管理模块还包括以下子模块：用户数据安全模块：用于设定用户在选用数据源时查看预设的用户权限数据库的查看权限，实时模型或离线模型存储在用户权限数据库中。通过权限的设置，能够让有权限的用户查看和数据库中的实时模型或离线模型，从而保障数据安全。进一步，所述实时数据源包括实时半结构化数据，所述非实时数据源包括结构化数据和非结构化数据。通过对数据源的分类，方便对数据根据需求来调用。进一步，所述衍生变量管理模块包括以下子模块：可视化子模块：用于对迭代演算过程和结果进行可视化图表展示。能够清楚直观的观看迭代演算过程和结果，方便风控业务人员和开发人员进行查看分析。本专利技术主要目的之二在于提供一种用于变量的智能管理方法，所述方法用于上述系统，包括以下步骤：数据源管理步骤：配置数据库，并选定数据源，输出完整数据源信息；所述数据源包括实时数据源和非实时数据源；基础变量管理步骤：加载完整数据源信息，并使用统一解析工具，解析基础变量；衍生变量管理步骤：引入基础变量并选择数学算法，对基础变量根据数学算法进行迭代演算生成衍生变量，并输出衍生变量和数学算法，所述数学算法为自定义算法函数；模型装配管理步骤：获取已创建的基础变量、衍生变量和数学算法输出自定义模型逻辑表，并根据自定义模型逻辑表将基础变量、衍生变量组装生成数据模型；所述数据模型包括离线模型和实时模型；离线模型管理步骤：通过自定义模型逻辑表对基础变量、衍生变量进行调度组装，生成离线模型；实时API发布管理步骤：对接实时数据源和衍生变量本文档来自技高网...

【技术保护点】
1.用于变量的智能管理系统，其特征在于：包括以下模块，/n数据源管理模块：用于配置数据库，并选定数据源，输出完整数据源信息；所述数据源包括实时数据源和非实时数据源；/n基础变量管理模块：用于加载完整数据源信息，并使用统一解析工具，解析基础变量；/n衍生变量管理模块：用于引入基础变量并选择数学算法，对基础变量根据数学算法进行迭代演算生成衍生变量，并输出衍生变量和数学算法，所述数学算法为自定义算法函数；/n模型装配管理模块：用于获取已创建的基础变量、衍生变量和数学算法输出自定义模型逻辑表，并根据自定义模型逻辑表将基础变量、衍生变量组装生成数据模型。/n

【技术特征摘要】
1.用于变量的智能管理系统，其特征在于：包括以下模块，
数据源管理模块：用于配置数据库，并选定数据源，输出完整数据源信息；所述数据源包括实时数据源和非实时数据源；
基础变量管理模块：用于加载完整数据源信息，并使用统一解析工具，解析基础变量；
衍生变量管理模块：用于引入基础变量并选择数学算法，对基础变量根据数学算法进行迭代演算生成衍生变量，并输出衍生变量和数学算法，所述数学算法为自定义算法函数；
模型装配管理模块：用于获取已创建的基础变量、衍生变量和数学算法输出自定义模型逻辑表，并根据自定义模型逻辑表将基础变量、衍生变量组装生成数据模型。


2.根据权利要求1所述的用于变量的智能管理系统，其特征在于：所述数据模型包括离线模型和实时模型，所述模型装配管理模块中数据模型的组装由以下模块实现，
离线模型管理模块：用于通过自定义模型逻辑表对基础变量、衍生变量进行调度组装，生成离线模型；
实时API发布管理模块：用于对接实时数据源和衍生变量，并解析验证实时数据源、衍生变量和自定义模型逻辑表是否正确，若正确则结合实时数据源、衍生变量和自定义模型逻辑表生成实时模型，并发布实时API。


3.根据权利要求2所述的用于变量的智能管理系统，其特征在于：还包括，
编辑数据源模块：用于编辑数据源的属性，所述属性包括数据源名称、实时接口、数据库、表、字段信息、json字段、关联主键、业务类型和模型字段前缀信息。


4.根据权利要求3所述的用于变量的智能管理系统，其特征在于：还包括，
统一解析工具模块：用于加载已编辑完成的完整数据源信息，选择待解析字段，使用同一解析工具，编辑基础变量的基础属性，所述基础属性包括变量名称、字段类型、别名、脱敏方法、业务分类、关联主键、jsonpath、聚合函数和过滤条件信息。


5.根据权利要求4所述的用于变量的智能管理系统，其特征在于：还包括，
数据模板编辑模块：用于在json解析过程中，编辑json数据模板，以标准化方式录入json数据模板，完...

【专利技术属性】
技术研发人员：肖会尧，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：重庆;50