【技术实现步骤摘要】
数据接入处理方法、系统、设备及介质
[0001]本专利技术涉及数据处理
,特别涉及一种数据接入处理方法
、
数据接入处理系统
、
电子设备及存储介质
。
技术介绍
[0002]随着信息技术的发展,数据处理成为现代企业和组织的重要组成部分
。
数据来源的多样性和数据格式的不统一使得数据接入成为数据处理中一个必须面对的难题
。
传统的数据接入方法往往需要大量的人力和时间,而且容易出现数据转换错误和数据安全问题
。
[0003]对于金融机构来说,一般情况下数据分为内部和外部数据,相比较内部数据,外部数据量更大
、
来源更多
、
结构更复杂,导致从数据接入到实现价值的整个生命周期困难重重,既有很高的技术门槛,又无法保障质量,企业想达到“知数善用”并不容易
。
而在开展银行类授信项目时,用户或者企业的授信模型计算往往会依赖很多外部数据源,在实际项目开发数据对接过程中会出现很多问题:
(1)
每一个接口都需要进行单独的定制化开发,对接流程繁琐,开发及联调工作量大,且后期管理难度大维护成本高;
(2)
数据接入时间成本高,外部数据接口接入时花费时间较长,联机查询数据后数据返回缓慢;
(3)
当业务系统重复接入时,会导致代码维护工作量非常大,难以实现接口接入的有效监管;
(4)
外部数据质量检测过程繁杂,难以把控接入的外部数据质量
【技术保护点】
【技术特征摘要】
1.
一种数据接入处理方法,其特征在于,所述数据接入处理方法包括:基于预设训练目标配置数据获取请求;响应于所述数据获取请求从第三方数据源获取至少一个目标接口,并将所述目标接口存储至接口返回表中;解析所述接口返回表中的各个所述目标接口,以获取与所述目标接口对应的目标数据,并将所述目标数据存储至对应的数据返回表中;从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练,输出满足所述预设训练目标的目标模型
。2.
如权利要求1所述的数据接入处理方法,其特征在于,所述数据接入处理方法,还包括:判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口;若是,则从所述接口返回表调用对应的所述目标接口;若否,则从所述第三方数据源获取对应的所述目标接口
。3.
如权利要求2所述的数据接入处理方法,其特征在于,所述判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口,包括:判断所述接口返回表中是否具有与所述数据获取请求中字段名
、
编码
、
名称
、
地址中至少一个类型相匹配的目标接口;和
/
或,所述预设调用模板包括串行模板
、
并行模板
、
树型模板中的至少一种
。4.
如权利要求1中所述的数据接入处理方法,其特征在于,所述基于预设训练目标配置数据获取请求,包括:响应所述预设训练目标,创建数据获取请求对应的配置界面;基于所述配置界面,配置任务执行周期
、
接口表
、
接口参数
、
接口字段
、
执行结果中的至少一种,以完成所述数据获取请求的配置
。5.
一种数据接入处理系统,其特征在于,所述数据接入处理系统包括:配置模块,基于预设训练目标配置数据获取请求;接口获取模块,响应于所述数据获取请求从第三方数据源获取至少一个目标接口,并将...
【专利技术属性】
技术研发人员:刘志阳,禹迹,宋韵波,
申请(专利权)人:上海吉贝克信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。