一种数据推送方法和相关装置制造方法及图纸

技术编号:35752811 阅读:10 留言:0更新日期:2022-11-26 18:59
本申请公开了一种数据推送方法和相关装置,可应用于大数据领域或金融领域。获取调用命令,该调用命令包括目标数据参数表的名称,目标数据参数表包括字段名称、提取条件、多个下游系统分别对应的地址和推送频率,提取条件是根据不同下游系统的业务需求确定的。根据目标数据参数表的名称获取推送频率,若当前时间符合所述推送频率,则根据目标数据参数表、字段名称和所述提取条件,从数据库中提取得到多个下游系统分别所需的结果数据,并按照多个下游系统的地址分别推送对应的结果数据。由此,无需根据多张大数据表提取多次结果数据,降低了多下游系统所需结果数据的计算量。了多下游系统所需结果数据的计算量。了多下游系统所需结果数据的计算量。

【技术实现步骤摘要】
一种数据推送方法和相关装置


[0001]本专利技术涉及大数据处理
,尤其是涉及一种数据推送方法和相关装置。

技术介绍

[0002]大数据平台对外提供数据服务,即为不同的下游系统推送其所需的结果数据。具体地,大数据平台汇聚数据入数据湖后,经过数据仓库加工得到加工后的结果数据集,并根据不同的下游系统的业务需求提取不同的结果数据,并将结果数据推送给对应的下游系统。
[0003]但是,该过程中会产生一种重复劳动,若两个下游系统需要同一个结果数据,依然会从结果数据集中提取两次结果数据,并分别推送给对应的下游系统。

技术实现思路

[0004]针对上述问题,本申请提供一种数据推送方法和相关装置,用于降低多下游系统所需结果数据的计算量。
[0005]基于此,本申请实施例公开了如下技术方案:
[0006]一方面,本申请实施例提供一种数据推送方法,所述方法包括:
[0007]获取调用命令,所述调用命令包括目标数据参数表的名称,所述目标数据参数表包括字段名称、提取条件、多个下游系统分别对应的地址和推送频率,所述提取条件是根据不同所述下游系统的业务需求确定的;
[0008]根据所述目标数据参数表的名称获取所述推送频率;
[0009]若当前时间符合所述推送频率,则根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取得到所述多个下游系统分别所需的结果数据;
[0010]按照所述多个下游系统的地址分别推送对应的结果数据。
[0011]可选的,所述根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取得到所述多个下游系统分别所需的结果数据,包括:
[0012]根据所述目标数据参数表的名称确定所述目标数据参数表;
[0013]根据所述目标数据参数表拼接得到所述多个下游系统所需的多个查询语句,所述查询语句用于指示从数据库存储的目标数据表中,根据所述下游系统的提取条件和所述下游系统所需的字段名称提取结果数据;
[0014]根据所述多个查询语句分别从所述目标数据表中提取得到所述多个下游系统分别所需的结果数据。
[0015]可选的,所述方法还包括:
[0016]若从所述数据库中提取所述结果数据失败,则每隔固定时间执行根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤,直至得到所述结果数据。
[0017]可选的,所述方法还包括:
[0018]若从所述数据库中提取所述结果数据失败的次数等于预设阈值,则不再执行所述每隔固定时间根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤。
[0019]可选的,所述从数据库中提取得到所述多个下游系统分别所需的结果数据之后,所述方法还包括:
[0020]将所述结果数据按照所公共规范分别存入所述多个下游系统分别对应的离线文本文件中;
[0021]所述按照所多个下游系统的地址分别推送对应的结果数据,包括:
[0022]按照所述多个下游系统的地址分别推送对应的离线文本文件。
[0023]可选的,所述方法还包括:
[0024]记录数据提取日志表,所述数据提取日志表包括提取开始时间、提取结束时间、提取结果状态、离线文本文件推送开始时间、离线文本文件推送结束时间、离线文本文件推送结果状态和失败重试次数中的至少一种。
[0025]可选的,所述按照所述多个下游系统的地址分别推送对应的结果数据,包括:
[0026]获取目标下游系统的用户名和密码,所述目标下游系统为所述多个下游系统中的一个;
[0027]若所述用户名和所述密码通过验证,则按照所述目标下游系统的地址推送对应的结果数据。
[0028]另一方面,本申请提供了一种数据推送装置,其特征在于,所述装置包括:第一获取单元、第二获取单元、提取单元和推送单元;
[0029]所述第一获取单元,用于获取调用命令,所述调用命令包括目标数据参数表的名称,所述目标数据参数表包括字段名称、提取条件、多个下游系统分别对应的地址和推送频率,所述提取条件是根据不同所述下游系统的业务需求确定的;
[0030]所述第二获取单元,用于根据所述目标数据参数表的名称获取所述推送频率;
[0031]所述提取单元,用于若当前时间符合所述推送频率,则根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取得到所述多个下游系统分别所需的结果数据;
[0032]所述推送单元,用于按照所述多个下游系统的地址分别推送对应的结果数据。
[0033]可选的,所述提取单元,具体用于:
[0034]根据所述目标数据参数表的名称确定所述目标数据参数表;
[0035]根据所述目标数据参数表拼接得到所述多个下游系统所需的多个查询语句,所述查询语句用于指示从数据库存储的目标数据表中,根据所述下游系统的提取条件和所述下游系统所需的字段名称提取结果数据;
[0036]根据所述多个查询语句分别从所述目标数据表中提取得到所述多个下游系统分别所需的结果数据。
[0037]可选的,所述装置还包括重试单元,用于:
[0038]若从所述数据库中提取所述结果数据失败,则每隔固定时间执行根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤,直至得到所述结果数据。
[0039]可选的,所述装置还包括停止单元,用于:
[0040]若从所述数据库中提取所述结果数据失败的次数等于预设阈值,则不再执行所述每隔固定时间根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤。
[0041]可选的,所述装置还包括存储单元,用于:
[0042]所述从数据库中提取得到所述多个下游系统分别所需的结果数据之后,将所述结果数据按照所公共规范分别存入所述多个下游系统分别对应的离线文本文件中;
[0043]所述推送单元,具体用于:
[0044]按照所述多个下游系统的地址分别推送对应的离线文本文件。
[0045]可选的,所述装置还包括记录单元,用于:
[0046]记录数据提取日志表,所述数据提取日志表包括提取开始时间、提取结束时间、提取结果状态、离线文本文件推送开始时间、离线文本文件推送结束时间、离线文本文件推送结果状态和失败重试次数中的至少一种。
[0047]可选的,所述推送单元,具体用于:
[0048]获取目标下游系统的用户名和密码,所述目标下游系统为所述多个下游系统中的一个;
[0049]若所述用户名和所述密码通过验证,则按照所述目标下游系统的地址推送对应的结果数据。
[0050]另一方面,本申请提供了一种计算机设备,所述设备包括处理器以及存储器:
[0051]所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
[0052]所述处理器用于根据所述程序代码中本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据推送方法,其特征在于,所述方法包括:获取调用命令,所述调用命令包括目标数据参数表的名称,所述目标数据参数表包括字段名称、提取条件、多个下游系统分别对应的地址和推送频率,所述提取条件是根据不同所述下游系统的业务需求确定的;根据所述目标数据参数表的名称获取所述推送频率;若当前时间符合所述推送频率,则根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取得到所述多个下游系统分别所需的结果数据;按照所述多个下游系统的地址分别推送对应的结果数据。2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取得到所述多个下游系统分别所需的结果数据,包括:根据所述目标数据参数表的名称确定所述目标数据参数表;根据所述目标数据参数表拼接得到所述多个下游系统所需的多个查询语句,所述查询语句用于指示从数据库存储的目标数据表中,根据所述下游系统的提取条件和所述下游系统所需的字段名称提取结果数据;根据所述多个查询语句分别从所述目标数据表中提取得到所述多个下游系统分别所需的结果数据。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:若从所述数据库中提取所述结果数据失败,则每隔固定时间执行根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤,直至得到所述结果数据。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:若从所述数据库中提取所述结果数据失败的次数等于预设阈值,则不再执行所述每隔固定时间根据所述目标数据参数表、所述字段名称和所述提取条件,从数据库中提取所述结果数据的步骤。5.根据权利要求1所述的方法,其特征在于,所述从数据库中提取得到所述多个下游系统分别所需的结果数据之后,所述方法还包括:将所述结果数据按照所公共规范分别存入所述多个下游系统分别对应的离线文本文件中;所述按照所多个下游系统...

【专利技术属性】
技术研发人员:周允
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1