大数据的推送方法、系统和电子设备技术方案

本发明专利技术提供了一种大数据的推送方法、系统和电子设备，涉及数据推送的技术领域，该方法包括：首先根据待推送数据信息和当前数据库的监控参数，确定第一推送速度；然后以第一推送速度进行数据推送，并实时获取当前交付时间；如果当前交付时间超过目标交互时间，则向数据库管理员和大数据需求方发送告警程序；再接收基于告警程序生成的推送决策，并根据推送决策确定第二推送速度；第二推送速度为将剩余推送数据量在目标交付时间内完成推送的最小速度，通过该方法缓解了现有技术中存在的数据推送不及时、数据库稳定性差的问题，实现了稳定且高效地进行大数据推送的效果。高效地进行大数据推送的效果。高效地进行大数据推送的效果。

【技术实现步骤摘要】
大数据的推送方法、系统和电子设备


[0001]本专利技术涉及数据推送
，尤其是涉及一种大数据的推送方法、系统和电子设备。

技术介绍

[0002]随着信息化技术和电子渠道的业务发展要求，大数据被广泛应用于各大互联网、电商、游戏、金融等行业，需要将不同业务系统中的数据信息进行处理，然后基于业务要求，通过消息推送的模式在不同的渠道触达用。随着应用场景的增多，大数据需要对接公司内所有核心业务系统，通过对业务数据进行抽取，实现制作商业报表、提供给决策层做合理的决策，或者自动化程序通过报表数据进行个性化、智能化的推荐等应用。
[0003]但是在大数据的数据推送场景下，大部分公司没有统一的标准或者平台进行智能化管理，大量数据进行多线程的推送容易导致服务器性能受损，影响数据库稳定性，也容易发生主从延迟的现象。因此现有大数据的推送技术无法在满足时效性、数据库稳定性等多维度的要求下同时满足业务各方面需求。也就是说，现有的技术存在数据推送不及时、数据库稳定性差的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种大数据的推送方法、系统和电子设备，以缓解现有技术中存在的数据推送不及时、数据库稳定性差的技术问题。
[0005]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种大数据的推送方法，应用于大数据推送系统，上述方法包括：
[0007]根据待推送数据信息和当前数据库的监控参数，确定第一推送速度；上述待推送数据信息包括待推送数据量以及目标交付时间；上述第一推送速度为将上述推送数据量在上述目标交付时间内完成推送的最小速度；
[0008]以上述第一推送速度进行数据推送，并实时获取当前交付时间；如果上述当前交付时间超过上述目标交互时间，则向数据库管理员和上述大数据需求方发送告警程序；
[0009]接收基于上述告警程序生成的推送决策，并根据上述推送决策确定第二推送速度；上述第二推送速度为将剩余推送数据量在上述目标交付时间内完成推送的最小速度。
[0010]进一步的，上述数据库的监控参数包括：每秒查询率QPS和每秒事物量TPS；
[0011]上述方法还包括：接收上述大数据需求方发送的待推送数据信息；上述待推送数据信息包括待推送数据量以及目标交付时间。
[0012]进一步的，根据待推送数据信息和当前数据库的监控参数，确定第一推送速度，包括：
[0013]基于当前数据库的监控参数、上述待推送数据量以及上述目标交付时间，确定第一推送速度。
[0014]进一步的，接收基于上述告警程序生成的推送决策，并根据上述推送决策确定第二推送速度，包括：
[0015]接收上述数据库管理员根据上述告警程序生成的当前数据库的最大监控参数；
[0016]接收上述大数据需求方根据上述告警程序生成的可延迟交付时间；
[0017]基于上述当前数据库的最大监控参数和上述可延迟交付时间，生成推送决策；
[0018]根据上述推送决策确定第二推送速度。
[0019]进一步的，上述方法还包括：构建配置管理数据库CMDB作为当前数据库；上述当前数据库包括主数据库，每个上述主数据库包括至少一个从数据库；上述主数据库用于接收大数据推送请求。
[0020]进一步的，上述方法还包括：基于上述监控参数生成可视化数据库监控；上述可视化数据库监控用于在上述大数据推送系统上显示数据库的信息。
[0021]进一步的，上述方法还包括：基于上述待推送数据信息、已推送数据信息和剩余待推送数据信息，生成任务进度监控；上述任务进度监控用于在上述大数据推送系统上显示当前推送任务的进度，并且将上述当前推送任务的进度向上述数据库管理员和上述大数据需求方发送。
[0022]第二方面，本专利技术实施例提供了一种大数据推送系统，上述大数据推送系统包括：
[0023]第一推送速度确定模块，用于根据待推送数据信息和当前数据库的监控参数，确定第一推送速度；上述待推送数据信息包括待推送数据量以及目标交付时间；上述第一推送速度为将上述推送数据量在上述目标交付时间内完成推送的最小速度；
[0024]数据推送模块，用于以上述第一推送速度进行数据推送，并实时获取当前交付时间；如果上述当前交付时间超过上述目标交互时间，则向数据库管理员和上述大数据需求方发送告警程序；
[0025]第二推送速度确定模块，用于接收基于上述告警程序生成的推送决策，并根据上述推送决策确定第二推送速度；上述第二推送速度为将剩余推送数据量在上述目标交付时间内完成推送的最小速度。
[0026]进一步的，上述数据库的监控参数包括：每秒查询率QPS和每秒事物量TPS；上述系统还包括接收模块，用于接收上述大数据需求方发送的待推送数据信息；上述待推送数据信息包括待推送数据量以及目标交付时间。
[0027]进一步的，上述第一推送速度确定模块还用于：基于当前数据库的监控参数、上述待推送数据量以及上述目标交付时间，确定第一推送速度。
[0028]进一步的，上述第二推送速度确定模块，还用于：接收上述数据库管理员根据上述告警程序生成的当前数据库的最大监控参数；接收上述大数据需求方根据上述告警程序生成的可延迟交付时间；基于上述当前数据库的最大监控参数和上述可延迟交付时间，生成推送决策；根据上述推送决策确定第二推送速度。
[0029]进一步的，上述系统还包括数据库构建模块，用于构建配置管理数据库CMDB作为当前数据库；上述当前数据库包括主数据库，每个上述主数据库包括至少一个从数据库；上述主数据库用于接收大数据推送请求。
[0030]进一步的，上述系统还包括可视化数据库监控生成模块，用于基于上述监控参数生成可视化数据库监控；上述可视化数据库监控用于在上述大数据推送系统上显示数据库
的信息。
[0031]进一步的，上述系统还包括任务进度监控生成模块，用于基于上述待推送数据信息、已推送数据信息和剩余待推送数据信息，生成任务进度监控；上述任务进度监控用于在上述大数据推送系统上显示当前推送任务的进度，并且将上述当前推送任务的进度向上述数据库管理员和上述大数据需求方发送。
[0032]第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
[0033]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
[0034]本专利技术提供了一种大数据的推送方法、系统和电子设备，该方法包括：首先根据待推送数据信息和当前数据库的监控参数，确定第一推送速度；然后以第一推送速度进行数据推送，并实时获取当前交付时间；如果当前交付时间超过目标交互时间，则向数据库管理员和大数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据的推送方法，其特征在于，应用于大数据推送系统，包括：根据待推送数据信息和当前数据库的监控参数，确定第一推送速度；所述待推送数据信息包括待推送数据量以及目标交付时间；所述第一推送速度为将所述推送数据量在所述目标交付时间内完成推送的最小速度；以所述第一推送速度进行数据推送，并实时获取当前交付时间；如果所述当前交付时间超过所述目标交互时间，则向数据库管理员和所述大数据需求方发送告警程序；接收基于所述告警程序生成的推送决策，并根据所述推送决策确定第二推送速度；所述第二推送速度为将剩余推送数据量在所述目标交付时间内完成推送的最小速度。2.根据权利要求1所述的方法，其特征在于，所述数据库的监控参数包括：每秒查询率QPS和每秒事物量TPS；所述方法还包括：接收所述大数据需求方发送的待推送数据信息；所述待推送数据信息包括待推送数据量以及目标交付时间。3.根据权利要求2所述的方法，其特征在于，根据待推送数据信息和当前数据库的监控参数，确定第一推送速度，包括：基于当前数据库的监控参数、所述待推送数据量以及所述目标交付时间，确定第一推送速度。4.根据权利要求2所述的方法，其特征在于，接收基于所述告警程序生成的推送决策，并根据所述推送决策确定第二推送速度，包括：接收所述数据库管理员根据所述告警程序生成的当前数据库的最大监控参数；接收所述大数据需求方根据所述告警程序生成的可延迟交付时间；基于所述当前数据库的最大监控参数和所述可延迟交付时间，生成推送决策；根据所述推送决策确定第二推送速度。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：构建配置管理数据库CMDB作为当前数据库；所述当前数据库包括主数据库，每个所述主数据库包括至少一个从数据库；所...

【专利技术属性】
技术研发人员：姚伏霞，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：