基于业务代理的业务消息处理方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种基于业务代理的业务消息处理方法，涉及计算机网络领域，该方法通过获取远程配置模块设置的业务配置信息；监听当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载；根据积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题；将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理。本技术方案通过在业务消息积压时构建资源量更大的作业进行处理，在业务消息量少时构建资源量少的作业进行处理，从而实现业务代理系统中的资源的合理利用，避免了业务消息积压和资源浪费，同时提高资源利用率。

【技术实现步骤摘要】
基于业务代理的业务消息处理方法、装置及电子设备
本申请涉及计算机网络领域，具体而言，本申请涉及一种基于业务代理的业务消息处理方法、装置及电子设备，还涉及一种计算机可读存储介质。
技术介绍
近年来，随着互联网应用的兴起，用户越来越倾向于选择在线视频直播观看主播进行主播。在直播过程中，观众用户会向主播进行送礼，或者在直播间发送弹幕和发言等，直播平台需要对这些业务消息进行处理，以监控直播平台的运营情况。由于需要处理的业务消息较多，需要对业务消息进行聚合处理，例如，统计某主播1小时内的收礼数量，某个直播间每分钟的发言和弹幕数据量，提高处理效率。目前，常用的业务消息处理技术是基于Flink开源流处理框架自带FlinkSQLAPI的流式处理开发方式，通过业务方将需要聚合处理的源数据生产至该源数据对应的消息中间件，编写FlinkSQL语句消费该源数据中业务消息指定的消息主题，执行业务聚合操作并保存数据库中存储；或者编写流处理程序利用流式处理框架系统上的作业进行数据聚合处理。然而，业务消息的数量很大时，消息中间件难以及时处理业务消息时需要对业务消息进行缓存处理，但缓存容易受到服务故障影响而导致数据丢失，当业务消息量少时，流式处理框架系统上的作业无法拉取到充足的业务消息，导致作业上的资源浪费，影响业务处理系统的性能。
技术实现思路
本申请的目的旨在至少解决上述技术缺陷之一，提出以下技术方案：第一方面，本申请实施例提供一种基于业务代理的业务消息处理方法，包括以下步骤：获取远程配置模块设置的业务配置信息；监听当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载；根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题；将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理。在一种可能的实现方式中，所述将新的业务消息发送至所述消息中间件的新消息主题，包括：在进行扩缩容作业处理时，从键值数据库中读取预存的映射关系；其中，所述映射关系为预先建立并保存的所述业务消息的业务标识、所述新消息主题以及所述扩缩容作业之间的映射关系；根据所述映射关系将新的业务消息发送至相应的所述消息中间件的新消息主题。在一种可能的实现方式中，所述将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理的步骤包括：在当前作业对应的消息中间件消息主题中的业务消息被处理完毕后，将新的业务消息发送至所述消息中间件的新消息主题；利用所述新消息主题对应的扩缩容作业拉取所述新消息主题的业务消息，并按照所述业务配置信息对所述业务消息进行聚合处理。在一种可能的实现方式中，所述根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题的步骤包括：根据所述积压状态确定待处理的业务消息的第一数量，根据所述运行负载确定所述流式处理框架的作业资源；当所述第一数量大于第一预设阈值且所述流式处理框架的作业资源充足时，构建扩容作业及其对应的消息中间件的扩容消息主题；所述新消息主题为所述扩容消息主题。在一种可能的实现方式中，所述根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题的步骤包括：根据所述积压状态确定待处理的业务消息的第二数量，以及统计所述积压状态的持续时间；当所述第二数量小于第二预设阈值且持续时间达到预设时间阈值时，构建缩容作业及其对应的消息中间件的缩容消息主题；所述新消息主题为缩容消息，所述缩容作业的作业资源量小于扩容作业的作业资源量。在一种可能的实现方式中，所述构建扩缩容作业及其对应的消息中间件的新消息主题的步骤包括：获取待处理的业务消息的处理状态；基于所述处理状态确定处理所述业务消息的资源参数，根据所述资源参数构建对应的扩缩容作业及其对应的消息中间件的新消息主题。在一种可能的实现方式中，所述在在当前作业对应的消息中间件消息主题中的业务消息被处理完毕后的步骤之后，还包括：释放当前作业及其对应的消息中间件消息主题。在一种可能的实现方式中，所述获取远程配置模块设置的业务配置信息的步骤之后，还包括：解析所述业务配置信息，确定待处理的业务消息的消息标识及其对应的聚合逻辑；所述利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理的步骤包括：利用所述新消息主题对应的扩缩容作业按照所述业务消息的消息标识及其对应的聚合逻辑进行聚合处理。在一种可能的实现方式中，所述将新的业务消息发送至所述消息中间件的新消息主题进行消费的步骤之前，还包括：获取通过调用服务接口注入的源数据；根据所述消息标识从注入的源数据中筛选出待处理的新的业务消息。第二方面，本申请实施例提供一种基于业务代理的业务消息处理装置，包括：信息获取模块，用于获取远程配置模块设置的业务配置信息；状态监听模块，用于监听当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载；作业构建模块，用于根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题；消息处理模块，用于将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理。第三方面，本申请实施例提供一种电子设备，所述电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据第一方面所述的基于业务代理的业务消息处理方法。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于业务代理的业务消息处理方法。本申请提供的技术方案带来的有益效果是：通过获取远程配置模块设置的业务配置信息，结合监听的当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载构建扩缩容作业及其对应的消息中间件的新消息主题，将新的业务消息发送至消息中间件的新消息主题进行消费，并根据业务配置信息及新消息主题对应的扩缩容作业对业务消息进行聚合处理。本技术方案通过新的处理架构，在业务消息积压时可以构建资源量更大的作业进行处理，在业务消息量少时也可以构建资源量少的作业进行处理，从而实现业务代理系统中的资源的合理利用，避免了业务消息积压和资源浪费，同时提高资源利用率。进一步的，在消息中间件的当前消息主题的业务消息处理完毕后，在启动新的消息主题和扩缩容作业对新的业务消息进行聚合处理，保证了业务消息处理的时序性。当前消息主题的业务消息处理完毕后，释放出当前的任务所占用的资源，以保障流式本文档来自技高网...

【技术保护点】
1.一种基于业务代理的业务消息处理方法，其特征在于，包括以下步骤：/n获取远程配置模块设置的业务配置信息；/n监听当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载；/n根据所述积压状态和所述运行负载构建扩缩容作业及其对应的消息中间件的新消息主题；/n将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理。/n

【技术特征摘要】
1.一种基于业务代理的业务消息处理方法，其特征在于，包括以下步骤：
获取远程配置模块设置的业务配置信息；
监听当前消息中间件的业务消息的积压状态和流式处理框架的数据处理的运行负载；
根据所述积压状态和所述运行负载构建扩缩容作业及其对应的消息中间件的新消息主题；
将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理。


2.根据权利要求1所述的基于业务代理的业务消息处理方法，其特征在于，所述将新的业务消息发送至所述消息中间件的新消息主题的步骤，包括：
在进行扩缩容作业处理时，从键值数据库中读取预存的映射关系；其中，所述映射关系为预先建立并保存的所述业务消息的业务标识、所述新消息主题以及所述扩缩容作业之间的映射关系；
根据所述映射关系将新的业务消息发送至对应的所述消息中间件的新消息主题。


3.根据权利要求2所述的基于业务代理的业务消息处理方法，其特征在于，所述将新的业务消息发送至所述消息中间件的新消息主题，并利用所述新消息主题对应的扩缩容作业按照所述业务配置信息对所述业务消息进行聚合处理的步骤包括：
在当前作业对应的消息中间件消息主题中的业务消息被处理完毕后，将新的业务消息发送至所述消息中间件的新消息主题；
利用所述新消息主题对应的扩缩容作业拉取所述新消息主题的业务消息，并按照所述业务配置信息对所述业务消息进行聚合处理。


4.根据权利要求1所述的基于业务代理的业务消息处理方法，其特征在于，所述根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题的步骤包括：
根据所述积压状态确定待处理的业务消息的第一数量，根据所述运行负载确定所述流式处理框架的作业资源；
当所述第一数量大于第一预设阈值且所述流式处理框架的作业资源充足时，构建扩容作业及其对应的消息中间件的扩容消息主题；所述新消息主题为所述扩容消息主题。


5.根据权利要求1所述的基于业务代理的业务消息处理方法，其特征在于，所述根据所述积压状态和运行负载构建扩缩容作业及其对应的消息中间件的新消息主题的步骤包括：
根据所述积压状态确定待处理的业务消息的第二数量，以及统计所述积压状态的持续时间；
当所述第二数量小于第二预设阈值且持续时间达到预设时间阈值时，构建缩容作业及其对应的消息中间件的缩容消息主题；所述新消息主题为缩容消息；所述缩容作业的作业资源量小于扩容作业的作业资源量。
<...

【专利技术属性】
技术研发人员：张睿，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44