【技术实现步骤摘要】
本专利技术涉及程序间通讯，尤其涉及为一种基于人工智能模型动态消费消息的方法及装置。
技术介绍
1、随着互联网和云计算的快速发展，现代应用程序需要更高的可伸缩性、弹性和可靠性。分布式系统的出现使应用程序可以在多个服务器或主机上运行，这样可以提高性能和容错能力。然而，分布式系统引入了新的挑战，例如跨网络通信、数据一致性、消息传递和故障处理等。为了解决这些挑战，消息中间件应运而生。消息中间件成为了一种关键的解决方案。它提供了一种基于消息的通信模型，通过解耦合应用程序之间的通信，实现异步、可靠和高吞吐量的消息传递。现有的消息中间件已经非常的成熟，但是它任然存在一些问题。消息中间件在消息的生产和消费端都存在一些问题，但是本专利技术主要解决的是消费端的消费延迟问题。由于主流消息中介采用的是拉模式的消息传递模型，本专利技术也是解决拉模式下消息消费存在的问题。在拉模式中，消费者主动从消息中间件或消息队列中请求消息并进行消费。消费者控制消费的频率和时机，可以根据自身的处理能力和需求进行灵活调节。拉模式下的消费者需要轮询消息队列或定时拉取消息，以获取可用的消息进行处理。综上所述，拉模式存在以下主要问题：
2、1)需要消费者主动发起请求，增加了消费者的负担和网络开销。
3、2)消费者可能会频繁地请求消息，导致网络和系统资源的浪费。
4、3)不适用于实时性要求较高的场景，因为消息的传递时间可能受到拉取的频率和延迟的影响。
5、为了解决消息延迟的问题，一些消息中间件和消费者库提供了基于流的拉取功能，通过建立
6、1)长连接维持：基于流的拉取通常需要建立和维护长时间的连接，以便实时接收消息流。这可能会增加服务器和客户端的资源消耗，并对网络和系统稳定性提出要求。长时间的连接还可能受到网络中断、超时和其他网络问题的影响。
7、2)吞吐量限制：基于流的拉取通常受到消费者的处理能力和网络带宽的限制。如果消费者的处理速度或网络带宽不足以满足消息的传输需求，系统的吞吐量可能会受到限制。
技术实现思路
1、针对现有技术存在的不足，本专利技术目的是提供一种基于人工智能模型动态消费消息的方法及装置，用于解决当前方案存在不足之处，通过采集历史消息的发送时间规律，利用人工智能技术构建预测模型对消息发送的规律进行预测，从而有效的控制消息的拉取时机与频率，做到降低消息消费延迟的同时降低连接数量，进而也提升了消息消费的吞吐量。
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种基于人工智能模型动态消费消息的方法及装置，包括消息发送时间采集模块、消息发送时间预测模块和消息拉取模块；
3、所述消息发送时间采集模块用于按照周期统计消息发送的时间；
4、所述消息发送时间预测模块用于对消息发送的时间预测模型进行训练并预估消息发送时间；
5、所述消息拉取模块用于消息拉取并反馈消息拉取时间。
6、进一步地，所述消息发送时间采集模块包括如下功能：时间窗口设置、消息计数器、定时重置和统计信息。
7、进一步地，所述消息发送时间采集模块还包括如下步骤：
8、步骤s1、定义一个时间窗口，这将确定消息发送频率的统计间隔，这个时间窗口由发送方设置，未设置默认为每秒钟；
9、步骤s2、创建一个计数器，用于跟踪在时间窗口内发送的消息数量，可以使用一个变量或计数器对象来记录发送的消息数；
10、步骤s3、根据时间窗口的设定，定期重置计数器，例如，如果时间窗口为每分钟，则每分钟结束时将计数器重置为0，以开始下一个时间窗口的统计；
11、步骤s4、提供获取统计信息的功能，例如时间窗口内发送的总消息数、平均每秒钟/每分钟/每小时发送的消息数等。
12、进一步地，所述消息发送时间预测模块包括如下功能：数据分析、特征提取、模型训练、模型评估和预测生成。
13、进一步地，所述消息发送时间预测模块还包括如下步骤：
14、步骤a1、对历史数据进行分析，探索消息发送时间的模式和趋势，可以使用统计方法、机器学习或时间序列分析等技术来分析数据；
15、步骤a2、从历史数据中提取有意义的特征，例如消息内容、发送方、接收方、网络延迟等，这些特征可以作为预测模型的输入；
16、步骤a3、根据提取的特征和目标变量(即消息发送时间)，构建一个预测模型，通过线性回归算法构建模型；
17、步骤a4、使用历史数据的一部分进行模型评估，以衡量模型的准确性和性能，可以使用交叉验证、均方根误差(rmse)、平均绝对误差(mae)等指标进行评估；
18、步骤a5、根据新的消息特征，使用训练好的模型进行预测，得到消息发送时间的估计值。
19、进一步地，所述消息拉取模块包括如下功能：消息拉取、消息消费和息延迟反馈。
20、进一步地，所述消息拉取模块还包括如下步骤：
21、步骤b1、根据消息时间预估模型给出的时间拉取消息队列中的消息进行消费，消息拉取线程在线程池中管理；
22、步骤b2、拉取到消息后调用消费接口对消息进行相关业务逻辑处理；
23、步骤b3、消息拉取模块计算出每条消息的消费延迟并反馈给消息发送时间预测模块。
24、进一步地，一种基于人工智能模型动态消费消息的方法，并包括三个阶段：采集消费期、适应调整消费期和稳定消费期三个阶段。
25、进一步地，所述该方法还包括以下步骤：
26、步骤c1、整个装置启动后处于采样消费期，根据消息发送的频率给消息发送时间采集模块配置时间窗口，无法确定时，默认按照一秒作为采样周期，采样模块按照时间窗口到消息队列获取消息的发送时间，并将采集的消息发送时间整理后保存；
27、步骤c2、消息发送时间采集模块采集到的消息特征数据达到消息发送时间预测模块要求的数量之后，将样本数据打包压缩后传输给消息发送时间预测模块，同时采样模块继续进行消息发送特征信息的采集；
28、步骤c3、在上一步骤中，消息发送时间预测模块获取到消息发送时间采集模块发送的训练数据，消息发送时间预测模块从休眠模式转为训练模式，消息发送时间预测模块从训练数据中提取出模型需要的特征信息，通过线性回归算法构建预测模型，并对模型进行训练，训练结束之后，消息发送时间预测模块转为评估模式；
29、步骤c4、预测模型进入评估模式之后，利用消息发送时间采集模块发送的最新数据包对模型进行评估，评估指标不满足要求继续转入步骤c3进行训练，评估指标满足要求，模型进入预测模式，对消息发送时间进行预测，并把预测结果发送给消息拉取模块，整个装置进入适应调整消费期；
30、步骤c5、消息拉取模块收到消息发送时间预测模块的预测本文档来自技高网...
【技术保护点】
1.一种基于人工智能模型动态消费消息的装置，其特征在于：包括消息发送时间采集模块、消息发送时间预测模块和消息拉取模块；
2.根据权利要求1所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间采集模块包括如下功能：时间窗口设置、消息计数器、定时重置和统计信息。
3.根据权利要求2所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间采集模块还包括如下步骤：
4.根据权利要求3所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间预测模块包括如下功能：数据分析、特征提取、模型训练、模型评估和预测生成。
5.根据权利要求4所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间预测模块还包括如下步骤：
6.根据权利要求5所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息拉取模块包括如下功能：消息拉取、消息消费和息延迟反馈。
7.根据权利要求6所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息拉取模块还包括
8.一种基于人工智能模型动态消费消息的方法，其特征在于：使用权利要求1-7任一项所述的基于人工智能模型动态消费消息的装置，并包括三个阶段：采集消费期、适应调整消费期和稳定消费期三个阶段。
9.根据权利要求8所述的一种基于人工智能模型动态消费消息的方法，其特征在于：所述该方法还包括以下步骤：
10.根据权利要求9所述的一种基于人工智能模型动态消费消息的方法，其特征在于：所述步骤C1采样模块还包括采集消息发送时间、采集消息长度、Topic和Partition消息特征信息。
...【技术特征摘要】
1.一种基于人工智能模型动态消费消息的装置，其特征在于：包括消息发送时间采集模块、消息发送时间预测模块和消息拉取模块；
2.根据权利要求1所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间采集模块包括如下功能：时间窗口设置、消息计数器、定时重置和统计信息。
3.根据权利要求2所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间采集模块还包括如下步骤：
4.根据权利要求3所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间预测模块包括如下功能：数据分析、特征提取、模型训练、模型评估和预测生成。
5.根据权利要求4所述的一种基于人工智能模型动态消费消息的装置，其特征在于：所述消息发送时间预测模块还包括如下步骤：
6.根据权利要...
【专利技术属性】
技术研发人员：刘锐，辛晨，吴雷，陈坚利，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。