一种基于轻量级SQS消息处理框架的数据处理方法及其系统技术方案

本申请涉及一种基于轻量级SQS消息处理框架的数据处理方法，其包括实时接收对待处理消息队列进行数据处理的消息处理请求，根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，获取待处理消息队列中携带的待处理消息数据，根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理。本申请具有使消息队列中的各组消息能够并行处理，提高消息数据处理的有序性，降低SQS消息处理框架的运维成本的效果。处理框架的运维成本的效果。处理框架的运维成本的效果。

【技术实现步骤摘要】
一种基于轻量级SQS消息处理框架的数据处理方法及其系统


[0001]本专利技术涉及消息队列数据处理的
，尤其是涉及一种基于轻量级SQS消息处理框架的数据处理方法及其系统。

技术介绍

[0002]目前，随着消息发送的吞吐量增大，在消息传输过程中设置消息处理框架来进行消息队列的转发处理，从而提高消息发送与接收的有序性。
[0003]现有的消息处理框架对数据进行处理的方式通常是采用各种消息中间件对消息数据进行处理如kafka，但是，现有的消息中间件往往追求百万级以上的高吞吐量，对于中小型企业来说，消息吞吐量往往是轻量级的，kafka这类百万级以上的高吞吐量消息中间件对中小型企业来说，运维成本过高，且与企业轻量级的消息吞吐量不适配。
[0004]上述中的相关技术方案存在以下缺陷：轻量级的企业消息数据与高吞吐量的消息处理框架不适配，且高吞吐量的消息处理框架还需要长期的运维，容易造成企业运维成本过大。

技术实现思路

[0005]为了降低企业对消息处理框架的运维成本，提高消息处理框架与企业轻量级的消息数据吞吐量的适配性，本申请提供一种基于轻量级SQS消息处理框架的数据处理方法及其系统。
[0006]本申请的上述专利技术目的一是通过以下技术方案得以实现的：提供一种基于轻量级SQS消息处理框架的数据处理方法，所述基于轻量级SQS消息处理框架的数据处理方法包括：实时接收对待处理消息队列进行数据处理的消息处理请求；根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则；获取待处理消息队列中携带的待处理消息数据；根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理。
[0007]通过采用上述技术方案，由于SQS消息队列服务只能使用队列里的分组，无法根据实际消息数据动态创建消息队列，且SQS通常是随机拉取消息数据进行消息队列分组，消息传输过程较为杂乱，增加企业的运维成本，因此，通过预先训练好的SQS消息处理框架根据消息处理请求来进行初始化，使得到的消息处理规则满足当前消息数据的处理需求，提高SQS消息处理框架与当前待处理的消息队列的适配性，并通过将待处理消息数据映射至线程池中，通过适配程度最优的消息处理器对待处理消息数据进行数据处理，从而通过对应的线程池对每个待处理消息数据进行解耦并分发至对应的消息处理器进行处理，使消息队列中的各组消息能够并行处理，提高消息数据处理的有序性，通过将每个消息数据映射至
不同的线程池中进行并行处理，降低SQS消息处理框架的运维成本。
[0008]本申请在一较佳示例中可以进一步配置为：所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，具体包括：根据所述消息处理请求，构建与所述待处理消息队列相适配的目标线程池；对所述SQS消息处理框架中的消息处理类进行重新划分，得到与所述待处理消息队列相适配的目标消息处理类；分别获取所述待处理消息队列与所述目标线程池、所述目标消息处理类之间的映射关系；根据所述映射关系，将所述目标消息处理类映射至所述目标线程池中运行，得到与所述消息处理请求相适配的消息处理规则，其中，消息处理规则用于将控制所述目标线程池对所述目标消息处理类进行数据处理。
[0009]通过采用上述技术方案，通过消息处理请求中的消息数据在SQS消息处理框架中构建相适配的目标线程池，提高消息数据与目标线程池的契合程度，并对消息处理类根据当前的消息数据进行重新划分，使目标消息处理类与待处理消息队列契合，通过待处理消息队列与目标线程池、待处理消息队列与目标消息处理类之间的映射关系，来将消息处理类映射至目标线程池中运行，从而调动对应的目标线程池对待处理消息队列进行并行处理，提高消息队列处理的有序性，通过消息处理规则来控制目标线程池对目标消息处理类对待处理消息队列进行数据处理，从而提高消息队列数据处理的效率。
[0010]本申请在一较佳示例中可以进一步配置为：所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，还包括：根据所述消息处理请求，对所述待处理消息队列的消息容量进行重新划分，得到符合所述消息处理请求的消息容量阈值；调节每组消息队列的消息可见时间，使调整后的消息可见时间满足所述消息容量阈值的处理需求，得到目标消息可见时间；根据所述目标消息可见时间，对每组消息队列的消息续约时间进行调整处理，得到符合所述消息处理请求的目标消息续约时间；根据所述目标消息可见时间和所述目标消息续约时间，对所述SQS消息处理框架的消息处理时间规则进行更新，得到与所述待处理消息队列相适配的消息处理时间规则。
[0011]通过采用上述技术方案，根据消息处理请求对待处理消息队列中的每个组的消息容量进行动态划分，从而得到每组消息最大消息接收数量的消息容量阈值，以便于控制每组消息数据划分处于SQS消息处理框架的最优处理范围内，并根据消息处理请求对消息队列的消息可见时间和消息续约时间分别进行调整，将调整后的目标消息可见时间和目标消息续约时间更新至消息处理时间规则中，从而得到与待处理消息队列相适配的消息处理时间规则，以便于根据消息处理时间规则对每组消息队列进行快速数据初始化，提高SQS消息处理框架对消息队列的处理效率。
[0012]本申请在一较佳示例中可以进一步配置为：所述根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处
理器对所述待处理消息数据进行数据处理，具体包括：根据所述消息处理规则，对所述待处理消息数据进行消息续约处理，得到按照所述目标消息续约时间运行的续约消息数据；对所述续约消息数据进行线程池适配处理，构建所述续约消息数据与目标线程池之间的线程池映射关系；根据所述线程池映射关系，将续约消息数据与所述目标线程池中的消息处理器进行适配处理，并推选出适配程度最优的最优消息处理器；构建所述续约消息数据与所述最优消息处理器之间的数据分发关系，并根据所述数据分发关系对所述续约消息数据进行数据处理。
[0013]通过采用上述技术方案，通过对待处理消息数据进行消息续约处理，使待处理消息数据按照目标消息续约时间进行运行，控制待处理消息数据进行循环续约，减少待处理消息数据同时被划分至多个小组中进行重复处理，将续约消息数据进行线程池适配处理，并根据适配结果构建续约消息数据与目标线程池之间的线程池映射关系，便于直接将续约消息数据放入目标性线程池中进行处理，减少查询次数，在目标线程池中将续约消息数据与消息处理器进行适配，从而得到与当前的续约消息数据适配程度最优的最优消息处理器，通过最优消息处理器与续约消息数据之间的数据分发关系，来对续约消息数据进行数据分发处理，通过消息处理器对续约消息数据的数据分发过程进行动态运维，提高SQS消息处理框架的智能性。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述基于轻量级SQS消息处理框架的数据处理方法包括：实时接收对待处理消息队列进行数据处理的消息处理请求；根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则；获取待处理消息队列中携带的待处理消息数据；根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理。2.根据权利要求1所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，具体包括：根据所述消息处理请求，构建与所述待处理消息队列相适配的目标线程池；对所述SQS消息处理框架中的消息处理类进行重新划分，得到与所述待处理消息队列相适配的目标消息处理类；分别获取所述待处理消息队列与所述目标线程池、所述目标消息处理类之间的映射关系；根据所述映射关系，将所述目标消息处理类映射至所述目标线程池中运行，得到与所述消息处理请求相适配的消息处理规则，其中，消息处理规则用于将控制所述目标线程池对所述目标消息处理类进行数据处理。3.根据权利要求2所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，还包括：根据所述消息处理请求，对所述待处理消息队列的消息容量进行重新划分，得到符合所述消息处理请求的消息容量阈值；调节每组消息队列的消息可见时间，使调整后的消息可见时间满足所述消息容量阈值的处理需求，得到目标消息可见时间；根据所述目标消息可见时间，对每组消息队列的消息续约时间进行调整处理，得到符合所述消息处理请求的目标消息续约时间；根据所述目标消息可见时间和所述目标消息续约时间，对所述SQS消息处理框架的消息处理时间规则进行更新，得到与所述待处理消息队列相适配的消息处理时间规则。4.根据权利要求3所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理，具体包括：根据所述消息处理规则，对所述待处理消息数据进行消息续约处理，得到按照所述目标消息续约时间运行的续约消息数据；对所述续约消息数据进行线程池适配处理，构建所述续约消息数据与目标线程池之间的线程池映射关系；根据所述线程池映射关系，将续约消息数据与所述目标线程池中的消息处理器进行适配处理，并推选出适配程度最优的最优消息处理器；
构建所述续约消息数据与所述最优消息处理器之间的数据分发关系，并根据所述数据分发关系对所述续约消息数据进行数据处理。5.根据权利要求4所述的基于轻量级SQS消息处...

【专利技术属性】
技术研发人员：吴海源，
申请(专利权)人：广州钛动科技股份有限公司，
类型：发明
国别省市：