【技术实现步骤摘要】
一种基于轻量级SQS消息处理框架的数据处理方法及其系统
[0001]本专利技术涉及消息队列数据处理的
，尤其是涉及一种基于轻量级SQS消息处理框架的数据处理方法及其系统。
技术介绍
[0002]目前，随着消息发送的吞吐量增大，在消息传输过程中设置消息处理框架来进行消息队列的转发处理，从而提高消息发送与接收的有序性。
[0003]现有的消息处理框架对数据进行处理的方式通常是采用各种消息中间件对消息数据进行处理如kafka，但是，现有的消息中间件往往追求百万级以上的高吞吐量，对于中小型企业来说，消息吞吐量往往是轻量级的，kafka这类百万级以上的高吞吐量消息中间件对中小型企业来说，运维成本过高，且与企业轻量级的消息吞吐量不适配。
[0004]上述中的相关技术方案存在以下缺陷：轻量级的企业消息数据与高吞吐量的消息处理框架不适配，且高吞吐量的消息处理框架还需要长期的运维，容易造成企业运维成本过大。
技术实现思路
[0005]为了降低企业对消息处理框架的运维成本，提高消息处理框架与企业轻量级的消息...
【技术保护点】
【技术特征摘要】
1.一种基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述基于轻量级SQS消息处理框架的数据处理方法包括：实时接收对待处理消息队列进行数据处理的消息处理请求；根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则；获取待处理消息队列中携带的待处理消息数据；根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理。2.根据权利要求1所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，具体包括：根据所述消息处理请求，构建与所述待处理消息队列相适配的目标线程池；对所述SQS消息处理框架中的消息处理类进行重新划分，得到与所述待处理消息队列相适配的目标消息处理类；分别获取所述待处理消息队列与所述目标线程池、所述目标消息处理类之间的映射关系；根据所述映射关系，将所述目标消息处理类映射至所述目标线程池中运行，得到与所述消息处理请求相适配的消息处理规则，其中，消息处理规则用于将控制所述目标线程池对所述目标消息处理类进行数据处理。3.根据权利要求2所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理请求，对预先训练好的SQS消息处理框架进行预处理，得到初始化后的且符合所述消息处理请求的消息处理规则，还包括：根据所述消息处理请求，对所述待处理消息队列的消息容量进行重新划分，得到符合所述消息处理请求的消息容量阈值；调节每组消息队列的消息可见时间，使调整后的消息可见时间满足所述消息容量阈值的处理需求，得到目标消息可见时间；根据所述目标消息可见时间，对每组消息队列的消息续约时间进行调整处理，得到符合所述消息处理请求的目标消息续约时间；根据所述目标消息可见时间和所述目标消息续约时间，对所述SQS消息处理框架的消息处理时间规则进行更新，得到与所述待处理消息队列相适配的消息处理时间规则。4.根据权利要求3所述的基于轻量级SQS消息处理框架的数据处理方法，其特征在于，所述根据所述消息处理规则，将所述待处理消息数据映射至对应的线程池中进行消息处理器适配，选择适配程度最优的消息处理器对所述待处理消息数据进行数据处理，具体包括：根据所述消息处理规则，对所述待处理消息数据进行消息续约处理，得到按照所述目标消息续约时间运行的续约消息数据；对所述续约消息数据进行线程池适配处理，构建所述续约消息数据与目标线程池之间的线程池映射关系；根据所述线程池映射关系，将续约消息数据与所述目标线程池中的消息处理器进行适配处理，并推选出适配程度最优的最优消息处理器；
构建所述续约消息数据与所述最优消息处理器之间的数据分发关系，并根据所述数据分发关系对所述续约消息数据进行数据处理。5.根据权利要求4所述的基于轻量级SQS消息处...
【专利技术属性】
技术研发人员：吴海源，
申请(专利权)人：广州钛动科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。