一种基于消息队列的移动设备数据处理方法及系统技术方案

本发明专利技术公开了一种基于消息队列的移动设备数据处理方法及系统，涉及数据处理技术领域，解决了现有技术在数据发送至消息队列之前，无法对数据进行筛选，导致数据处理效率低下的技术问题；消息队列服务端对生产者生产的消息数据进行筛选，获取合格消息；本发明专利技术在消息队列服务端接收到消息数据之后，对消息数据进行一次筛选和二次筛选，再通过对合格消息的统计分析之后，将合格消息输入至消息队列；本发明专利技术能够通过对消息数据进行筛选剔除掉无效或者违规的数据，进而提高数据处理效率；本发明专利技术在进行数据筛选时，会通过一次筛选和二次筛选对消息数据进行筛选，在筛选过程中会考虑到生产者权限以及消息数据的有效性，从用户的角度保证了数据的安全性。度保证了数据的安全性。度保证了数据的安全性。

【技术实现步骤摘要】
一种基于消息队列的移动设备数据处理方法及系统


[0001]本专利技术属于数据处理领域，涉及基于消息队列的移动设备数据处理技术，具体是一种基于消息队列的移动设备数据处理方法及系统。

技术介绍

[0002]消息队列是分布式系统中重要的组件，可以理解为是在消息传输过程中保存消息的容器，在很多需要控制并发量的场景下都能够用到。因此将消息队列应用到移动设备的数据处理中非常重要。
[0003]现有技术(公开号为CN110737535A的专利技术专利)通过外部程序控制数据输入，后续的动作均由消息队列分发的切片数据触发，各运算服务器自行查询控制数据流向并进行处理；现有技术通过切片数据能够实现数据的自动分发和并行运算，但是在将数据发送至消息队列之前，无法对数据进行筛选，使得消息队列存在无效数据，导致数据处理效率低下。因此，亟须一种基于消息队列的移动设备数据处理方法及系统。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一；为此，本专利技术提出了一种基于消息队列的移动设备数据处理方法及系统，用于解决现有技术在数据发送至消息队列之前，无法对数据进行筛选，导致数据处理效率低下的技术问题，本专利技术在消息队列服务端接收到消息数据之后，对消息数据进行一次筛选和二次筛选，再通过对合格消息的统计分析之后，将合格消息输入至消息队列，以解决上述问题。
[0005]为实现上述目的，本专利技术的第一方面提供了一种基于消息队列的移动设备数据处理系统，包括生产者、消息队列服务端和消费者；
[0006]消息队列服务端对生产者生产的消息数据进行筛选，获取合格消息；以及
[0007]每隔设定周期对合格消息进行统计分析，并根据分析结果将合格消息输入至消息队列。
[0008]优选的，通过所述生产者生产消息数据并发送至所述消息队列服务端；其中，所述生产者和所述消息队列服务端通信和/或电气连接。
[0009]优选的，所述消息队列服务端通过分发方式将合格消息发送至消费者；其中，分发方式包括点对点模式和发布/订阅模式，所述消费者和所述消息队列服务端通信和/或电气连接。
[0010]优选的，所述消息队列服务端根据权限对消息数据进行一次筛选，包括：
[0011]获取生产者的权限，以及各权限对应的数据类别；其中，数据类别包括位置数据；
[0012]识别消息数据的数据类别，当消息数据和权限对应的数据类别相同时，则消息数据通过一次筛选，将消息数据标记为中间数据。
[0013]优选的，所述生产者的权限通过所述消息队列服务端设置。
[0014]优选的，所述消息队列服务端根据内容对消息数据进行二次筛选，包括：
[0015]识别中间数据的数据内容；
[0016]对数据内容进行异常检测，将通过异常检测的中间数据标记为合格消息；其中，异常检测包括完整性检测。
[0017]优选的，所述消息队列服务端每隔设定周期获取分析结果，包括：
[0018]获取设定周期内合格消息的信息数量；其中，设定周期包括1秒或者1分钟；
[0019]当信息数量超过数量阈值时，对合格消息进行编号，同时根据信息数量获取拒绝时长；其中，数量阈值为大于0的整数，且根据经验设定；
[0020]根据拒绝时长控制消息队列服务端接收消息数据。
[0021]优选的，按照所述合格消息的标记时刻对合格消息进行依次编号；
[0022]当同一时刻不只一条合格消息被标记时，则将该时刻的合格消息进行不放回编号。
[0023]优选的，根据信息数量和每条所述合格消息输入消息队列的时长，获取拒绝时长；
[0024]根据所述合格消息的编号将对应合格消息依次输入到消息队列中。
[0025]本专利技术的第二方面提供了一种基于消息队列的移动设备数据处理方法，包括：
[0026]通过所述生产者生产消息数据并发送至所述消息队列服务端；
[0027]消息队列服务端对生产者生产的消息数据进行筛选，获取合格消息；
[0028]消息队列服务端每隔设定周期对合格消息进行统计分析，并根据分析结果将合格消息输入至消息队列；
[0029]所述消息队列服务端通过分发方式将合格消息发送至消费者。
[0030]与现有技术相比，本专利技术的有益效果是：
[0031]1、本专利技术在消息队列服务端接收到消息数据之后，对消息数据进行一次筛选和二次筛选，再通过对合格消息的统计分析之后，将合格消息输入至消息队列；本专利技术能够通过对消息数据进行筛选剔除掉无效或者违规的数据，进而提高数据处理效率。
[0032]2、本专利技术在进行数据筛选时，会通过一次筛选和二次筛选对消息数据进行筛选，在筛选过程中会考虑到生产者权限以及消息数据的有效性，从用户的角度保证了数据的安全性。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术的工作步骤示意图。
具体实施方式
[0035]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0036]现有技术(公开号为CN110737535A的专利技术专利)通过外部程序控制数据输入，后续的动作均由消息队列分发的切片数据触发，各运算服务器自行查询控制数据流向并进行处理；现有技术通过切片数据能够实现数据的自动分发和并行运算，但是在将数据发送至消息队列之前，无法对数据进行筛选，使得消息队列存在无效数据，浪费消息队列的空间，进而导致数据处理效率低下；本专利技术在消息队列服务端接收到消息数据之后，对消息数据进行一次筛选和二次筛选，再通过对合格消息的统计分析之后，将合格消息输入至消息队列，以解决上述问题。
[0037]请参阅图1，本申请第一方面实施例提供了一种基于消息队列的移动设备数据处理系统，包括生产者、消息队列服务端和消费者；
[0038]消息队列服务端对生产者生产的消息数据进行筛选，获取合格消息；以及
[0039]每隔设定周期对合格消息进行统计分析，并根据分析结果将合格消息输入至消息队列。
[0040]本申请中的移动设备包括可移动的服务器和智能终端，智能终端包括智能手机、笔记本电脑等。本申请中的生产者用于产生消息数据，即消息数据的发送者；消费者用于接收数据，即数据的接收者。
[0041]本申请中，通过生产者生产消息数据并发送至消息队列服务端；消息队列服务端通过分发方式将合格消息发送至消费者。生产者和消息队列服务端通信和/或电气连接，消费者和消息队列服务端通信和/或电气连接。
...

【技术保护点】

【技术特征摘要】
1.一种基于消息队列的移动设备数据处理系统，包括生产者、消息队列服务端和消费者，其特征在于，消息队列服务端对生产者生产的消息数据进行筛选，获取合格消息；以及每隔设定周期对合格消息进行统计分析，并根据分析结果将合格消息输入至消息队列。2.根据权利要求1所述的一种基于消息队列的移动设备数据处理系统，其特征在于，通过所述生产者生产消息数据并发送至所述消息队列服务端；其中，所述生产者和所述消息队列服务端通信和/或电气连接。3.根据权利要求1所述的一种基于消息队列的移动设备数据处理系统，其特征在于，所述消息队列服务端通过分发方式将合格消息发送至消费者；其中，分发方式包括点对点模式和发布/订阅模式，所述消费者和所述消息队列服务端通信和/或电气连接。4.根据权利要求1所述的一种基于消息队列的移动设备数据处理系统，其特征在于，所述消息队列服务端根据权限对消息数据进行一次筛选，包括：获取生产者的权限，以及各权限对应的数据类别；识别消息数据的数据类别，当消息数据和权限对应的数据类别相同时，则消息数据通过一次筛选，将消息数据标记为中间数据。5.根据权利要求4所述的一种基于消息队列的移动设备数据处理系统，其特征在于，所述生产者的权限通过所述消息队列服务端设置。6.根据权利要求4所述的一种基于消息队列的移动设备数据处理系统，其特征在于，所述消息队列服务端根据内容对消息数据进行二次筛选，包括：识别中间数据的数据内容；对数据内容进行异常检测...

【专利技术属性】
技术研发人员：杨剑南，
申请(专利权)人：重庆伏特猫科技有限公司，
类型：发明
国别省市：