基于队列的异步数据处理方法及装置制造方法及图纸

本申请公开了一种基于队列的异步数据处理方法及装置。该方法包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。该装置包括：获取模块、投递模块、判断模块、读取模块、存储模块。本申请解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

Queue-based Asynchronous Data Processing Method and Device

【技术实现步骤摘要】
基于队列的异步数据处理方法及装置
本申请涉及物联网
，具体而言，涉及一种基于队列的异步数据处理方法及装置。
技术介绍
使用同步的方式上传成绩数据，服务采集数据的并发能力严重受限，一般都要等一个连接处理完成绩数据的统计工作之后，才可以处理下一个的请求，以这种方式处理大量数据上报的情况，必然会遇到服务处理不过来，或者数据丢失的情况，最终影响榜单数据的准确性。针对相关技术中使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种基于队列的异步数据处理方法及装置，以解决使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题。为了实现上述目的，根据本申请的一个方面，提供了一种基于队列的异步数据处理方法及装置。根据本申请的基于队列的异步数据处理方法，包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。进一步的，获取日志数据包括：接收客户端提交的成绩数据；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。进一步的，判断所述日志数据是否投递成功之后还包括：如果不是，则比对日志数据和原始数据；根据比对结果对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。进一步的，对所述日志数据执行投递至异步队列的操作包括：使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。进一步的，完成所述日志数据的存储之后还包括：从数据库中解析出成绩数据用于生成榜单排行数值。为了实现上述目的，根据本申请的另一方面，提供了一种基于队列的异步数据处理装置。根据本申请的基于队列的异步数据处理装置包括：获取模块，用于获取日志数据；第一投递模块，用于对所述日志数据执行投递至异步队列的操作；第一判断模块，用于判断所述日志数据是否投递成功；第一读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第一存储模块，用于完成所述日志数据的存储。进一步的，所述获取模块包括：接收单元，用于接收客户端提交的成绩数据；存储单元，用于依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。进一步的，所述判断模块之后还包括：比对模块，用于如果不是，则比对日志数据和原始数据；第二投递模块，用于根据比对结果对所述日志数据执行投递至异步队列的操作；第二判断模块，用于判断所述日志数据是否投递成功；第二读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第二存储模块，用于完成所述日志数据的存储。进一步的，所述投递模块包括：处理单元，用于使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。进一步的，所述存储模块之后还包括：生成模块，用于从数据库中解析出成绩数据用于生成榜单排行数值。在本申请实施例中，采用异步数据处理的方式，通过获取日志数据；对日志数据执行投递至异步队列的操作；判断日志数据是否投递成功；如果是，则在异步队列中读取并分析日志数据；完成日志数据的存储，达到了异步数据处理的目的，从而实现了提高服务器处理效率和准确率的技术效果，进而解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例的基于队列的异步数据处理方法示意图；图2是根据本申请第二实施例的基于队列的异步数据处理方法示意图；图3是根据本申请第三实施例的基于队列的异步数据处理方法示意图；图4是根据本申请第四实施例的基于队列的异步数据处理方法示意图；图5是根据本申请第五实施例的基于队列的异步数据处理方法示意图；图6是根据本申请第一实施例的基于队列的异步数据处理装置示意图；图7是根据本申请第二实施例的基于队列的异步数据处理装置示意图；图8是根据本申请第三实施例的基于队列的异步数据处理装置示意图；图9是根据本申请第四实施例的基于队列的异步数据处理装置示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本专利技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。根据本专利技术实施例，提供了一种基于队列的异步数据处理方法，如图1所示，该方法包括如下的步骤S100至步骤S108：步骤S100、获取日志数据；服务器获取日志数据；服务器通过客户端的成绩数据请求，接收成绩第一用户的成绩数据；客户端上安装有软件，可以是APP，也可以是h5，通过第一用户在应用软件上的操作，能够实现答题的作用；外部设备可以为鼠标、触摸屏和声控输入设备；客户端通过第一用户在应用软件上的操作，将第一用户答题的成绩和答题的时间进行上报请求，服务器进行成绩数据的接收。比如：当第一用户通过外部设备在应用软件上操作完成后，客户端将第一用户的答题成绩和答题时间一起通过上报请求的方式，上传给远程服务器，从而服务器获取日志数据。根据本专利技术实施例，优选的，如图2所示，在步骤S100中，获取日志数据包括：步骤S200、接收客户端本文档来自技高网...

【技术保护点】
1.一种基于队列的异步数据处理方法，其特征在于，包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。

【技术特征摘要】
1.一种基于队列的异步数据处理方法，其特征在于，包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。2.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，获取日志数据包括：接收客户端提交的成绩数据；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。3.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，判断所述日志数据是否投递成功之后还包括：如果不是，则比对日志数据和原始数据；根据比对结果对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。4.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，对所述日志数据执行投递至异步队列的操作包括：使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。5.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，完成所述日志数据的存储之后还包括：从数据库中解析出成绩数据用于生成榜单排行数值。6.一种基于队列的异步数据处理装置，其特征在于，包括：获取模块，用于获取日志数据；第一投...

【专利技术属性】
技术研发人员：尹传文，吴峰，郭伟，
申请(专利权)人：上海易点时空网络有限公司，
类型：发明
国别省市：上海,31