一种实时秒级数据处理和查询方法及系统技术方案

本发明专利技术提供了一种实时秒级数据处理和查询方法及系统，包括：前端展示模块发送数据请求指令和数据请求参数到前端数据请求模块；前端数据请求模块收到前端展示模块的请求参数之后，将请求参数发送至中间控制和数据对接模块；中间控制和数据对接模块根据数据请求参数判断是否需要发送控制指令到数据处理模块，当数据请求参数是重复的参数时，则获取已经存在的数据接收器，并将数据输出到前端数据请求模块；否则，下发数据处理指令到数据处理模块；数据处理模块进行秒级数据处理并输出到中间控制和数据对接模块，中间控制和数据对接模块将数据转发到所有前端数据请求模块；前端数据请求模块将数据转发到前端展示模块，前端展示模块展示数据。

【技术实现步骤摘要】
一种实时秒级数据处理和查询方法及系统
本专利技术涉及数据处理
，具体地，涉及一种实时秒级数据处理和查询方法及系统，更为具体地，涉及一种高效的实时秒级数据处理和查询方法。
技术介绍
实时秒级数据的展示在计算机领域是比较普遍的需求，实时秒级数据的特点有低时延、时间范围短。由于颗粒度是秒级的，所以如果不加限制的输出秒级数据，会对数据处理程序造成很大的负担，一般的实现方式是按需派发配置，按需过滤出少量的数据输出，然后把输出存储到高效的数据存储系统，比如内存数据库，然后在前端并发查询符合查询条件的页面时，从内存数据库中获取数据，然后展示。在上述过程中，有几个主要的耗时环节，分别是秒级的数据统计并且输出，存储到内存数据库，前端向后端内存数据库系统请求并且统计数据，其中秒级数据统计和输出是必不可少的，但是实际实时秒级数据是没有回溯要求的，并且有很高的时延要求，一旦某个环节时延较大，就会导致下一秒钟的数据缺失，再过一秒钟甚至几秒钟同时刷新多秒数据的情况，无法满足秒级刷新的需求。专利文献CN105224658B(申请号：201510641107.9)公开了一种大数据的实时查询方法和系统。所述方法包括：采集系统实时采集用户操作产生的互联网数据,并根据采集系统的传输规则将所述数据分类传输给消息订阅系统；所述消息订阅系统根据所述采集系统的传输规则将存储空间划分为不同的目录结构，所述不同的目录结构分别接收并存储由所述采集系统传输的不同类别的所述数据；所述消息订阅系统根据消息订阅系统的配置规则，将所述目录结构中的数据划分为最新数据和过期数据；查询引擎在调度系统的配合下，按照调度系统设置的调度规则将所述过期数据迁移至数据仓库工具不同的分区中；所述查询引擎发起查询请求，将数据读取到内存中进行处理。本专利技术提出一种省去中间存储的高效的秒级实时数据处理和查询方法，以降低实时秒级的中间环节的时间消耗，从而大大提高秒级刷新的实时性。针对现有技术中的缺陷，本专利技术要解决的技术问题体现在以下几点：1)按需统计和输出实时秒级数据2)实时秒级数据没有回溯的需求，因此无需存储到任何存储系统，只需要实时推送，从而大大提高实时秒级刷新的实时性
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种实时秒级数据处理和查询方法及系统。根据本专利技术提供的一种实时秒级数据处理和查询方法，包括：步骤S1：前端展示模块发送数据请求指令和数据请求参数到前端数据请求模块；步骤S2：前端数据请求模块收到前端展示模块的请求参数之后，将请求参数发送至中间控制和数据对接模块；步骤S3：中间控制和数据对接模块根据数据请求参数判断是否需要发送控制指令到数据处理模块，当数据请求参数是重复的参数时，则获取已经存在的数据接收器，并将数据输出到前端数据请求模块；否则，下发数据处理指令到数据处理模块；步骤S4：数据处理模块进行秒级数据处理并输出到中间控制和数据对接模块，中间控制和数据对接模块将数据转发到所有前端数据请求模块；步骤S5：前端数据请求模块将数据转发到前端展示模块，前端展示模块展示数据。优选地，所述步骤S2包括：前端数据请求模块收到前端展示模块的请求参数之后，与中间控制和数据对接模块建立WebSocket长连接，并通过WebSocket长连接将请求参数发送至中间控制和数据对接模块。优选地，所述步骤S3包括：步骤S3.1：中间控制和数据对接模块根据数据请求参数判断是否为之前请求过的重复参数；当不是重复参数，则下发参数到数据处理模块；当是重复参数时，则根据参数获取到旧的实时秒级数据接收器，将数据请求的长链接注册到获取的旧的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道上。步骤S3.2：将数据请求的长连接注册到数据接收器，数据接收器在接收到数据时，把数据分发到所有注册到当前接收器的连接管道。优选地，所述步骤S4包括：数据处理模块激活数据参数的实时秒级数据处理，创建新的实时秒级数据接收器，将数据请求的长链接注册到创建的新的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道。优选地，所述步骤S5中前端展示模块包括：前端展示模块无法看到历史数据，只能看到前端展示模块打开以来的数据。根据本专利技术提供的一种实时秒级数据处理和查询系统，包括：前端展示模块：前端展示模块发送数据请求指令和数据请求参数到前端数据请求模块；前端数据请求模块：前端数据请求模块收到前端展示模块的请求参数之后，将请求参数发送至中间控制和数据对接模块；中间控制和数据对接模块：中间控制和数据对接模块根据数据请求参数判断是否需要发送控制指令到数据处理模块，当数据请求参数是重复的参数时，则获取已经存在的数据接收器，并将数据输出到前端数据请求模块；否则，下发数据处理指令到数据处理模块；数据处理模块：数据处理模块进行秒级数据处理并输出到中间控制和数据对接模块，中间控制和数据对接模块将数据转发到所有前端数据请求模块；数据展示模块：前端数据请求模块将数据转发到前端展示模块，前端展示模块展示数据。优选地，所述前端数据请求模块包括：前端数据请求模块收到前端展示模块的请求参数之后，与中间控制和数据对接模块建立WebSocket长连接，并通过WebSocket长连接将请求参数发送至中间控制和数据对接模块。优选地，所述中间控制和数据对接模块包括：模块M3.1：中间控制和数据对接模块根据数据请求参数判断是否为之前请求过的重复参数；当不是重复参数，则下发参数到数据处理模块；当是重复参数时，则根据参数获取到旧的实时秒级数据接收器，将数据请求的长链接注册到获取的旧的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道上。模块M3.2：将数据请求的长连接注册到数据接收器，数据接收器在接收到数据时，把数据分发到所有注册到当前接收器的连接管道。优选地，所述数据处理模块包括：数据处理模块激活数据参数的实时秒级数据处理，创建新的实时秒级数据接收器，将数据请求的长链接注册到创建的新的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道。优选地，所述数据展示模块中前端展示模块包括：前端展示模块无法看到历史数据，只能看到前端展示模块打开以来的数据。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术通过按需下发配置处理实时秒级数据，达到减少资源消耗的效果；2、本专利技术通过减少中间环节，实现减少秒级实时数据的时延，增加实时性的效果；3、本专利技术通过减少中间存储，实现减少内存消耗的效果。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为一种实时秒级数据处理和查询系统示意图；图2为中间控制和数据本文档来自技高网...

【技术保护点】
1.一种实时秒级数据处理和查询方法，其特征在于，包括：/n步骤S1：前端展示模块发送数据请求指令和数据请求参数到前端数据请求模块；/n步骤S2：前端数据请求模块收到前端展示模块的请求参数之后，将请求参数发送至中间控制和数据对接模块；/n步骤S3：中间控制和数据对接模块根据数据请求参数判断是否需要发送控制指令到数据处理模块，当数据请求参数是重复的参数时，则获取已经存在的数据接收器，并将数据输出到前端数据请求模块；否则，下发数据处理指令到数据处理模块；/n步骤S4：数据处理模块进行秒级数据处理并输出到中间控制和数据对接模块，中间控制和数据对接模块将数据转发到所有前端数据请求模块；/n步骤S5：前端数据请求模块将数据转发到前端展示模块，前端展示模块展示数据。/n

【技术特征摘要】
1.一种实时秒级数据处理和查询方法，其特征在于，包括：
步骤S1：前端展示模块发送数据请求指令和数据请求参数到前端数据请求模块；
步骤S2：前端数据请求模块收到前端展示模块的请求参数之后，将请求参数发送至中间控制和数据对接模块；
步骤S3：中间控制和数据对接模块根据数据请求参数判断是否需要发送控制指令到数据处理模块，当数据请求参数是重复的参数时，则获取已经存在的数据接收器，并将数据输出到前端数据请求模块；否则，下发数据处理指令到数据处理模块；
步骤S4：数据处理模块进行秒级数据处理并输出到中间控制和数据对接模块，中间控制和数据对接模块将数据转发到所有前端数据请求模块；
步骤S5：前端数据请求模块将数据转发到前端展示模块，前端展示模块展示数据。


2.根据权利要求1所述的实时秒级数据处理和查询方法，其特征在于，所述步骤S2包括：前端数据请求模块收到前端展示模块的请求参数之后，与中间控制和数据对接模块建立WebSocket长连接，并通过WebSocket长连接将请求参数发送至中间控制和数据对接模块。


3.根据权利要求1所述的实时秒级数据处理和查询方法，其特征在于，所述步骤S3包括：
步骤S3.1：中间控制和数据对接模块根据数据请求参数判断是否为之前请求过的重复参数；当不是重复参数，则下发参数到数据处理模块；当是重复参数时，则根据参数获取到旧的实时秒级数据接收器，将数据请求的长链接注册到获取的旧的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道上。
步骤S3.2：将数据请求的长连接注册到数据接收器，数据接收器在接收到数据时，把数据分发到所有注册到当前接收器的连接管道。


4.根据权利要求1所述的实时秒级数据处理和查询方法，其特征在于，所述步骤S4包括：数据处理模块激活数据参数的实时秒级数据处理，创建新的实时秒级数据接收器，将数据请求的长链接注册到创建的新的实时秒级数据接收器，数据接收器在接收到数据时，将数据分发到所有注册到当前数据接收器的连接管道。


5.根据权利要求1所述的实时秒级数据处理和查询方法，其特征在于，所述步骤S5中前端展示模块包括：前端展示模块无法看到历史数据，只能看到前端展示模块打开以来的数据。


6.一种实时秒级数据...

【专利技术属性】
技术研发人员：李镇鹏，蔡晓华，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：上海;31