实时计算大数据系统和方法技术方案

本发明专利技术提供了一种实时计算大数据系统和方法，涉及大数据计算的技术领域，包括：接收模块用于分别与用户端和数据库相连，接收用户端的用户请求或者数据库的主动请求；发送模块用于与数据收集系统相连，以在接收到用户请求或者主动请求后根据用户请求或者主动请求生成处理请求，并将处理请求发送至数据收集系统；分配模块用于在接收到数据收集系统的数据后，根据每个并行处理模块的处理属性，将数据分配至多个并行处理模块；多个并行处理模块用于同时处理数据生成并行结果；结果模块用于将每个并行处理模块的并行结果进行合并生成处理结果，并将处理结果发送至用户端或者数据库。解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。

Real-time computing large data systems and methods

The present invention provides a real-time computing large data system and method, which involves the technical field of large data computing, including: the receiving module is used to connect the user side to the database, receive the user request or the active request of the database, and the sending module is connected to the data collection system to receive the data. After the user request or active request, the processing request is generated according to the request or request of the user, and the processing request is sent to the data collection system. After receiving the data of the data collection system, the allocation module assigns the data to many parallel processing modules according to the processing attributes of each parallel processing module; The parallel processing module is used to process the parallel results of data generation simultaneously; the result module is used to merge the parallel results of each parallel processing module into the processing results and send the processing results to the user side or the database. It solves the problem that the computation speed of the existing processors can not meet the needs of the business under big data.

【技术实现步骤摘要】
实时计算大数据系统和方法
本专利技术涉及大数据计算
，尤其是涉及一种实时计算大数据系统和方法。
技术介绍
随着时代的发展，人们大多都是以代步出行，这就造成了道路的拥堵，导致人们出行的麻烦。车联网的出现很好的解决了这个问题，车联网能够按照约定的通信协议和数据交互标准，在车和车之间、车和路之间、车和行人之前、车和互联网之间等等，进行无线通信和信息交换，实现了更加智能化交通管理、具有更加智能化的信息交流和车辆智能控制。另外，车联网的出现不仅方便人们的出行，而且还能推动汽车的安全性和经济性能。然而，当用户想要从车联网中获取实时数据时，现有的计算方式，如分布式计算方式，在接收到用户请求时需要耗费大量的时间才能给出计算结果，所以，速度不能满足用户的业务要求，给消费者带来很大的不便。
技术实现思路
有鉴于此，本专利技术的目的在于提供大数据计算，通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。第一方面，本专利技术实施例提供了一种实时计算大数据系统，所述系统分别与用户端、数据库和数据收集系统相连，所述系统包括：接收模块、发送模块，分配模块，多个并行处理模块，结果模块，所述接收模块、所述发送模块、所述分配模块、所述多个并行处理模块、所述结果模块一一相连；所述接收模块用于分别与所述用户端和所述数据库相连，接收所述用户端的用户请求或者所述数据库的主动请求，并将所述用户请求或所述主动请求发送至所述发送模块；所述发送模块用于与所述数据收集系统相连，以在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；所述分配模块用于在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；所述多个并行处理模块用于同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；所述结果模块用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，每个并行处理模块包括：多个下级子模块，所述每个并行处理模块对应的各下级子模块相连，所述下级子模块用于辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述并行处理模块与对应的下级子模块通过远程无线相连。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述实时计算大数据系统应用于车联网。第二方面，本专利技术实施例还提供一种实时计算大数据方法，包括：接收用户端的用户请求或者数据库的主动请求；在接收到用户请求或者主动请求后，根据用户请求或者主动请求生成处理请求；在接收到数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至多个并行处理模块；同时处理所述数据，生成并行结果；将并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，还包括：辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述并行处理模块与对应的下级子模块通过远程无线通信。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。结合第二方面，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，所述实时计算大数据系统应用于车联网。本专利技术实施例带来了以下有益效果：通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的实时计算大数据系统的结构图；图2为本专利技术实施例提供的实时计算大数据系统的工作原理图；图3为本专利技术实施例提供的实时计算大数据系统中的并行处理模块的结构图；图4为本专利技术实施例提供的实时计算大数据方法的流程图。图标：100-实时计算大数据系统；200-用户端；300-数据库；400-数据收集系统；110-接收模块；120-发送模块；130-分配模块；140-并行处理模块；150-结果模块；141-下级子模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，当用户想要从车联网中获取实时数据时，现有的计算方式，如分布式计算方式，在接收到用户请求时需要耗费大量的时间才能给出计算结果，所以，速度不能满足用户的业务要求，给消费者带来很大的不便，基于此，本专利技术实施例提供的一种实时计算大数据系统和方法，可以通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。为便于对本实施例进行理解，首先对本专利技术实施例所公开的一种实时计算大数据实时计算大数据系统100进行详细介绍，结合图1所示，实时计算大数据系统100分别与用户端200、数据库300和数据收集系统400相连，实时计算大数据系统100包括：接收模块110，发送模块120，分配模块130，多个并行处理模块140，结果模块150，接收模块110、发送模块120、分配模块130、多个并行处理模块140、结果模块150一一相连。其中，接收模块110用于分别与用户端200和数据库300相连，接收用户端200的用户请求或者数据库300的主动请求，并将用户请求或主动请求发送至发送模块120。发送模块120用于与数据收集系统400相连，以在接收到用本文档来自技高网...

【技术保护点】
一种实时计算大数据系统，其特征在于，所述系统分别与用户端、数据库和数据收集系统相连，所述系统包括：接收模块，发送模块，分配模块，多个并行处理模块，结果模块，所述接收模块、所述发送模块、所述分配模块、所述多个并行处理模块、所述结果模块一一相连；所述接收模块用于分别与所述用户端和所述数据库相连，接收所述用户端的用户请求或者所述数据库的主动请求，并将所述用户请求或所述主动请求发送至所述发送模块；所述发送模块用于与所述数据收集系统相连，以在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；所述分配模块用于在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；所述多个并行处理模块用于同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；所述结果模块用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。

【技术特征摘要】
1.一种实时计算大数据系统，其特征在于，所述系统分别与用户端、数据库和数据收集系统相连，所述系统包括：接收模块，发送模块，分配模块，多个并行处理模块，结果模块，所述接收模块、所述发送模块、所述分配模块、所述多个并行处理模块、所述结果模块一一相连；所述接收模块用于分别与所述用户端和所述数据库相连，接收所述用户端的用户请求或者所述数据库的主动请求，并将所述用户请求或所述主动请求发送至所述发送模块；所述发送模块用于与所述数据收集系统相连，以在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；所述分配模块用于在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；所述多个并行处理模块用于同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；所述结果模块用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。2.根据权利要求1所述的系统，其特征在于，每个并行处理模块包括：多个下级子模块，所述每个并行处理模块对应的各下级子模块相连，所述下级子模块用于辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。3.根据权利要求2所述的系统，其特征在于，所述并行处理模块与对应的下...

【专利技术属性】
技术研发人员：关宁，李雁鹏，
申请(专利权)人：北京车联天下信息技术有限公司，
类型：发明
国别省市：北京,11