实时计算的方法以及实时计算系统技术方案

本申请提供了一种实时计算的方法以及实时计算系统，实时计算的方法由实时计算系统执行，实时计算系统包括内存数据库、实时计算引擎以及存储数据库，方法包括：内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至实时计算引擎中；实时计算引擎根据数据源的结构信息、数据的加工逻辑以及数据的输出规则，生成实时计算任务，并运行实时计算任务得到计算结果，且将计算结果发送至存储数据库；存储数据库接收客户端发送的查询信息，并依据查询信息以及计算结果得到查询结果，查询信息包括查询请求和主键信息；存储数据库将查询结果发送至客户端。该方法无需重新再编程，满足数据的实时处理运算。

【技术实现步骤摘要】
实时计算的方法以及实时计算系统
本申请涉及数据处理领域，具体而言，涉及一种实时计算的方法以及实时计算系统。
技术介绍
实时计算是针对海量的，并且是指实时不间断产生的数据，同时满足应用针对数据进行秒级处理需求的一种数据处理框架。实时计算的特性是数据实时产生、数据实时传输、数据实时计算、实时展示等。从
来看，实时计算的应用场景主要有，实时ETL和数据流、实时数据分析、时间驱动应用三大块。目前业界的代表有Flink/Spark。以目前的Flink实时计算引擎举例来说，必不可少的需要通过程序编程，同时需要定义数据源(source)，数据加工过程(transformation)，数据落地(sink)三个数据流向过程。针对不同的实时任务都需要定制化开发，后续的实时任务开发复用前一个实时任务的可能性基本上为无。该过程针对普通技术人员，需要进行繁琐的代码编程与开发工作，效率较低，增加开发成本与后期的维护成本；同时针对业务人员，则需完全依赖技术人员才能实现业务数据的处理，成本较高。在
技术介绍
部分中公开的以上信息只是用来加强对本文所描述技术的
技术介绍
的理解，因此，
技术介绍
中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
技术实现思路
本申请的主要目的在于提供一种实时计算的方法以及实时计算系统，以解决现有技术中不同的实时计算任务需要重新开发，导致效率较低且成本较高的问题。根据本专利技术实施例的一个方面，提供了一种实时计算的方法，所述方法由实时计算系统执行，所述实时计算系统包括内存数据库、实时计算引擎以及存储数据库，所述方法包括：所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中；所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务，并运行所述实时计算任务得到计算结果，且将所述计算结果发送至所述存储数据库；所述存储数据库接收客户端发送的查询信息，并依据所述查询信息以及所述计算结果得到查询结果，所述查询信息包括查询请求和主键信息；所述存储数据库将所述查询结果发送至所述客户端。可选地，所述数据源的结构信息中的字段名称、所述数据的加工逻辑中的字段名称以及所述数据的输出规则中的字段名称相同。可选地，所述数据的输出规则包括输出表的结构。可选地，在所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中之后，在所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务之前，所述方法还包括：获取数据源；根据所述数据源的结构信息对所述数据源的数据结构进行校验。可选地，所述存储数据库为NoSQL型Hbase数据库。可选地，所述主键信息包括联合主键信息。可选地，所述数据的加工逻辑包括数据的过滤筛选条件。根据本专利技术实施例的另一方面，还提供了一种实时计算系统，所述实时计算系统包括内存数据库、实时计算引擎以及存储数据库，其中，所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中；所述实时计算引擎根据数据源的结构信息、数据的加工逻辑以及数据的输出规则，生成实时计算任务，运行所述实时计算任务得到计算结果，并将所述计算结果发送至所述存储数据库；所述存储数据库接收客户端发送的查询信息，并依据所述查询信息以及所述计算结果得到查询结果，所述查询信息包括查询请求和主键信息；所述存储数据库将所述查询结果发送至所述客户端。可选地，所述数据源的结构信息中的字段名称、所述数据的加工逻辑中的字段名称以及所述数据的输出规则中的字段名称相同。可选地，所述数据的输出规则包括输出表的结构。在本专利技术实施例中，所述的实时计算方法中，首先，内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并且将这些信息发送至实时计算引擎中；然后，实施计算引擎根据这些信息生成实时计算任务，并运行这些任务生成计算结果，将计算结果发送给存储数据库；之后，存储数据库接收客户端发送的查询信息，并根据对应的查询信息从计算结果中筛选出对应的查询结果；最后，将查询结果发送给客户端。该方法中，只需要内存数据库获取管理者定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，后续根据这些信息进行计算即可，无需重新再编程，完全解放编程环节，通过自动化的配置，满足数据的实时处理运算，同时可以满足海量历史计算数据的快速查询。并且，通过定义好的数据输出格式，可以实现数据的定制化入库，满足不同应用的数据查询需求。采取本方案相应的流程处理，无论针对普通的技术人员还是业务人员，省略掉了各种组件的学习成本，极大地简化了开发成本，通过简单的配置即可实现一个实时数据的快速应用开发，可以给业务部门提供了一个易用、稳定以及高效的实时数据服务。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1示出了根据本申请的实时计算的方法的实施例的流程示意图；图2示出了根据本申请的实时计算系统的框架示意图；图3示出了根据本申请的实时计算的系统的实施例的流程示意图。其中，附图标记如下：10、内存数据库；20、实时计算引擎；30、存储数据库。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。正如
技术介绍
中所说的，现有技术中的不同的实时计算任务需要重新开发，导致开发效率较低且成本较本文档来自技高网...

【技术保护点】
1.一种实时计算的方法，其特征在于，所述方法由实时计算系统执行，所述实时计算系统包括内存数据库、实时计算引擎以及存储数据库，所述方法包括：/n所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中；/n所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务，并运行所述实时计算任务得到计算结果，且将所述计算结果发送至所述存储数据库；/n所述存储数据库接收客户端发送的查询信息，并依据所述查询信息以及所述计算结果得到查询结果，所述查询信息包括查询请求和主键信息；/n所述存储数据库将所述查询结果发送至所述客户端。/n

【技术特征摘要】
1.一种实时计算的方法，其特征在于，所述方法由实时计算系统执行，所述实时计算系统包括内存数据库、实时计算引擎以及存储数据库，所述方法包括：
所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中；
所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务，并运行所述实时计算任务得到计算结果，且将所述计算结果发送至所述存储数据库；
所述存储数据库接收客户端发送的查询信息，并依据所述查询信息以及所述计算结果得到查询结果，所述查询信息包括查询请求和主键信息；
所述存储数据库将所述查询结果发送至所述客户端。


2.根据权利要求1所述的方法，其特征在于，所述数据源的结构信息中的字段名称、所述数据的加工逻辑中的字段名称以及所述数据的输出规则中的字段名称相同。


3.根据权利要求1所述的方法，其特征在于，所述数据的输出规则包括输出表的结构。


4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中之后，在所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务之前，所述方法还包括：
获取数据源；
根据所述数据源的结构...

【专利技术属性】
技术研发人员：魏鹏菲，陈震宇，刘国华，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：北京;11