一种通用的实时查询引擎制造技术

本发明专利技术属于数仓技术领域，具体为一种通用的实时查询引擎，包括注册模块、数据接入模块、查询模块、数据清理模块以及FoundationDB；所述注册模块，用于在FoundationDB上建立表格以及注册索引，表格用于辅助数据的导入以及查询，索引用于调用FoundationDB的查询能力；所述数据接入模块，用于录入数据以及提供插件扩展机制，插件扩展机制可以通过插件提取不同格式的数据，最后将录入的数据及提取的数据写入FoundationDB的表格中；注册模块支持数据的表格建模，数据接入模块具有灵活的数据接入能力，提供插件扩展机制支持各种数据格式的录入，查询模块支持新数据的事实查询，从而实现新写入的数据实时可查，数据清理模块可以对过期数据进行清理，进而避免过期占用内存。进而避免过期占用内存。进而避免过期占用内存。

A general real-time query engine

【技术实现步骤摘要】
一种通用的实时查询引擎


[0001]本专利技术涉及数仓
，具体为一种通用的实时查询引擎。

技术介绍

[0002]数仓是数据仓库的简称。它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。不同于传统数据库对应于某一个或多个项目，数据仓库根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都围绕某一主题来组织。数据仓库中存储的数据是来源于多个数据源的集成，原始数据来自不同的数据源，存储方式各不相同。数据仓库中保存的数据是一系列历史快照，不允许被修改，用户只能通过分析工具进行查询和分析。数据仓库会定期接收新的集成数据，反应出最新的数据变化。
[0003]在数仓领域中，写入数据后需要经过一系列复杂的数据处理后，才可以对数据进行查询，该过程需要较长的时间，即新写入的数据不能实时可查，数据的延时不利于对数据进行实时追踪，也不能及时的了解到数据的变化，因此需要一种实时查询引擎，用于让新写入的数据实时可查。

技术实现思路

[0004]本专利技术的目的在于提供一种通用的实时查询引擎，以解决上述
技术介绍
中提出的目前数仓领域无法做到新写入的数据实时可查的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种通用的实时查询引擎，包括注册模块、数据接入模块、查询模块、数据清理模块以及FoundationDB；
[0006]所述注册模块，用于在FoundationDB上建立表格以及注册索引，表格用于辅助数据的导入以及查询，索引用于调用FoundationDB的查询能力；
[0007]所述数据接入模块，用于录入数据以及提供插件扩展机制，插件扩展机制可以通过插件提取不同格式的数据，最后将录入的数据及提取的数据写入FoundationDB的表格中；
[0008]所述查询模块，用于通过索引调用FoundationDB的查询能力，然后对FoundationDB的表格中的数据进行快速查询；
[0009]所述数据清理模块，用于分析FoundationDB的表格中的数据是否过期，并对表格中过期数据进行清理。
[0010]优选的，所述注册模块还包括时间添加模块，所述时间添加模块用于为导入FoundationDB的表格中的数据添加操作时间，操作时间也会录入在FoundationDB的表格中。
[0011]优选的，所述数据清理模块还包括时间设定模块，所述时间设定模块用于设定过期数据的具体时间，当数据的操作时间超过过期数据的具体时间时，该数据即为过期数据。
[0012]优选的，所述查询模块在查询时，也可以FoundationDB的表格中的数据的操作时
间对FoundationDB的表格中数据进行查询。
[0013]优选的，所述数据接入模块在接受新数据的录入时支持流式写入。
[0014]优选的，所述数据清理模块还包括数据导出模块，所述数据导出模块用于导出FoundationDB的表格中的过期数据。
[0015]优选的，所述数据清理模块采用lock
‑
free的引擎模型。
[0016]与现有技术相比，本专利技术的有益效果是：
[0017]1)本专利技术通过注册模块、数据接入模块、查询模块、数据清理模块以及FoundationDB构建一个简单通用的实时查询引擎，注册模块支持数据的表格建模，数据接入模块具有灵活的数据接入能力，提供插件扩展机制支持各种数据格式的录入，查询模块支持新数据的事实查询，从而实现新写入的数据实时可查，数据清理模块可以对过期数据进行清理，进而避免过期占用内存；
[0018]2)本专利技术主要基于FoundationDB的Memory Engine构建，简化了实现，并提供了极致能力，无需全新开发一个查询引擎，直接基于FoundationDB进行建模实现实时查询引擎，极大的节省了研发成本。
附图说明
[0019]图1为本专利技术实时查询引擎构架图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0022]实施例：
[0023]请参阅图1，本专利技术提供一种技术方案：一种通用的实时查询引擎，包括注册模块、数据接入模块、查询模块、数据清理模块以及FoundationDB；
[0024]注册模块主要是进行注册服务，提供表的注册服务，即在FoundationDB上建表,可以方便数据的导入与查询，数据导入后会导入到FoundationDB的表格中，同时查询时，也会在FoundationDB的表格中显示；
[0025]注册模块还包括时间添加模块，时间添加模块用于为导入FoundationDB的表格中的数据添加操作时间，操作时间也会录入在FoundationDB的表格中，即在所有表模型的主键自动加上数据的操作时间ops_timestamp，新的主键为原主键+ops_timestamp；
[0026]在FoundationDB上注册索引，该索引可以调用FoundationDB的查询能力，进而对新数据进行更快速的查询。
[0027]数据接入模块主要是进行数据接入服务，数据接入模块支持新数据的录入，新数
据接入模块在接受新数据的录入时支持流式写入；数据接入模块还可以提供插件扩展机制，插件扩展机制可以通过插件提取数据，插件扩展机制可以灵活的支持不同的数据格式，进而对不同的数据格式的数据进行提取，最后将录入的数据及提取的数据写入FoundationDB的表格中。
[0028]查询模块主要是进行查询服务，FoundationDB具备快速的查询能力，查询模块通过索引调用FoundationDB的查询能力，然后对FoundationDB的表格中的数据进行快速查询；
[0029]查询模块还支持基于操作时间的查询，即在查询时，也可以通过FoundationDB的表格中的数据的操作时间对FoundationDB的表格中数据进行查询。
[0030]数据清理模块主要是进行旧数据的清理，数据清理模块分析FoundationDB的表格中的数据是否过期，并对表格中过期数据进行清理；
[0031]数据清理模块还包括时间设定模块，时间设定模块用于设定过期数据的具体时间，当数据的操作时间超过过期数据的具体时间时，该数据即为过期数据，通过指定具体的时间，可以便于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通用的实时查询引擎，其特征在于：包括注册模块、数据接入模块、查询模块、数据清理模块以及FoundationDB；所述注册模块，用于在FoundationDB上建立表格以及注册索引，表格用于辅助数据的导入以及查询，索引用于调用FoundationDB的查询能力；所述数据接入模块，用于录入数据以及提供插件扩展机制，插件扩展机制可以通过插件提取不同格式的数据，最后将录入的数据及提取的数据写入FoundationDB的表格中；所述查询模块，用于通过索引调用FoundationDB的查询能力，然后对FoundationDB的表格中的数据进行快速查询；所述数据清理模块，用于分析FoundationDB的表格中的数据是否过期，并对表格中过期数据进行清理。2.根据权利要求1所述的一种通用的实时查询引擎，其特征在于：所述注册模块还包括时间添加模块，所述时间添加模块用于为导入FoundationDB的表格中的数据添加操作时间，操作时间也会录入在...

【专利技术属性】
技术研发人员：王万平，
申请(专利权)人：杭州石原子科技有限公司，
类型：发明
国别省市：