多源异构数据的处理方法、计算机设备及存储介质技术

本发明专利技术公开了一种多源异构数据的处理方法、计算机设备及存储介质，包括：与多个异构的数据源建立连接，获取数据源的数据源元数据；根据连接的数据源中的物理库进行映射，得到逻辑库；根据逻辑库确定逻辑库元数据，逻辑库元数据包括逻辑库；通过内存缓存存储数据源元数据和逻辑库元数据；根据数据源元数据和逻辑库元数据对SQL语句进行响应，反馈查询结果。由于逻辑库、数据源元数据以及逻辑库元数据存储于内存缓存，使内存缓存无需存储数据源中的物理表，提高内存缓存的利用率，同时由于内存缓存具有较高的数据读写效率，因此能够快速的对SQL语句进行响应，提高多源异构数据的查询效率。率。率。

Processing method, computer equipment and storage medium of multi-source heterogeneous data

【技术实现步骤摘要】
多源异构数据的处理方法、计算机设备及存储介质


[0001]本专利技术实施例涉及信息处理技术，尤其涉及一种多源异构数据的处理方法、计算机设备及存储介质。

技术介绍

[0002]数据库是一个按数据结构来存储和管理数据的计算机软件系统。随着数据库的发展，数据库种类不断增多，不同类型的数据库适用于存储不同类型的数据内容。不同类型的数据库适配的结构化查询语言(Structured Query Language，SQL)语句存在差别。为了方便说明，后续将SQL语句称为SQL语句。
[0003]多源异构数据的查询为在多个存储有不同数据类型或数据结构的数据库之间进行的查询。通常，需要分别使用各数据库适配的SQL语句向服务器发起查询，服务器将该查询语句转发至相应的数据库的查询引擎后进行SQL语句的响应。目前缺少一种能够快速响应涉及多个数据库的SQL语句的方案，如何提高多数据库查询的SQL语句响应速度，成为亟待解决的技术问题。

技术实现思路

[0004]本专利技术提供一种多源异构数据的处理方法、计算机设备及存储介质，以实现提高多数据库查询的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据的处理方法，其特征在于，包括：与多个异构的数据源建立连接，获取所述数据源的数据源元数据；根据连接的数据源中的物理库进行映射，得到逻辑库；根据所述逻辑库确定逻辑库元数据，所述逻辑库元数据包括所述逻辑库；通过内存缓存存储所述数据源元数据和所述逻辑库元数据；根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果。2.根据权利要求1所述的方法，其特征在于，所述根据连接的数据源中的物理库进行映射，得到逻辑库，包括：如果所述数据源为关系型数据库，根据物理库的物理表进行映射，得到逻辑表，所述逻辑表与所述物理表的字段一一对应；如果所述数据源为非关系型数据库，根据非关系型数据库的数据层级映射逻辑表以及所述逻辑表中的字段。3.根据权利要求1所述的方法，其特征在于，在根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果之前，还包括：通过内存缓存储用户权限信息，所述用户权限信息包括用户对逻辑库中逻辑表的字段的访问权限；相应的，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：根据所述用户权限信息、所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：响应用户接入操作，对用户进行身份认证；接收用户输入的SQL语句；根据所述用户权限信息对所述SQL语句进行第一权限认证；若第一权限认证成功，根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应；当逻辑数据库访问数据源时，数据源进行第二权限认证；若第二权限认证成功，所述数据源将所述SQL语句的相关数据进行反馈，根据反馈的数据确定查询结果。5.根据权利要求1所述的方法，其特征在于，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：从多个查询引擎中确定一个协调者引擎和多个执行者引擎；所述协调者引擎用于解析所述SQL语句，生成查询计划，所述查询计划包括所述多个执行者引擎的查询任务；将所述查询任务分别发送至执行者引擎；执行者引擎根据数据源类型使用与数据源类型匹配的驱动访问数据源，进行数据扫描；将扫描到的数据抽取至所述执行者引擎的内存；若数据源类型不同，则涉及跨库查询的...

【专利技术属性】
技术研发人员：姚宏宇，朱朝强，
申请(专利权)人：北京友友天宇系统技术有限公司，
类型：发明
国别省市：