一种基于虚拟化技术的异构数据集成方法及系统技术方案

本发明专利技术公开了一种基于虚拟化技术的异构数据集成方法及系统包括，根据待集成异构数据库或/和数据源表，结合开源语言构建数据源链接器；提取数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表；对映射虚拟表进行数据服务发布，并结合数据虚拟化引擎进行优化操作，获取待集成异构数据库或/和数据源表最优集成方案。本发明专利技术通过设置统一的数据访问和虚拟的数据集市以及自主的服务分析，降低了数据加工的难度，简化了数据集成方式，数据开发速度，灵活度高，能够以快速和受控的方式进行访问，使用成本低。使用成本低。使用成本低。

【技术实现步骤摘要】
一种基于虚拟化技术的异构数据集成方法及系统


[0001]本专利技术涉及数据集成
，尤其涉及一种基于虚拟化技术的异构数据集成方法及系统。

技术介绍

[0002]数据源的多样性、数据量的快速增长、数据需求的复杂性使得设计合适的数据交付方案技术复杂度日益上升，传统基于ETL的数据交付方式要求用户掌握大量数据技术相关细节，如必须先选择合适的数据集成方案、离线批量同步或流式增量同步，将数据汇集到某个数据源，如数据仓库或者数据湖中，然后面向数据源的性能特性编写并运维ETL任务，最后再从纷繁多样的数据加速方案中选择最匹配业务需求的方案来完成数据加速并发布数据服务。对非技术人员来说，专业性强无法完成数据集成的工作，极大阻碍了业务人员的自助用数。
[0003]因此，亟待建立一套跨异构数据源的数据集成引擎，来解决企业内部错综复杂的数据集成问题，简化不同数据源的集成方式，无需关心数据存放位置、无需操心数据任务运维、无需担心查询性能，让业务人员真正实现全链路自助用数，提高企业数据使用的深度和广度，助力业务创新，让数据创造价值。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种基于虚拟化技术的异构数据集成方法及系统，能够解决现有的数据集成方法专业性强，非技术人员使用难度高，效率低问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案，一种基于虚拟化技术的异构数据集成方法，包括：
[0008]根据待集成异构数据库或/和数据源表，结合开源语言构建数据源链接器；
[0009]提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表；
[0010]对所述映射虚拟表进行数据服务发布，并结合数据虚拟化引擎进行优化操作，获取待集成异构数据库或/和数据源表最优集成方案。
[0011]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：所述构建数据源链接器包括，
[0012]所述数据源链接器基于开源语言构建，对RDMS、NoSQL、MQ、ElasticSearch类型的数据源连接进行封装；
[0013]所述数据源链接器存在两种连接方式，链接池和短连接；
[0014]当异构数据集成方法要求实时调取数据源时，选取连接池进行连接操作，若选取连接池操作，则定义最小连接数与最大连接数，限制数据源的连接数量；
[0015]当异构数据集成方法调取数据源无要求时，选取短连接进行连接操作。
[0016]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表包括，
[0017]所述元数据信息包括，源表所在服务器的网络位置、登录数据库服务器的信息、名称、所有者和源表建立的日期、源表的结构、源表定义的主键和外键、源表的行数和为每一列分配的值；
[0018]所述生成对应封装表进行封装时，对现有数据源连接器进行权限配置，所述权限配置包括一级权限与二级权限，不同权限等级均包含三种等级标识，所述标识按照优先级排序为一等标识、二等标识以及三等标识。
[0019]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表还包括，
[0020]当数据源进行封装时，自动识别被封装数据源的权限等级以及等级标识，若用户对数据源表进行操作时，判断用户所操作数据源所属权限等级，当用户操作后识别到该操作数据源为一级权限，则直接进行封装操作；
[0021]当用户操作后识别到该操作数据源为二级权限，则识别用户操作等级标识，且进入待封装操作；
[0022]若用户在一分钟内不再进行任何操作，则对该操作后的数据源进行封装操作。
[0023]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表还包括，
[0024]若用户存在新操作，则对新操作数据源进行权限识别，若用户新操作数据源权限等级为一级权限，则直接进行新操作数据源的封装操作，等待新操作数据源封装结束时，对待封装的二级等待权限的数据源进行封装；
[0025]若用户存在新操作，则对新操作数据源进行权限识别，若用户新操作数据源权限等级为二级权限，则识别用户新操作数据源等级标识，若新操作数据源等级标识优先级高于待封装的二级等待权限的数据源，则对新操作数据源进行封装，等待新操作数据源封装结束时，对待封装的二级等待权限的数据源进行封装；
[0026]若新操作数据源等级标识优先级低于待封装的二级等待权限的数据源，则对对待封装的二级等待权限的数据源进行封装，等待封装的二级等待权限的数据源封装结束后，对新操作数据源进行封装；
[0027]所述进入待封装操作使得链接池和短连接均可实时获取权限等级较高的数据源信息。
[0028]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：所述对所述映射虚拟表进行数据服务发布包括，
[0029]当完成数据源虚拟化后，若用户需实时参与更新数据、按主键删除数据、分页查询
数据、按主键查询数据、条件查询数据以及按条件删除操作时，选择用户自动发布；
[0030]若用户选取自动发布后，数据虚拟化引擎基于数据源虚拟化获取的元数据信息，生成与数据源对应的数据服务，通过数据服务完成用户实时操作；
[0031]若用户不需要实时参与操作时，数据虚拟化引擎提供可视化SQL脚本编辑器，用户根据实际业务需要，基于已虚拟化的数据库表编写对应的SQL业务脚本，编写脚本过程中，数据虚拟化引擎根据预先配置的虚拟表信息，智能化补全表字段信息，最终以数据库视图的形式发布成数据服务；
[0032]所述数据虚拟化引擎包括删除封装表、弃用封装表、自动同步至封装表操作，所述操作均需人工进行二次确认，待人工确认后；
[0033]若人工确认后需对封装表进行改变，数据虚拟化引擎会对已发布的数据服务进行下线操作。
[0034]作为本专利技术所述的基于虚拟化技术的异构数据集成方法的一种优选方案，其中：还包括，
[0035]建立数据库连接池对象；
[0036]按照预设的参数创建初始数量的数据库连接；
[0037]对于一个数据库访问请求，直接从连接池中得到一个连接，若数据库连接池对象中没有空闲的连接，且连接数没有达到最大，则创建一个新的数据库连接；
[0038]存取数据库数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟化技术的异构数据集成方法，其特征在于：包括，根据待集成异构数据库或/和数据源表，结合开源语言构建数据源链接器；提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表；对所述映射虚拟表进行数据服务发布，并结合数据虚拟化引擎进行优化操作，获取待集成异构数据库或/和数据源表最优集成方案。2.如权利要求1所述的基于虚拟化技术的异构数据集成方法，其特征在于：所述构建数据源链接器包括，所述数据源链接器基于开源语言构建，对RDMS、NoSQL、MQ、ElasticSearch类型的数据源连接进行封装；所述数据源链接器存在两种连接方式，链接池和短连接；当异构数据集成方法要求实时调取数据源时，选取连接池进行连接操作，若选取连接池操作，则定义最小连接数与最大连接数，限制数据源的连接数量；当异构数据集成方法调取数据源无要求时，选取短连接进行连接操作。3.如权利要求2所述的基于虚拟化技术的异构数据集成方法，其特征在于：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表包括，所述元数据信息包括，源表所在服务器的网络位置、登录数据库服务器的信息、名称、所有者和源表建立的日期、源表的结构、源表定义的主键和外键、源表的行数和为每一列分配的值；所述生成对应封装表进行封装时，对现有数据源连接器进行权限配置，所述权限配置包括一级权限与二级权限，不同权限等级均包含三种等级标识，所述标识按照优先级排序为一等标识、二等标识以及三等标识。4.如权利要求3所述的基于虚拟化技术的异构数据集成方法，其特征在于：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表还包括，当数据源进行封装时，自动识别被封装数据源的权限等级以及等级标识，若用户对数据源表进行操作时，判断用户所操作数据源所属权限等级，当用户操作后识别到该操作数据源为一级权限，则直接进行封装操作；当用户操作后识别到该操作数据源为二级权限，则识别用户操作等级标识，且进入待封装操作；若用户在一分钟内不再进行任何操作，则对该操作后的数据源进行封装操作。5.如权利要求4所述的基于虚拟化技术的异构数据集成方法，其特征在于：所述提取所述数据源链接器中目标数据源的元数据信息，生成对应封装表进行封装，并建立映射虚拟表还包括，若用户存在新操作，则对新操作数据源进行权限识别，若用户新操作数据源权限等级为一级权限，则直接进行新操作数据源的封装操作，等待新操作数据源封装结束时，对待封装的二级等待权限的数据源进行封装；若用户存在新操作，则对新操作数据源进行权限识别，若用户新操作数据源权限等级
为二级权限，则识别用户新操作数据源等级标识，若新操作数据源等级标识优先级高于待封装的...

【专利技术属性】
技术研发人员：萧展辉，徐欢，杨秋勇，耿贞伟，徐兵元，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：