一种基于数据中台的数据可视化方法及系统技术方案

本发明专利技术提供了一种基于数据中台的数据可视化方法及系统，数据宽表的创建包括构建数据可视化操作页面，获取数据宽表创建逻辑；基于所述创建逻辑，组装创建数据宽表的SQL语句；调用数据宽表创建服务接口，在数据中台创建数据宽表。本发明专利技术通过设置可视化操作页面，只要获取用户在页面上设置的参数，即形成对应的SQL语句，实现跨域异构数据关联同步、数据脱敏和数据可视化，根据可视化配置自动基于数据中台构建数据宽表和数据跨域关联同步，降低数据中台技术门槛，实现业务人员数据分析需求的快速响应。同时基于数据中台自定义UDF在数据跨域同步过程中按需实现数据脱敏，保障数据可视化操作过程中的数据安全。操作过程中的数据安全。操作过程中的数据安全。

【技术实现步骤摘要】
一种基于数据中台的数据可视化方法及系统


[0001]本专利技术涉及数据中台应用
，尤其是一种基于数据中台的数据可视化方法及系统。

技术介绍

[0002]目前，随着数字化转型和数据中台建设的快速推进，我国部分企业已基本建成企业级统一云服务平台和数据中台，初步实现平台资源和跨专业数据汇聚，海量级数据资源逐渐沉淀于数据中台之上，为数据的分析挖掘与价值变现提供有效来源与强大支撑。
[0003]然而，现阶段在用户使用数据中台进行分析操作时，后台由于涉及较多数据库原理知识，通常需要进行SQL语句输入，导致易用性不佳，提升了数据中台使用门槛，数据中台所沉淀的数据价值无法充分释放。

技术实现思路

[0004]本专利技术提供了一种基于数据中台的数据可视化方法及系统，用于解决现有数据中台易用性差的问题。
[0005]为实现上述目的，本专利技术采用下述技术方案：
[0006]本专利技术第一方面提供了一种基于数据中台的数据可视化方法，包括数据宽表的可视化创建，所述数据宽表的创建包括以下步骤：
[0007]构建数据可视化操作页面，获取数据宽表创建逻辑；
[0008]基于所述创建逻辑，组装创建数据宽表的SQL语句；
[0009]调用数据宽表创建服务接口，在数据中台创建数据宽表。
[0010]进一步地，所述方法在组装创建数据宽表的SQL语句之后，调用数据宽表创建服务接口之前还包括步骤：
[0011]调用规则校验服务器接口，校验数据宽表的创建逻辑。
[0012]进一步地，所述方法还包括跨域异构数据关联同步，具体过程为：
[0013]构建数据关联同步可视化操作界面，获取用户设置的数据关联同步规则；
[0014]按照SQL的语法规则，组装数据关联同步的SQL语句；
[0015]基于DataX组件，进行数据中台数据仓库至云平台数据库的跨域异构数据同步。
[0016]进一步地，在所述跨域异构数据关联同步的过程中，还包括对数据的脱敏，具体过程为：
[0017]在数据关联同步的可视化操作界面，获取用户设置的数据脱敏规则；
[0018]按照SQL的语法规则，组装数据脱敏的SQL语句；
[0019]在数据同步过程中调用数据中台的脱敏函数，将脱敏规则作为参数传入，在数据同步过程中进行数据的即时脱敏。
[0020]进一步地，所述方法还包括数据服务API发布，具体过程为：
[0021]获取数据服务API处理逻辑及URL，调用响应式API网关Soul创建接口，创建数据服
务API；
[0022]获取流量限制、权限控制和调用监控的参数，调用Soul配置接口进行对应配置；
[0023]调试数据服务API，调用Soul发布接口进行数据服务API发布。
[0024]本专利技术第二方面提供了一种基于数据中台的数据可视化系统，所述系统包括数据宽表创建模块，所述数据宽表创建模块包括：
[0025]第一页面数据获取单元，构建数据可视化操作页面，获取数据宽表创建逻辑；
[0026]第一SQL语句组装单元，基于所述创建逻辑，组装创建数据宽表的SQL语句；
[0027]数据宽表创建单元，调用数据宽表创建服务接口，在数据中台创建数据宽表。
[0028]进一步地，所述数据宽表创建模块还包括规则校验单元，所述规则校验单元调用规则校验服务器接口，校验数据宽表的创建逻辑。
[0029]进一步地，所述系统还包括数据关联同步模块，所述数据关联同步模块包括：
[0030]第二页面数据获取单元，构建数据关联同步可视化操作界面，获取用户设置的数据关联同步规则；
[0031]第二SQL语句组装单元，按照SQL的语法规则，组装数据关联同步的SQL语句；
[0032]异构数据同步单元，基于DataX组件，进行数据中台数据仓库至云平台数据库的跨域异构数据同步。
[0033]进一步地，所述系统还包括数据脱敏模块，所述数据脱敏模块包括：
[0034]第三页面数据获取单元，在数据关联同步的可视化操作界面，获取用户设置的数据脱敏规则；
[0035]第三SQL语句组装单元，按照SQL的语法规则，组装数据脱敏的SQL语句；
[0036]数据脱敏单元，在数据同步过程中调用数据中台的脱敏函数，将脱敏规则作为参数传入，在数据同步过程中进行数据的即时脱敏。
[0037]进一步地，所述系统还包括数据服务API发布模块，所述数据服务API发布模块包括：
[0038]数据服务API创建单元，获取数据服务API处理逻辑及URL，调用响应式API网关Soul创建接口，创建数据服务API；
[0039]参数配置单元，获取流量限制、权限控制和调用监控的参数，调用Soul配置接口进行对应配置；
[0040]数据服务API发布单元，调试数据服务API，调用Soul发布接口进行数据服务API发布。
[0041]本专利技术第二方面的所述数据可视化系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
[0042]
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0043]本专利技术通过设置可视化操作页面，只要获取用户在页面上设置的参数，即形成对应的SQL语句，实现跨域异构数据关联同步、数据脱敏和数据可视化，根据可视化配置自动基于数据中台构建数据宽表和数据跨域关联同步，降低数据中台技术门槛，实现业务人员数据分析需求的快速响应。同时基于数据中台自定义UDF在数据跨域同步过程中按需实现数据脱敏，保障数据可视化操作过程中的数据安全。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是本专利技术所述方法中创建数据宽表实施例的流程示意图；
[0046]图2是本专利技术所述方法中跨域异构数据关联同步实施例的流程示意图；
[0047]图3是本专利技术所述方法中数据脱敏实施例的流程示意图；
[0048]图4是本专利技术所述方法中数据服务API发布实施例的流程示意图；
[0049]图5是本专利技术所述系统的结构示意图。
具体实施方式
[0050]为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据中台的数据可视化方法，其特征是，包括数据宽表的可视化创建，所述数据宽表的创建包括以下步骤：构建数据可视化操作页面，获取数据宽表创建逻辑；基于所述创建逻辑，组装创建数据宽表的SQL语句；调用数据宽表创建服务接口，在数据中台创建数据宽表。2.根据权利要求1所述基于数据中台的数据可视化方法，其特征是，所述方法在组装创建数据宽表的SQL语句之后，调用数据宽表创建服务接口之前还包括步骤：调用规则校验服务器接口，校验数据宽表的创建逻辑。3.根据权利要求1所述基于数据中台的数据可视化方法，其特征是，所述方法还包括跨域异构数据关联同步，具体过程为：构建数据关联同步可视化操作界面，获取用户设置的数据关联同步规则；按照SQL的语法规则，组装数据关联同步的SQL语句；基于DataX组件，进行数据中台数据仓库至云平台数据库的跨域异构数据同步。4.根据权利要求3所述基于数据中台的数据可视化方法，其特征是，在所述跨域异构数据关联同步的过程中，还包括对数据的脱敏，具体过程为：在数据关联同步的可视化操作界面，获取用户设置的数据脱敏规则；按照SQL的语法规则，组装数据脱敏的SQL语句；在数据同步过程中调用数据中台的脱敏函数，将脱敏规则作为参数传入，在数据同步过程中进行数据的即时脱敏。5.根据权利要求1所述基于数据中台的数据可视化方法，其特征是，所述方法还包括数据服务API发布，具体过程为：获取数据服务API处理逻辑及URL，调用响应式API网关Soul创建接口，创建数据服务API；获取流量限制、权限控制和调用监控的参数，调用Soul配置接口进行对应配置；调试数据服务API，调用Soul发布接口进行数据服务API发布。6.一种基于数据中台的数据可视化系统，其特征是，所述系统包括数据宽表创建模块，所述数据宽表创建模块包括：第一页面数据获取单元，...

【专利技术属性】
技术研发人员：郑海杰，严莉，马超，刘荫，张悦，黄振，徐浩，韩圣亚，汤琳琳，郭爽爽，张凯，王聪，王高洲，于航，范少华，刘珅岐，张闻彬，潘法定，张连越，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：