一种基于大数据的可视化加工处理系统及方法技术方案

本发明专利技术提供一种基于大数据的可视化加工处理系统及方法，属于数据处理领域。该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。本发明专利技术针对业务技术用户(对数据库了解不深、需要与数据库交互、需求不定用户)，直观、简单易用、灵活度高、耦合性低、扩展性强。每个可视化组件节点可查看到该节点为止拼装出的SQL及字段信息，实时解析，可以方便、直观地查看脚本情况。本发明专利技术方案降低了数据库交互难度，可视化SQL配置与IDE相比有质的提升。

A Visual Processing System and Method Based on Large Data

【技术实现步骤摘要】
一种基于大数据的可视化加工处理系统及方法
本专利技术涉及数据处理领域，具体地说是一种基于大数据的可视化加工处理系统及方法。
技术介绍
目前对数据库的交互主要分为两种方式：1、直接执行SQL语句；2、使用PLSQL、Navicat等数据库操作软件可视化操作。数据库的使用人员主要分为三种：1、专业开发人员；2、普通用户；3、业务技术用户，其中：专业开发人员直接拼装操作SQL语句实现与数据库的交互，方便快捷。普通用户使用封装好的服务间接进行数据库交互。业务技术用户基于两者之间，对数据库的了解没有专业人员深入，使用SQL语句实现与数据库的交互存在困难，但是相对普通用户而言，他们直接与数据库进行交互，并且需求不固定，无法进行服务的提前封装。PLSQL、Navicat等数据库操作软件提供的可视化操作过于简单，灵活度低，无法满足业务技术用户需要。
技术实现思路
本专利技术的技术任务是针对现有技术的不足，提供一种基于大数据的可视化加工处理系统及方法。该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。灵活度高、简单易用，比较完美地契合了业务技术用户的需要。本专利中术语说明：StructuredQueryLanguage结构化查询语言。是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统，下文简称SQL。PL/SQLDeveloper是一个集成开发环境，专门开发面向Oracle数据库的应用。以下简称PLSQL。Navicat是一套快速、可靠并价格相宜的数据库管理工具，专为简化数据库的管理及降低系统管理成本而设。它的设计符合数据库管理员、开发人员及中小企业的需要。Navicat是以直觉化的图形用户界面而建的，让你可以以安全并且简单的方式创建、组织、访问并共用信息。ORACLE由甲骨文公司开发的关系型数据库管理系统。MYSQLMYSQL是一个关系型数据库管理系统。HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。jsPlumb一个前端流程图组件。jqueryjquery是一个快速、简洁的JavaScript框架，它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。jquery.panzoom一个基于jquery的缩放组件。mustache一个前端模板引擎组件。本专利技术解决其技术问题所采用的技术方案是：1、一种基于大数据的可视化加工处理系统，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。方案优选地，该系统包括组件库、画布、图结构、拓扑解析部分、执行顺序部分、脚本部分、执行部分，其中组件库中包含多个定制通用的可视化组件；其中画布用于将组件库中选择的可视化组件置于画布区域中，生成可视化组件节点，在组件配置参数区域对可视化组件节点的参数进行绑定SQL配置，并读取数据，基于系统中各个数据库之间的数据交互关系，通过鼠标绘制SQL之间的连接线，一个可视化组件节点对应一个数据库；其中图结构用于存储画布中所绘制的连接线，将可视化组件关系解析为图结构进行保存；其中拓扑解析部分与图结构相连，通过对图结构进行拓扑解析获得组件执行先后顺序，提取绑定SQL信息封装为脚本后进行后台执行。方案优选地，所述可视化组件通过拖拽方式置于画布区域。2、本专利技术另提供一种基于大数据的可视化加工处理方法，基于上述的处理系统，具体步骤说明如下：1)将组件库中的可视化组件拖拽添加至画布中，在画布中生成可视化组件节点；2)可视化组件节点右键弹出自定义SQL配置窗口绑定配置SQL；3)鼠标悬浮在可视化组件节点上会出现拖拽箭头，通过拖拽实现SQL表间关联并确定执行次序逻辑；4)通过添加组件与连线配置后，将可视化组件节点关系解析为图结构进行保存；5)通过对图结构进行拓扑解析获得组件执行先后顺序，提取组件绑定SQL信息封装为脚本后台执行。方案优选地，所述处理系统支持ORACLE、MYSQL、HIVE等不同类型数据库。方案优选地，所述组件与画布的实现使用以下相关前端组件：jsPlumb、jquery、jquery.panzoom、mustache。方案优选地，步骤5)中提取组件绑定SQL信息封装为SHELL、perl、python、tcl脚本后台执行。方案优选地，所述SQL配置窗口包括配置基本信息、配置字段信息、预览SQL三部分。方案优选地，所述配置基本信息包括create类型、创建表类型、库名、表名及高级配置。本专利技术的一种基于大数据的可视化加工处理系统及方法，与现有技术相比所产生的有益效果是：1、针对业务技术用户(对数据库了解不深、需要与数据库交互、需求不定用户)，直观、简单易用、灵活度高、耦合性低、扩展性强。2、每个可视化组件节点可查看到该节点为止拼装出的SQL及字段信息，实时解析，可以方便、直观地查看脚本情况。3、本专利技术方案降低了数据库交互难度，可视化SQL配置与IDE相比有质的提升。附图说明附图1是本专利技术系统的结构示意图；附图2是本专利技术自定义SQL配置窗口的结构图；附图3是本专利技术可视化组件及最终连接效果图。具体实施方式下面结合附图1-3，对本专利技术的一种基于大数据的可视化加工处理系统及方法作以下详细说明。实施例一本专利技术的一种基于大数据的可视化加工处理系统，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。结合附图1，该系统包括组件库、画布、图结构、拓扑解析部分、执行顺序部分、脚本部分、执行部分，其中组件库中包含多个定制通用的可视化组件；其中画布用于将组件库中选择的可视化组件拖拽置于画布区域中，在组件配置参数区域对可视化组件的参数进行绑定SQL配置，并读取数据，基于系统中各个数据库之间的数据交互关系，通过鼠标绘制SQL之间的连接线；其中图结构用于存储画布中所绘制的连接线，将可视化组件关系解析为图结构进行保存；其中拓扑解析部分与图结构相连，通过对图结构进行拓扑解析获得组件执行先后顺序，提取绑定SQL信息封装为脚本后进行后台执行。实施例二本专利技术的一种基于大数据的可视化加工处理方法，基于实施例一的处理系统，具体步骤说明如下：1)将组件库中的可视化组件拖拽添加至画布中，在画布中生成可视化组件节点；由于可视化组件之间低耦合，因此该系统可支持ORACLE、MYSQL、HIVE等不同类型数据库。组件与画布的实现使用以下相关前端组件：jsPlumb、jquery、jquery.panzoom、mustache；2)可视化组件节点右键弹出自定义SQL配置窗口绑定配置SQL；结合附图2，SQL配置窗口包括配置基本信息、配置字段信息、SQL预览三部分，配置基本信息包括creat本文档来自技高网...

【技术保护点】
1.一种基于大数据的可视化加工处理系统，其特征在于，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。

【技术特征摘要】
1.一种基于大数据的可视化加工处理系统，其特征在于，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。2.根据权利要求1所述的一种基于大数据的可视化加工处理系统，其特征在于，该系统包括组件库、画布、图结构、拓扑解析部分、执行顺序部分、脚本部分、执行部分，其中组件库中包含多个定制通用的可视化组件；其中画布用于将组件库中选择的可视化组件置于画布区域中，在组件配置参数区域对可视化组件节点的参数进行绑定SQL配置，并读取数据，基于系统中各个数据库之间的数据交互关系，通过鼠标绘制SQL之间的连接线；其中图结构用于存储画布中所绘制的连接线，将可视化组件关系解析为图结构进行保存；其中拓扑解析部分与图结构相连，通过对图结构进行拓扑解析获得组件执行先后顺序，提取绑定SQL信息封装为脚本后进行后台执行。3.根据权利要求2所述的一种基于大数据的可视化加工处理系统，其特征在于，所述可视化组件通过拖拽方式置于画布区域。4.一种基于大数据的可视化加工处理方法，其特征在于，基于权利要求1-3中任一项所述的处理系统，具体步骤说明如下：1)将组件库中的可视化组件拖拽添加至画布中，在画布中生成可视化组件节...

【专利技术属性】
技术研发人员：曹志星，程林，杨培强，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东,37