一种基于类制造技术

本发明专利技术提供一种基于类

【技术实现步骤摘要】
一种基于类SQL的数据文件分析处理方法


[0001]本专利技术涉及数据处理
，具体为一种基于类
SQL
的数据文件分析处理方法
。

技术介绍

[0002]在数据类应用和大数据分析中，数据的加工处理大量依赖于
SQL
脚本，从其他分行引入系统中也涉及大量的
SQL
脚本分析
、
改写工作
。
对于已有的系统，如果更换数据库软件
(
如
sybaseIQ
升级为
gbase),
需要要对原有的
SQL
脚本进行修改测试
。
在数据源发生变动
(
如基础表名变更
)
时也需要修改
SQL
语句，对于每个结果表，如业务人员对某项数据结果发出疑问，技术人员需要遍历所涉及的
SQL
文件，方能确定某项数据的来源及中间加工处理过程，目前技术人员对
SQL
文件只能手工进行分析，效率低下
、
容易出错
。
[0003]随着
python
的应用，原有的
SQL
脚本数据处理将转换为
python
脚本，需要人工对原
SQL
命令进行分析理解后再编写相应业务逻辑的
python
语句，对开发人员要求较高
。
[0004]因此为了能够有效解决上述问题，本申请基于
SQL
分析处理工具，提出了一种基于类
SQL
的数据文件分析处理方法
。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种基于类
SQL
的数据文件分析处理方法，解决了原有的
SQL
脚本数据处理将转换为
python
脚本，需要人工对原
SQL
命令进行分析理解后再编写相应业务逻辑的
python
语句，对开发人员要求较高的问题
。
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于类
SQL
的数据文件分析处理方法，包括以下步骤：
[0007]S1、
软件的环境准备
[0008]以
Jdk8
为开发的主要版本；
[0009]准备好需要处理的数据文件的数据库；
[0010]用
jdbc
驱动程序给数据库和
Jdk8
建立一个通信渠道；
[0011]S2、
软件的功能模块准备
[0012]以
Jdk8
版本为基础，基于类
SQL
对数据库的各项文件进行分析，分析的顺序依次为：
[0013]a.SQL
血缘分析；
[0014]b.
字段分析；
[0015]c.SQL
转换；
[0016]d.SQL
编写辅助插件；
[0017]e.
将
SQLselect
语句转换为
pythonpd.DataFrame
语句；
[0018]f.
根据
SQL
文件原始表生成作业链配置文件，实现
DWBS
快速配置
、
快速实施；
[0019]S3、
数据库内数据文件分析完成
。
[0020]优选的，所述软件的环境准备的
S1
步骤中，
Jdk8
和数据库之间开发的核心由
SQL
词
法分析器
、
语法分析器
、SQL
方言配置文件
、SQL
文件生成器
、python
生成器组成，
Jdk8
开发的程序配合前端界面
、
元数据管理程序
。
[0021]优选的，所述
SQL
血缘分析步骤为基于
SQL
分析出
SQL
文件的原始表
、
中间表
、
结果表
。
[0022]优选的，所述字段分析步骤具体为分析
SQL
结果表每个字段的加工处理过程，分析原始表每一个字段的作用域
。
[0023]优选的，所述
SQL
转换具体为将一种数据库的
SQL
转换为另一种数据库的
SQL。
[0024]优选的，所述
SQL
编写辅助插件具体为对
select*
进行展开显示
、
对
insert
语言自动生成
values()
字段列表
、
对已有的
SQL
文件或
SQL
片段非执行方式的检查，防止对现有数据修改
。
[0025]优选的，一种计算设备，包括处理器和存储器，所述存储器用于存储计算机处理器中的
Jdk8、jdbc
驱动程序
、
数据文件和
SQL
系统；
[0026]当所述计算机程序被处理器执行的时候，处理器执行一种基于类
SQL
的数据文件分析处理方法
。
[0027]本专利技术提供了一种基于类
SQL
的数据文件分析处理方法
。
具备以下有益效果：
[0028]本专利技术中，通过
SQL
分析处理工具能实现
SQL
文件的自动分析，能快速得到
SQL
文件的原始表
、
中间表和结果表，能对结果表的每一个字段能追溯中间加工处理的全过程，能查询某一基础表对应的中间表和结果表，能提供多种数据库
SQL
脚本的转换，能连接目标数据库对
SQL
文件进行检查，能提示表不存在
、
字段不存在
、insert
表字段与
values
字段不匹配等常见错误，能提供
pythonDataFrame
与
SQL
的映射转换，将
SQLselect
语句转换为
pythonDataFrame
语句
。
附图说明
[0029]图1为本专利技术的软件的功能模块准备流程图
。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于类
SQL
的数据文件分析处理方法，其特征在于：包括以下步骤：
S1、
软件的环境准备以
Jdk8
为开发的主要版本；准备好需要处理的数据文件的数据库；用
jdbc
驱动程序给数据库和
Jdk8
建立一个通信渠道；
S2、
软件的功能模块准备以
Jdk8
版本为基础，基于类
SQL
对数据库的各项文件进行分析，分析的顺序依次为：
a.SQL
血缘分析；
b.
字段分析；
c.SQL
转换；
d.SQL
编写辅助插件；
e.
将
SQLselect
语句转换为
pythonpd.DataFrame
语句；
f.
根据
SQL
文件原始表生成作业链配置文件，实现
DWBS
快速配置
、
快速实施；
S3、
数据库内数据文件分析完成
。2.
根据权利要求1所述的一种基于类
SQL
的数据文件分析处理方法，其特征在于：所述软件的环境准备的
S1
步骤中，
Jdk8
和数据库之间开发的核心由
SQL
词法分析器
、
语法分析器
、SQL
方言配置文件
、SQL
文件生成器
、python
生成器组成，
Jdk8
开发的程序配合前端界面
、
元数据管理程序
。3.
根据权...

【专利技术属性】
技术研发人员：杨益明，
申请(专利权)人：中国农业银行股份有限公司云南省分行，
类型：发明
国别省市：