基于人工智能的数据处理方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及大数据技术领域，提供一种基于人工智能的数据处理方法、装置、电子设备及介质，所述方法包括：获取第一数据库表；解析所述第一数据库表，得到解析结果；构建转换策略，基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果；当所述转换结果为转换成功时，校验与所述转换结果关联的第二数据库表；当确定所述第二数据库表校验合格时，执行所述第二数据库表中的任务，得到数据处理结果。本发明专利技术通过对第一数据库表进行解析及转换后得到第二数据库表，并在第二数据库表校验合格后执行任务，提高了任务执行的容错性。性。性。

【技术实现步骤摘要】
基于人工智能的数据处理方法、装置、电子设备及介质


[0001]本专利技术涉及大数据
，具体涉及一种基于人工智能的数据处理方法、装置、电子设备及介质。

技术介绍

[0002]随着Spark计算引擎发展，其优越的内存计算性能相比Hadoop原生MapReduce引擎计算更快，对分布式集群内存资源利用率更高，但在大数据的数据集运算稳定性方面，MapReduce引擎相对Spark更高。
[0003]目前，当前Spark SQL语法和Hive SQL语法不完全兼容，存在差异，执行任务过程中无法确保任务执行的容错性。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于人工智能的数据处理方法、装置、电子设备及介质，通过对第一数据库表进行解析及转换后得到第二数据库表，并在第二数据库表校验合格后执行任务，提高了任务执行的容错性。
[0005]本专利技术的第一方面提供一种基于人工智能的数据处理方法，所述方法包括：
[0006]响应于接收的数据处理请求，获取第一数据库表；
[0007]解析所述第一数据库表，得到解析结果；
[0008]构建转换策略，基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果；
[0009]当所述转换结果为转换成功时，校验与所述转换结果关联的第二数据库表；
[0010]当确定所述第二数据库表校验合格时，执行所述第二数据库表中的任务，得到数据处理结果。
[0011]可选地，所述执行所述第二数据库表中的任务，得到数据处理结果包括：
[0012]当侦测到所述第二数据库表中的任意一个任务执行失败时，获取所述第一数据库表，并执行所述第一数据库表中的任务；
[0013]当所述第一数据库表中的每个任务执行成功时，确定数据处理结果为任务执行结束；
[0014]当所述第一数据库表中的任意一个任务执行失败时，确定数据处理结果为触发异常任务处理指令。
[0015]可选地，所述解析所述第一数据库表，得到解析结果包括：
[0016]获取所述第一数据库表对应的语法规则集；
[0017]基于所述语法规则集生成语法分析器；
[0018]采用所述语法分析器对所述第一数据库表中的第一查询语句进行语法解析，得到对应的语法元素；
[0019]确定每个语法元素的节点位置，并按照所述节点位置对每个语法元素进行布局，
生成对应的语法树，将所述语法树确定为解析结果。
[0020]可选地，所述构建转换策略包括：
[0021]识别所述第一数据库表的第一语法与所述第二数据库表的第二语法之间的差异；
[0022]基于所述差异采用预设的函数构建转换策略。
[0023]可选地，所述基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果包括：
[0024]识别所述语法树的每个节点的转换策略；
[0025]基于所述每个节点的转换策略对每个节点的第一查询语句进行转换；
[0026]当转换得到的是每个节点的第二查询语句时，确定转换结果为转换成功，并将所述转换结果与第二数据库表进行关联，其中，所述第二数据库表是将每个节点的第二查询语句写入预设的数据库表中得到的；
[0027]当转换得到的不是每个节点的第二查询语句时，确定转换结果为转换失败。
[0028]可选地，所述方法还包括：
[0029]当转换结果为转换失败时，调整转换策略对失败节点的第一查询语句进行二次转换。
[0030]可选地，所述方法还包括：
[0031]当确定所述第二数据库表校验不合格时，获取校验失败的失败节点的第一失败信息，将所述第一失败信息发送至客户端；
[0032]接收所述客户端基于所述第一失败信息上报的新的转换策略，基于所述新的转换策略对所述失败节点的第一查询语句进行二次转换；
[0033]当转换得到的是所述失败节点的第二查询语句时，确定转换结果为转换成功，转换结束，或者，当转换得到的不是所述失败节点的第二查询语句时，确定转换结果为转换失败，重复上述步骤，直至所述失败节点的第一查询语句转换成功，转换结束；
[0034]对转换得到的失败节点的第二查询语句进行迭代校验，直至所述第二数据库表校验合格。
[0035]本专利技术的第二方面提供一种基于人工智能的数据处理装置，所述装置包括：
[0036]获取模块，用于响应于接收的数据处理请求，获取第一数据库表；
[0037]解析模块，用于解析所述第一数据库表，得到解析结果；
[0038]转换模块，用于构建转换策略，基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果；
[0039]校验模块，用于当所述转换结果为转换成功时，校验与所述转换结果关联的第二数据库表；
[0040]执行模块，用于当确定所述第二数据库表校验合格时，执行所述第二数据库表中的任务，得到数据处理结果。
[0041]本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的基于人工智能的数据处理方法。
[0042]本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能的数据处理方
法。
[0043]综上所述，本专利技术所述的基于人工智能的数据处理方法、装置、电子设备及介质，能够推动智慧城市的建设，应用于智慧建筑、智慧安防、智慧社区、智慧生活、物联网等领域，通过解析所述第一数据库表，得到解析结果，便于后续基于所述解析结果对所述第一数据库表进行转换，提高了第一数据库表的转换效率。构建转换策略，基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果，通过预先构建转换策略，通过调用转换策略，将所述语法树中的每个节点的第一查询语句按照对应的转换策略转换为第二查询语句，无需人为参与，实现了自动化转换，提高了数据转换效率。当所述转换结果为转换成功时，校验与所述转换结果关联的第二数据库表，并在所述第二数据库表校验合格时，执行所述第二数据库表中的任务，得到数据处理结果，在确保转换结果成功和校验结果合格的情况下，执行所述第二数据库表中的任务，在第二数据库表中的任意一个任务执行失败时，可以切换至第一数据库表中执行任务，避免了第二数据库表中的任意一个任务执行失败导致任务无法执行的现象，提高了执行任务的容错性。
附图说明
[0044]图1是本专利技术实施例一提供的基于人工智能的数据处理方法的流程图。
[0045]图2是本专利技术实施例二提供的基于人工智能的数据处理装置的结构图。
[0046]图3是本专利技术实施例三提供的电子设备的结构示意图。
具体实施方式
[0047]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的数据处理方法，其特征在于，所述方法包括：响应于接收的数据处理请求，获取第一数据库表；解析所述第一数据库表，得到解析结果；构建转换策略，基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果；当所述转换结果为转换成功时，校验与所述转换结果关联的第二数据库表；当确定所述第二数据库表校验合格时，执行所述第二数据库表中的任务，得到数据处理结果。2.如权利要求1所述的基于人工智能的数据处理方法，其特征在于，所述执行所述第二数据库表中的任务，得到数据处理结果包括：当侦测到所述第二数据库表中的任意一个任务执行失败时，获取所述第一数据库表，并执行所述第一数据库表中的任务；当所述第一数据库表中的每个任务执行成功时，确定数据处理结果为任务执行结束；当所述第一数据库表中的任意一个任务执行失败时，确定数据处理结果为触发异常任务处理指令。3.如权利要求1所述的基于人工智能的数据处理方法，其特征在于，所述解析所述第一数据库表，得到解析结果包括：获取所述第一数据库表对应的语法规则集；基于所述语法规则集生成语法分析器；采用所述语法分析器对所述第一数据库表中的第一查询语句进行语法解析，得到对应的语法元素；确定每个语法元素的节点位置，并按照所述节点位置对每个语法元素进行布局，生成对应的语法树，将所述语法树确定为解析结果。4.如权利要求1所述的基于人工智能的数据处理方法，其特征在于，所述构建转换策略包括：识别所述第一数据库表的第一语法与所述第二数据库表的第二语法之间的差异；基于所述差异采用预设的函数构建转换策略。5.如权利要求1所述的基于人工智能的数据处理方法，其特征在于，所述基于所述转换策略对所述解析结果中的语法树的每个节点进行转换，得到转换结果包括：识别所述语法树的每个节点的转换策略；基于所述每个节点的转换策略对每个节点的第一查询语句进行转换；当转换得到的是每个节点的第二查询语句时，确定转换结果为转换成功，并将所述转换结果与第二数据库表进行关联，其中，所述第二数据...

【专利技术属性】
技术研发人员：张炫铤，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：