一种FLinkSQL任务调试的方法、系统、电子装置和存储介质制造方法及图纸

本申请涉及一种FLink SQL任务调试的方法、系统、电子装置和存储介质，其中，该方法包括：前端Web页面向后端Driver驱动程序发起建立WebSocket的连接请求，后端Driver驱动程序响应连接请求；前端Web页面通过WebSocket连接将Flink SQL任务发送到后端Driver驱动程序，并通过后端Driver驱动程序进行语法校验；在校验通过的情况下，后端Driver驱动程序将Flink SQL任务提交到Flink集群，并在提交成功之后，Flink集群返回任务ID、查询结果表头和查询表数据信息到后端Driver驱动程序、前端Web页面中，完成任务调试。通过本申请，降低了调试复杂度和人工成本，提高了调试效率。提高了调试效率。提高了调试效率。

【技术实现步骤摘要】
一种FLink SQL任务调试的方法、系统、电子装置和存储介质


[0001]本申请涉及计算机
，特别是涉及一种FLink SQL任务调试的方法、系统、电子装置和存储介质。

技术介绍

[0002]在Flink开发中，常见的调试方法主要有以下两种：一是通过Java、Scala、Python等编程语言通过Driver端程序调用API接口中executeSql等方法的方式进行调试，提交任务；二是通过Flink提供的sql
‑
client客户端执行SQL语句进行调试。
[0003]然而，以上两种调试方案存在以下的问题：一、对数据开发人员的要求比较高，需要其至少掌握一种编程语言。二、提交调试任务的操作繁琐，需要将程序上传服务器，然后通过服务器命令终端，再通过指定终端命令提交调试任务。三、代码修改不够灵活，在调试过程中需要频繁的对代码进行修改调整，而每次调整后都需要对全部的代码进行编译打包重新上传服务器，效率比较低下。
[0004]目前针对相关技术中在进行FLink SQL任务调试时，存在的人工成本高、调试复杂、效率低的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种FLink SQL任务调试的方法、系统、电子装置和存储介质，以至少解决相关技术中在进行FLink SQL任务调试时，存在的人工成本高、调试复杂、效率低的问题。
[0006]第一方面，本申请实施例提供了一种FLink SQL任务调试的方法，所述方法包括：
[0007]前端Web页面向后端Driver驱动程序发起建立WebSocket的连接请求，所述后端Driver驱动程序响应所述连接请求；
[0008]前端Web页面通过WebSocket连接将Flink SQL任务发送到所述后端Driver驱动程序，并通过所述后端Driver驱动程序进行语法校验；
[0009]在校验通过的情况下，所述后端Driver驱动程序将所述Flink SQL任务提交到Flink集群，并在提交成功之后，Flink集群返回任务ID、查询结果表头和查询表数据信息到所述后端Driver驱动程序、所述前端Web页面中，完成任务调试。
[0010]在其中一些实施例中，通过所述后端Driver驱动程序进行语法校验之后，所述方法包括：
[0011]所述后端Driver驱动程序通过所述WebSocket连接向所述前端Web页面发送语法校验的结果；
[0012]所述前端Web页面处理语法校验结果，如果语法校验通过，则日志输出校验成功，如果语法校验不通过，则日志输出错误信息，并发起关闭WebSocket连接的请求。
[0013]在其中一些实施例中，在所述后端Driver驱动程序将所述Flink SQL任务提交到Flink集群之后，所述方法包括：
[0014]所述Flink集群向所述后端Driver驱动程序返回提交任务结果，所述后端Driver驱动程序通过WebSocket连接向所述前端Web页面发送任务提交结果；
[0015]所述前端Web页面处理所述任务提交结果，如果任务提交成功，则日志输出成功信息，如果任务提交失败，则日志输出错误信息，并发起关闭WebSocket连接的请求。
[0016]在其中一些实施例中，Flink集群返回任务ID、查询结果表头和查询表数据信息到所述后端Driver驱动程序、所述前端Web页面中包括：
[0017]Flink集群返回任务ID信息、查询结果的表头信息和查询结果的数据信息到后端Driver驱动程序；
[0018]所述后端Driver驱动程序将所有信息通过WebSocket连接发送到所述前端Web页面中，所述前端Web页面输出显示表头信息和数据信息，并通过日志输出任务ID信息。
[0019]在其中一些实施例中，完成任务调试之后，所述方法包括：
[0020]所述前端Web页面通过所述WebSocket连接发起停止任务和关闭连接请求，所述后端Driver驱动程序响应请求并执行。
[0021]在其中一些实施例中，所述前端Web页面通过所述WebSocket连接发起停止任务，所述后端Driver驱动程序响应请求并执行包括：
[0022]所述前端Web页面通过WebSocket连接发送停止任务的请求到所述后端Driver驱动程序；
[0023]所述后端Driver驱动程序向所述Flink集群发起停止Flink SQL任务的命令，并在任务停止后，所述Flink集群返回任务停止的信息到所述后端Driver驱动程序；
[0024]所述后端Driver驱动程序将任务停止信息通过WebSocket连接发送给所述前端Web页面进行输出显示。
[0025]在其中一些实施例中，所述前端Web页面通过所述WebSocket连接发起关闭连接请求，所述后端Driver驱动程序响应请求并执行包括：
[0026]所述前端Web页面通过WebSocket连接向所述后端Driver驱动程序发起关闭连接的请求；
[0027]所述后端Driver驱动程序响应所述请求关闭WebSocket连接，并向所述前端Web页面发送链接关闭成功的消息。
[0028]第二方面，本申请实施例提供了一种FLink SQL任务调试的系统，所述系统包括：
[0029]连接模块，用于前端Web页面向后端Driver驱动程序发起建立WebSocket的连接请求，所述后端Driver驱动程序响应所述连接请求；
[0030]调试模块，用于前端Web页面通过WebSocket连接将Flink SQL任务发送到所述后端Driver驱动程序，并通过所述后端Driver驱动程序进行语法校验，
[0031]在校验通过的情况下，所述后端Driver驱动程序将所述Flink SQL任务提交到Flink集群，并在提交成功之后，Flink集群返回任务ID、查询结果表头和查询表数据信息到所述后端Driver驱动程序、所述前端Web页面中，完成任务调试。
[0032]第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
[0033]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被
处理器执行时实现如上述第一方面所述的方法。
[0034]相比于相关技术，本申请实施例提供的FLink SQL任务调试的方法，前端Web页面向后端Driver驱动程序发起建立WebSocket的连接请求，后端Driver驱动程序响应连接请求；前端Web页面通过WebSocket连接将Flink SQL任务发送到后端Driver驱动程序，并通过后端Driver驱动程序进行语法校验；在校验通过的情况下，后端Driver驱动程序将Flink SQL任务提交到Flink集群，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种FLink SQL任务调试的方法，其特征在于，所述方法包括：前端Web页面向后端Driver驱动程序发起建立WebSocket的连接请求，所述后端Driver驱动程序响应所述连接请求；前端Web页面通过WebSocket连接将Flink SQL任务发送到所述后端Driver驱动程序，并通过所述后端Driver驱动程序进行语法校验；在校验通过的情况下，所述后端Driver驱动程序将所述Flink SQL任务提交到Flink集群，并在提交成功之后，Flink集群返回任务ID、查询结果表头和查询表数据信息到所述后端Driver驱动程序、所述前端Web页面中，完成任务调试。2.根据权利要求1所述的方法，其特征在于，通过所述后端Driver驱动程序进行语法校验之后，所述方法包括：所述后端Driver驱动程序通过所述WebSocket连接向所述前端Web页面发送语法校验的结果；所述前端Web页面处理语法校验结果，如果语法校验通过，则日志输出校验成功，如果语法校验不通过，则日志输出错误信息，并发起关闭WebSocket连接的请求。3.根据权利要求1所述的方法，其特征在于，在所述后端Driver驱动程序将所述Flink SQL任务提交到Flink集群之后，所述方法包括：所述Flink集群向所述后端Driver驱动程序返回提交任务结果，所述后端Driver驱动程序通过WebSocket连接向所述前端Web页面发送任务提交结果；所述前端Web页面处理所述任务提交结果，如果任务提交成功，则日志输出成功信息，如果任务提交失败，则日志输出错误信息，并发起关闭WebSocket连接的请求。4.根据权利要求1所述的方法，其特征在于，Flink集群返回任务ID、查询结果表头和查询表数据信息到所述后端Driver驱动程序、所述前端Web页面中包括：Flink集群返回任务ID信息、查询结果的表头信息和查询结果的数据信息到后端Driver驱动程序；所述后端Driver驱动程序将所有信息通过WebSocket连接发送到所述前端Web页面中，所述前端Web页面输出显示表头信息和数据信息，并通过日志输出任务ID信息。5.根据权利要求1所述的方法，其特征在于，完成任务调试之后，所述方法包括：所述前端Web页面通过所...

【专利技术属性】
技术研发人员：马朝华，朱伟，石乔木，
申请(专利权)人：杭州靖安科技有限公司，
类型：发明
国别省市：