一种分布式集群系统的调试方法和装置制造方法及图纸

本申请涉及一种分布式集群系统的调试方法及装置所述方法包括：向分布式集群系统发送数据请求，所述数据请求包含待调试计算节点的信息；接收所述分布式集群系统发送的与所述数据请求对应的待调试计算节点的用户定义方法UDF代码和数据；利用预先设置的UDF最小运行环境运行所述UDF代码和数据，以对所述计算节点进行调试。本申请可以利用预先设置的UDF最小运行环境以及获取的线上UDF实际运行代码和数据，对单个计算节点进行调试，有效降低了用户调试UDF的成本，提高了数据处理效率。

A debug method and device for a distributed cluster system

Including the debugging method and device of the invention relates to a distributed cluster system the method to send the data to the request of distributed cluster system, the data request contains computing nodes to be debugging information; user defined method UDF code and data nodes corresponding to the commissioning of the sending and receiving of the data and the distributed cluster system the request; adopting a preset UDF minimum operating environment for running the UDF code and data in the calculation of nodes of the debugging. This application can debug a single computing node with the pre established UDF minimum operation environment and the actual UDF code and data obtained online, which effectively reduces the cost of user debugging UDF and improves the data processing efficiency.

【技术实现步骤摘要】
一种分布式集群系统的调试方法和装置
本申请涉及终端设备
，尤其涉及一种分布式集群系统的调试方法和装置。
技术介绍
分布式集群系统可以将大型计算任务部署到多台机器上运行，从而利用多台集群的计算资源提高数据的处理能力，因此得到了广泛的应用。分布式集群系统可以为用户提供统一的计算框架，但由于每个用户的需求是不一样的，因此出现了一种用户定义方法(英文全称为UserDefinedFunction，英文简称为UDF)，可以允许用户在所述计算框架内根据自己的业务逻辑编写UDF程序，并提交到分布式集群系统后运行。然而，用户的UDF程序可能包含种种错误，当UDF程序在分布式集群系统中运行时发生异常时，会导致用户的整个作业失败。因此，需要一种方法对用户的UDF程序进行调试。现有技术中，存在两种方法可以用于调试用户的UDF程序。一种方法是通过分布式集群系统的专业维护人员帮助用户定位错误，但这种方式的人力成本耗费较大。另外一种方法是用户自己通过分布式集群系统的标准错误输出(英文全称为standarderror)文件查看运行时出错信息，用户修正一个错误后，需要重新提交整个作业来验证修改是否正确。由于系统本文档来自技高网...

【技术保护点】
一种调试系统，其特征在于，包括客户端和分布式集群系统，其中：所述客户端用于向所述分布式集群系统发送数据请求，所述数据请求包含待调试计算节点的信息；接收所述分布式集群系统发送的与所述数据请求对应的待调试计算节点的用户定义方法UDF代码和数据；利用预先设置的UDF最小运行环境运行所述UDF代码和数据，以对所述计算节点进行调试；所述分布式集群系统用于接收所述客户端发送的数据请求，所述数据请求包含待调试计算节点的信息；根据所述待调试计算节点的信息，获取与所述待调试计算节点对应的用户定义方法UDF代码和数据；向所述客户端发送所述UDF代码和数据。

【技术特征摘要】
1.一种调试系统，其特征在于，包括客户端和分布式集群系统，其中：所述客户端用于向所述分布式集群系统发送数据请求，所述数据请求包含待调试计算节点的信息；接收所述分布式集群系统发送的与所述数据请求对应的待调试计算节点的用户定义方法UDF代码和数据；利用预先设置的UDF最小运行环境运行所述UDF代码和数据，以对所述计算节点进行调试；所述分布式集群系统用于接收所述客户端发送的数据请求，所述数据请求包含待调试计算节点的信息；根据所述待调试计算节点的信息，获取与所述待调试计算节点对应的用户定义方法UDF代码和数据；向所述客户端发送所述UDF代码和数据。2.一种分布式集群系统的调试方法，其特征在于，所述方法应用于客户端，包括：向分布式集群系统发送数据请求，所述数据请求包含待调试计算节点的信息；接收所述分布式集群系统发送的与所述数据请求对应的待调试计算节点的用户定义方法UDF代码和数据；利用预先设置的UDF最小运行环境运行所述UDF代码和数据，以对所述计算节点进行调试。3.根据权利要求2所述的方法，其特征在于，所述待调试计算节点的信息包括所述计算节点的标识、位置和路径信息。4.根据权利要求2所述的方法，其特征在于，所述利用预先设置的UDF最小运行环境运行所述UDF代码和数据，以对所述计算节点进行调试包括：利用预先设置的UDF最小运行环境运行所述UDF代码和数据，显示标准输出信息、标准错误信息以及所述计算节点的运行信息，以便用户对所述计算节点进行调试。5.根据权利要求4所述的方法，其特征在于，所述客户端包括虚拟机容器模块和集成开发环境IDE模块，所述利用预先设置的UDF最小运行环境运行所述UDF代码和数据，显示标准输出信息、标准错误信息以及所述计算节点的运行信息，以便用户对所述计算节点进行调试包括：利用所述虚拟机容器模块承载的UDF最小运行环境运行所述UDF代码和数据；所述虚拟机容器模块将标准输出信息、标准错误信息以文件流的形式发送给所述IDE模块，以便所述IDE模块向用户显示所述标准输出信息和所述标准错误信息；所述虚拟机容器模块在所述UD...

【专利技术属性】
技术研发人员：周欣，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY