【技术实现步骤摘要】
数据导出方法、装置、计算机设备及调度服务系统
[0001]本申请涉及大数据
，特别是涉及一种数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统。
技术介绍
[0002]随着数据量产生速度越来越快，出现了大数据平台技术。通过大数据平台统一管理、集中存储大数据资源，可以满足大数据对高性能计算能力和大容量存储能力的需求，并能提供数据采集、数据计算、数据存储、数据分析，数据可视化等大量开发能力。各应用可以在大数据平台上进行数据开发，具体的，各应用将数据导入到大数据平台的大数据集群进行集中存放，然后每个应用可以根据作业需要，在大数据平台批量加工数据，并将加工后的数据导出到应用服务器以便查询使用。
[0003]其中，为了各应用之间的解耦合，各应用之间不能相互访问对方的数据库，只能通过接口或者文件的方式来交互，因此，导出加工后的数据时，会先将数据导出在大数据平台调度服务器的数据导出节点，进而由该数据导出节点将数据发送给应用服务器。
[0004]相关技术中，数据导出节点包括任务执行(执行数据导出任务...
【技术保护点】
【技术特征摘要】
1.一种数据导出方法，其特征在于，所述方法应用于调度服务系统中的控制节点，所述方法包括：向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。2.根据权利要求1所述的方法，其特征在于，所述在所述各计算节点中确定第二目标计算节点，包括：接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。3.根据权利要求2所述的方法，其特征在于，所述运行状态信息包括设备状态和任务运行率；所述根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息，包括：根据每个所述计算节点对应的心跳信息，确定所述计算节点的设备状态，所述设备状态包括正常状态和故障状态；根据每个所述计算节点对应的当前运行任务数和最大运行任务数，计算所述计算节点的任务运行率；所述根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点，包括：在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。4.一种数据导出方法，其特征在于，所述方法应用于调度服务系统中的计算节点，所述方法包括：接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令；在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据；将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在确定所述共享存储空间中不包含所述目标数据的情况下，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：按照预设目录创建规则，创建所述目标数据对应的数据目录，并将所述数据目录挂载于所述共享存储空间；所述将所述目标数据存储于所述...
【专利技术属性】
技术研发人员：熊辉，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。