本公开提供了一种数据交换调度方法，可用于金融领域或其他领域，包括：对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息；根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，并根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息；根据依赖实例信息，判断待处理作业是否满足前置作业依赖，若满足，将待处理作业设置为待调度作业并进行调度处理。本公开还提供了一种数据交换调度系统、电子设备、计算机可读存储介质及计算机程序产品。品。品。
【技术实现步骤摘要】
数据交换调度方法、系统、电子设备、介质及程序产品
[0001]本公开涉及数据处理
，具体涉及一种数据交换调度方法、系统、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
[0002]随着企业业务系统的规模不断扩大，数据交换平台帮助企业内部各系统间快速高效的数据共享减少数据处理环节提升数据处理效率。对于以文件为主要对象的企业级数据交换平台，每天有海量文件需要交换，文件供应方(简称上游)每天下传的文件数量、内容、时间、频次均不相同，而每个文件涉及多个需求方(简称下游)，每个需求方的文件需要不同处理作业进行加工，且各类作业之间执行顺序要求。数据交换调度对每个到达平台的文件匹配对应的加工作业及作业执行链路，然后进行作业调度处理。
[0003]目前数据交换作业调度系统的处理方式是采用预先生成作业及作业依赖，以检测到文件到达的方式来触发调度系统调度相关作业，这种方式可以解决减少调度系统中的人力介入，但现有技术存在至少两个问题：1)、作业提前生成的作业无法适配实际变化的交换数据，由于系统涉及较多上游，有一个上游下传的文件名称与定义不同将导致后续作业无法调起，如有上游下传的内容、频次发生变化系统将无法处理。2)、提前生成全量作业将占用大量系统资源应该系统服务可用性。
技术实现思路
[0004]为解决现有技术中存在的问题，本公开的实施例提供的一种数据交换调度方法、系统、电子设备、计算机可读存储介质及计算机程序产品，以实现待处理文件到待处理作业的转换及调度。
[0005]本公开的第一个方面提供了一种数据交换调度方法，包括：对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息；根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，并根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息；根据依赖实例信息，判断待处理作业是否满足前置作业依赖，若满足，将待处理作业设置为待调度作业并进行调度处理。
[0006]进一步地，对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息，包括：获取多个待处理文件的基础信息；将多个待处理文件的基础信息进行交换需求定义，生成交换信息；读取预置时间内的交换信息，并提取交换信息的关键词字段生成待处理文件的数据定义文件；根据交换信息中每条数据记录的处理方式及作业类型，生成作业定义信息，并根据交换信息中的每条数据记录及作业类型的执行顺序，生成作业依赖信息。
[0007]进一步地，根据作业定义信息，将待处理文件进行实例化处理之前，该方法还包括：将数据定义文件中的下传目录信息添加至检测目录表中；对检测目录表中目录信息进行检测是否生成清单校验文件；若是，检测该清单校验文件是否与数据定义文件匹配；若匹
配，将数据定义文件添加至加工目录文件，并将检测到的实际文件信息录入源数据信息文件中；若不匹配，将数据定义文件添加至异常加工目录文件。
[0008]进一步地，根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，包括：将源数据信息文件中记录的待处理文件与作业定义信息和数据定义文件进行匹配，并进行替换宏转换为实例作业，得到待处理文件的作业实例。
[0009]进一步地，根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息，包括：根据作业实例文件中的作业名称与作业依赖信息中的后置作业名称，生成待处理作业的依赖实例信息。
[0010]进一步地，判断待处理作业是否满足前置作业依赖，包括：判断待处理作业是否存在前置作业依赖；若不存在，将待处理作业设置为待调度作业；若存在，判断前置作业是否已处理，若前置作业已处理，将待处理作业设置为待调度作业。
[0011]进一步地，该方法还包括：判断待调度作业是否为僵死作业，其中，僵死作业表征在预置时间内未进行作业处理的待调度作业；若是，将僵死作业重置为待调度作业。
[0012]进一步地，将待处理作业设置为待调度作业并进行调度处理，包括：将待调度作业加入至分发作业队列中；从分发作业队列中依次取出多个待调度作业分配至作业客户端中空闲节点地址，同时将待调度作业的状态设置为待处理；将多个待调度作业提交至作业客户端进行作业处理，并更新待处理作业进行处理后的作业状态。
[0013]进一步地，待处理作业进行处理后的作业状态至少包括：处理中或处理完成或处理失败。
[0014]本公开的第二个方面提供了一种数据交换调度系统，包括：文件预处理模块，用于对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息；作业实例化模块，用于根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，并根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息；作业调度模块，用于根据依赖实例信息，判断待处理作业是否满足前置作业依赖，若满足，将待处理作业设置为待调度作业并进行调度处理。
[0015]进一步地，文件预处理模块用于对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息，包括：获取多个待处理文件的基础信息；将多个待处理文件的基础信息进行交换需求定义，生成交换信息；读取预置时间内的交换信息，并提取交换信息的关键词字段生成待处理文件的数据定义文件；根据交换信息中每条数据记录的处理方式及作业类型，生成作业定义信息，并根据交换信息中的每条数据记录及作业类型的执行顺序，生成作业依赖信息。
[0016]进一步地，该系统还包括：文件检验模块，用于待处理文件的核验，包括：将数据定义文件中的下传目录信息添加至检测目录表中；对检测目录表中目录信息进行检测是否有清单校验文件生成；若有，检测该清单校验文件是否与数据定义文件匹配；若匹配，将数据定义文件添加至加工目录文件，并将检测到的实际文件信息录入源数据信息文件中；若不匹配，将数据定义文件添加至异常加工目录文件。
[0017]本公开的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本公开的第一个方面提供的数据交换调度方法。
[0018]本公开的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开的第一个方面提供的数据交换调度方法。
[0019]本公开的第五个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的第一个方面提供的数据交换调度方法。
[0020]本公开提供的一种数据交换调度方法、系统、电子设备、计算机可读存储介质及计算机程序产品，本方法及系统分为作业定义预生成及作业定义快速生成实例作业两个阶段，将需处理的文件一次登记多次用户使用成本较低，本方法及系统可按用户实际下传文件动态生成作业没有对下传文件时间点、频次等限制容错性较高。
附图说明
[0021]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
[0022]图1示意性示出了根据本公开一实施例的数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据交换调度方法，其特征在于，包括：对待处理文件进行定义预处理，生成所述待处理文件的作业定义信息及作业依赖信息；根据所述作业定义信息，将所述待处理文件进行实例化处理，得到所述待处理文件的作业实例，并根据所述作业依赖信息及所述作业实例，生成待处理作业的依赖实例信息；根据所述依赖实例信息，判断所述待处理作业是否满足前置作业依赖，若满足，将所述待处理作业设置为待调度作业并进行调度处理。2.根据权利要求1所述的数据交换调度方法，其特征在于，所述对待处理文件进行定义预处理，生成所述待处理文件的作业定义信息及作业依赖信息，包括：获取多个待处理文件的基础信息；将多个所述待处理文件的基础信息进行交换需求定义，生成交换信息；读取预置时间内的所述交换信息，并提取所述交换信息的关键词字段生成所述待处理文件的数据定义文件；根据所述交换信息中每条数据记录的处理方式及作业类型，生成所述作业定义信息，并根据所述交换信息中的每条数据记录及所述作业类型的执行顺序，生成所述作业依赖信息。3.根据权利要求2所述的数据交换调度方法，其特征在于，所述根据所述作业定义信息，将所述待处理文件进行实例化处理之前，该方法还包括：将所述数据定义文件中的下传目录信息添加至检测目录表中；对所述检测目录表中目录信息进行检测是否生成清单校验文件；若是，检测该清单校验文件是否与所述数据定义文件匹配；若匹配，将所述数据定义文件添加至加工目录文件，并将检测到的实际文件信息录入源数据信息文件中；若不匹配，将所述数据定义文件添加至异常加工目录文件。4.根据权利要求3所述的数据交换调度方法，其特征在于，所述根据所述作业定义信息，将所述待处理文件进行实例化处理，得到所述待处理文件的作业实例，包括：将所述源数据信息文件中记录的所述待处理文件与所述作业定义信息和所述数据定义文件进行匹配，并进行替换宏转换为实例作业，得到所述待处理文件的作业实例。5.根据权利要求4所述的数据交换调度方法，其特征在于，所述根据所述作业依赖信息及所述作业实例，生成待处理作业的依赖实例信息，包括：根据所述作业实例文件中的作业名称与所述作业依赖信息中的后置作业名称，生成所述待处理作业的依赖实例信息。6.根据权利要求1所述的数据交换调度方法，其特征在于，所述判断所述待处理作业是否满足前置作业依赖，包括：判断所述待处理作业是否存在前置作业依赖；若不存在，将所述待处理作业设置为所述待调度作业；若存在，判断所述前置作业是否已处理，若所述前置作业已处理，将所述待处理作业设置为所述待调度作业。7.根据权利要求6所述的数据交换调度方法，其特征在于，该方法还包括：判断所述待调度作业是否为僵死作业，其中，所述僵死作业表征在预置时间内未进行
作业...
【专利技术属性】
技术研发人员：张雯，丁文定，徐平，王金余，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。