本申请涉及一种数据处理方法、装置、计算机设备和存储介质。涉及金融科技领域或其他相关领域。所述方法包括：获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务；在检测到并发运行的作业任务对应的特征信息时，通过分布式批量平台配置的分布式批量工具包拦截特征信息；在目标应用程序的作业监控信息满足预设条件的情况下，将拦截的特征信息返回至函数计算平台，以指示函数计算平台清除目标容器；预设条件为多个作业任务均处理完成。采用本方法能够实现批量函数化应用的多个作业并发运行于函数计算平台的同一容器，保证了容器中的全部作业正常处理完成。完成。完成。
【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
[0001]本申请涉及金融科技领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]在基于分布式批量框架，实现分布式批量程序落地Serverless函数计算平台的情况下，针对金融业务中多作业并发运行于同一个函数容器的需求，由于每个作业处理完成后会向函数计算平台返回return信息，而Serverless函数计算平台在接收到批量作业中第一个return信息时会销毁函数容器，导致了仍在该函数容器上运行的其它作业无法及时处理完成任务，存在金融业务处理失败的风险。
技术实现思路
[0003]基于此，有必要针对上述技术问题，提供一种能够解决上述问题的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种数据处理方法，应用于分布式批量平台，所述方法包括：
[0005]获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
[0006]在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
[0007]在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
[0008]在其中一个实施例中，在所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息的步骤之前，所述方法还包括：
[0009]通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包；
[0010]其中，所述监控线程用于使所述分布式批量工具包拦截所述特征信息，以及获取所述目标应用程序的作业监控信息；所述作业监控信息包括以下任一项或多项：
[0011]作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。
[0012]在其中一个实施例中，所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息，包括：
[0013]在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作
业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。
[0014]在其中一个实施例中，当所述作业监控信息为所述作业运行状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
[0015]获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；
[0016]针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；
[0017]若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。
[0018]在其中一个实施例中，当所述作业监控信息为所述作业日志信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
[0019]在所述目标容器并发运行所述多个作业任务的过程中，获取作业日志信息；所述作业日志信息用于存储所述多个作业任务中每个作业任务对应的作业开始日志和作业结束日志；
[0020]若检测到所述多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足所述预设条件。
[0021]在其中一个实施例中，当所述作业监控信息为所述容器使用状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
[0022]在所述目标应用程序启动完成且未执行作业时，获取所述目标容器的初始状态信息；
[0023]在所述目标容器并发运行所述多个作业任务的过程中，获取容器使用状态信息；
[0024]若检测到所述容器使用状态信息与所述初始状态信息的差值小于预设误差阈值，则确认满足所述预设条件。
[0025]在其中一个实施例中，当所述作业监控信息为所述数据库监控信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
[0026]获取所述目标应用程序的数据库关键信息；
[0027]在所述目标容器并发运行所述多个作业任务的过程中，若检测到所述数据库监控信息与所述数据库关键信息相匹配，则确认满足所述预设条件。
[0028]第二方面，本申请还提供了一种数据处理装置，应用于分布式批量平台，所述装置包括：
[0029]多作业并发运行模块，用于获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
[0030]特征信息拦截模块，用于在检测到并发运行的所述作业任务对应的特征信息时，
通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
[0031]特征信息返回模块，用于在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
[0032]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据处理方法的步骤。
[0033]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
[0034]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
[0035]上述一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务，该目本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式批量平台，所述方法包括：获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。2.根据权利要求1所述的方法，其特征在于，在所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息的步骤之前，所述方法还包括：通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包；其中，所述监控线程用于使所述分布式批量工具包拦截所述特征信息，以及获取所述目标应用程序的作业监控信息；所述作业监控信息包括以下任一项或多项：作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。3.根据权利要求1所述的方法，其特征在于，所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息，包括：在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。4.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述作业运行状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。5.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述作业日志信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所...
【专利技术属性】
技术研发人员：王豪赞，王磊，武文轩，张帅，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。