【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种数据处理方法及装置。
技术介绍
1、在互联网业务处理方面，批处理系统是重要的业务系统。例如在金融业务中，批处理系统通常用来处理批量冻结、批量营销等任务。批处理系统处理任务的特点是任务多、处理的数据量大，并且，每种批处理任务的优先级、数据量和业务流程都不相同。因此，为使批处理系统能够很好地支持业务的快速增长，就需要批处理任务能够高效地处理数据，提高任务整体运行效率。如何利用批处理系统高效地处理数据，成为领域内非常重要的一项工作。
技术实现思路
1、本公开一方面的目的是提供一种数据处理方法及装置，用以解决现有技术中数据批处理任务效率低以及数据批处理机制不完善的问题。
2、为解决上述技术问题，本公开一方面是这样实现的：
3、一方面，本公开一方面提供一种数据处理方法，包括：
4、在监测到待处理的数据调度任务的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息；所述数据调度任务包括：任务类型、多个待处理数据对应的元数据和所述数据调度任务对应的优先级信息；所述元数据用于获取所述多个待处理数据；
5、根据所述数据调度任务对应的优先级信息和所述资源使用信息，确定所述数据调度任务对应的当前批次待处理的目标数据量；
6、从所述多个待处理数据中获取与所述目标数据量相匹配的目标数据，并创建所述目标数据对应的数据执行任务；所述数据执行任务包括：所述目标数据和所述任务类型；
7、基于所述数据执行任务
8、另一方面，本公开一方面提供一种数据处理装置，所述数据处理装置包括：
9、第一确定模块，用于在监测到待处理的数据调度任务的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息；所述数据调度任务包括：任务类型、多个待处理数据对应的元数据和所述数据调度任务对应的优先级信息；所述元数据用于获取所述多个待处理数据；
10、第二确定模块，用于根据所述数据调度任务对应的优先级信息和所述资源使用信息，确定所述数据调度任务对应的当前批次待处理的目标数据量；
11、获取模块，用于从所述多个待处理数据中获取与所述目标数据量相匹配的目标数据，并创建所述目标数据对应的数据执行任务；
12、处理模块，用于基于所述数据执行任务，利用所述资源对所述目标数据进行与所述任务类型相应的处理。
13、再一方面，本公开一方面提供一种电子设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述数据处理方法。
14、再一方面，本公开一方面提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序能够被处理器执行以实现上述数据处理方法。
15、采用本公开一方面的技术方案，通过在监测到存在待处理的数据调度任务(包括任务类型、多个待处理数据对应的元数据和数据调度任务对应的优先级信息)的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息，并根据数据调度任务对应的优先级信息和资源使用信息，确定数据调度任务对应的当前批次待处理的目标数据量，进而从多个待处理数据中获取与目标数据量相匹配的目标数据，并创建目标数据对应的数据执行任务，基于数据执行任务，并利用资源对目标数据进行与任务类型相应的处理。可见，在处理数据调度任务时，并非是一次性读取完所有的待处理数据，而是根据优先级信息和资源使用信息动态调整当前批次待处理的数据量，以及从待处理数据中获取当前批次待处理的目标数据，这使得每个批次从数据库中获取的数据量较少，极大地减少数据库的读写负载，提升数据库的稳定性。并且，在根据优先级信息和资源使用信息动态调整当前批次待处理的数据量时，例如，优先级越高的数据调度任务被分配越多的资源，资源越多，同一批次处理的数据量也就越多，即目标数据的数据量也就越多，从而不仅提升了对优先级高的数据调度任务的处理速度，还实现了动态调整批处理数据量的效果。此外，由于资源使用信息能够在一定程度上表征资源使用情况，如空闲资源、正在处理数据的资源等，并且数据调度任务以单个数据为维度(即当前批次待处理的数据量可基于数据条数来计算)，粒度较细，因此根据资源使用信息来调度数据的方式能够确保资源的充分利用率，减少资源浪费。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在监测到待处理的数据调度任务的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述在监测到待处理的数据批处理任务的情况下，根据所述元数据获取所述多个待处理数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述数据调度任务对应的优先级信息和所述资源使用信息，确定所述数据调度任务对应的当前批次待处理的目标数据量，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定用于处理所述待处理数据的多个资源对应的资源使用信息之前，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述在监测到待处理的数据调度任务的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息，包括：
7.根据权利要求1所述的方法，其特征在于，所述确定用于处理待处理数据的多个资源对应的资源使用信息，包括：
8.根据权利要求1-7任一项所述
9.一种数据处理装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现如权利要求1-8任一项所述的数据处理方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-8任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在监测到待处理的数据调度任务的情况下，确定用于处理待处理数据的多个资源对应的资源使用信息之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述在监测到待处理的数据批处理任务的情况下，根据所述元数据获取所述多个待处理数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述数据调度任务对应的优先级信息和所述资源使用信息，确定所述数据调度任务对应的当前批次待处理的目标数据量，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定用于处理所述待处理数据的多个资源对应的资源使用信息之前，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述在监测到待处理的数据调度任务的情况下，确定用...
【专利技术属性】
技术研发人员：杜洪川，杨飞菲，王思远，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。