本发明专利技术涉及数据处理技术，揭露了一种数据批量处理方法，包括：获取待处理数据，并配置待处理数据的数据处理任务，创建待处理数据的数据运行环境，根据数据处理任务，在数据运行环境中配置数据处理节点；利用预设的任务调度工具将数据处理任务分配至数据处理节点中，得到数据任务的分配日志；基于分配日志，通过数据处理节点运行数据处理任务，以记录数据处理任务在运行过程中的运行日志；将分配日志和运行日志进行整合，得到待处理数据的处理日志，并将处理日志加载至网页端中，以获取待处理数据的可视化处理视图。本发明专利技术可以提高数据批量处理的效率。理的效率。理的效率。
【技术实现步骤摘要】
一种数据批量处理方法、装置、设备及存储介质
[0001]本专利技术涉及数据处理领域，尤其涉及一种数据批量处理方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]数据批量处理是对数据进行批量的采集、存储、检索、加工、变换和传输，通过所述数据批量处理是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
[0003]目前，数据批量处理通常是采用定时执行数据库技术实现数据的批量处理，利用Java编写执行程序，重复性执行相同操作，但是在实际业务场景中，往往会存在大量的待处理数据，且数据种类复杂多变，通过定时执行数据库技术需要的组件庞杂，硬件资源要求高，不具备支持数据日志追踪、页面手工调度/重试、动态配置调度任务、任务执行的过程管理等功能从而使得数据批量处理的效率较为低下。
技术实现思路
[0004]本专利技术提供一种数据批量处理方法、装置、设备及存储介质，其主要目的在于提高数据批量处理的效率。
[0005]为实现上述目的，本专利技术提供的一种数据批量处理方法，包括：
[0006]获取待处理数据，并配置所述待处理数据的数据处理任务，创建所述待处理数据的数据运行环境，根据所述数据处理任务，在所述数据运行环境中配置数据处理节点；
[0007]利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志；
[0008]基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，以记录所述数据处理任务在运行过程中的运行日志；
[0009]将所述分配日志和所述运行日志进行整合，得到所述待处理数据的处理日志，并将所述处理日志加载至网页端中，以获取所述待处理数据的可视化处理视图。
[0010]可选地，所述配置所述待处理数据的数据处理任务，包括：
[0011]分析所述待处理数据的业务场景；
[0012]根据所述业务场景，识别所述待处理数据的数据处理需求；
[0013]根据所述数据处理需求，构建所述处理任务。
[0014]可选地，所述根据所述数据处理任务，在所述数据运行环境中配置数据处理节点，包括：
[0015]分析所述数据处理任务的操作步骤，根据所述操作步骤，梳理出操作逻辑；
[0016]根据所述操作逻辑，在所述数据运行环境中配置数据处理节点。
[0017]可选地，所述利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志，包括：
[0018]利用所述任务调度工具分析所述数据处理任务的任务类型；
[0019]根据所述任务类型，确定所述任务调度工具的调度模式；
[0020]通过所述调度模式，利用所述任务调度工具将所述所述数据任务分配至所述数据处理节点，得到数据任务节点；
[0021]记录获取所述节点地址到得到所述数据任务节点的完整操作记录，得到所述分配日志。
[0022]可选地，所述基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，包括：
[0023]根据所述分配日志，查询所述数据处理节点中每个节点与所述数据处理任务中每个任务之间的映射关系；
[0024]基于所述映射关系，将所述数据处理任务中每个处理任务加载至所述数据处理节点中对应的运行节点中；
[0025]在所述运行节点中构建所述处理任务的处理逻辑，根据所述处理逻辑，通过所述运行节点运行所述处理任务。
[0026]可选地，所述将所述分配日志和所述运行日志进行整合，得到所述待处理数据的数据处理日志，包括：
[0027]对所述分配日志和所述运行日志的日志格式标准统一，得到标准分配日志和标准运行日志；
[0028]对所述标准分配日志及所述标准运行日志进行日志合并，得到统一日志；
[0029]对所述统一日志进行数据梳理，得到所述数据处理日志。
[0030]可选地，所述对所述统一日志进行数据梳理，得到所述数据处理日志，包括：
[0031]对所述统一日志进行数据违法数据删除，得到合法数据日志；
[0032]对所述合法数据日志进行无效数据删除，得到有效数据日志；
[0033]整理所述有效数据逻辑，得到所述数据处理日志。
[0034]为了解决上述问题，本专利技术还提供一种数据批量处理装置，所述装置包括：
[0035]节点配置模块，用于获取待处理数据，并配置所述待处理数据的数据处理任务，创建所述待处理数据的数据运行环境，根据所述数据处理任务，在所述数据运行环境中配置数据处理节点；
[0036]任务分配模块，用于利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志；
[0037]日志记录模块，用于基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，以记录所述数据处理任务在运行过程中的运行日志；
[0038]日志整合模块，用于将所述分配日志和所述运行日志进行整合，得到所述待处理数据的处理日志，并将所述处理日志加载至网页端中，以获取所述待处理数据的可视化处理视图。
[0039]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0040]至少一个处理器；以及，
[0041]与所述至少一个处理器通信连接的存储器；其中，
[0042]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序
被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的数据批量处理方法。
[0043]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据批量处理方法。
[0044]本专利技术实施例通过获取待处理数据，并配置所述待处理数据的数据处理任务可以明确所述待处理数据的处理需求，提高所述待处理数据处理效率，本专利技术实施例通过利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志可以在所述数据处理任务分配过程中出现任何问题都通过所述分配日志及时追踪解决保证数据处理效率，其中，本专利技术实施例通过基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，得到数据处理结果可以通过所述数据处理节点自动处理所述数据处理任务，减少人工成本的同时提高了数据批量处理效率；此外，本专利技术实施例通过将所述分配日志和所述运行日志进行整合，得到所述待处理数据的数据处理日志可以通过数据日志追踪最大程度保障了待处理数据动态配置调度任务、任务执行的过程管理等功能从而提高数据批量处理效率。因此，本专利技术实施例提供的一种数据批量处理方法、装置、设备及存储介质，能够在于提高数据批量处理的效率。
附图说明
[0045]图1为本专利技术一实施例提供的数据批量处理方法的流程示意图；
[0046]图2为本专利技术一实施例提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据批量处理方法，其特征在于，所述方法包括：获取待处理数据，并配置所述待处理数据的数据处理任务，创建所述待处理数据的数据运行环境，根据所述数据处理任务，在所述数据运行环境中配置数据处理节点；利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志；基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，以记录所述数据处理任务在运行过程中的运行日志；将所述分配日志和所述运行日志进行整合，得到所述待处理数据的处理日志，并将所述处理日志加载至网页端中，以获取所述待处理数据的可视化处理视图。2.如权利要求1所述的数据批量处理方法，其特征在于，所述配置所述待处理数据的数据处理任务，包括：分析所述待处理数据的业务场景；根据所述业务场景，识别所述待处理数据的数据处理需求；根据所述数据处理需求，构建所述数据处理任务。3.如权利要求2所述的数据批量处理方法，其特征在于，所述根据所述数据处理任务，在所述数据运行环境中配置数据处理节点，包括：分析所述数据处理任务的操作步骤，根据所述操作步骤，梳理出操作逻辑；根据所述操作逻辑，在所述数据运行环境中配置数据处理节点。4.如权利要求1所述的数据批量处理方法，其特征在于，所述利用预设的任务调度工具将所述数据处理任务分配至数据处理节点中，得到所述数据任务的分配日志，包括：利用所述任务调度工具分析所述数据处理任务的任务类型；根据所述任务类型，确定所述任务调度工具的调度模式；通过所述调度模式，利用所述任务调度工具将所述所述数据任务分配至所述数据处理节点，得到数据任务节点；记录获取所述节点地址到得到所述数据任务节点的完整操作记录，得到所述分配日志。5.如权利要求1所述的数据批量处理方法，其特征在于，所述基于所述分配日志，通过所述数据处理节点运行所述数据处理任务，包括：根据所述分配日志，查询所述数据处理节点中每个节点与所述数据处理任务中每个任务之间的映射关系；基于所述映射关系，将所述数据处理任务中每个处理任务加载至所述数据处理节点中对应的运行节点中；在所述运行...
【专利技术属性】
技术研发人员：熊志国，熊一龙，姜科，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。