数据处理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法，该方法包括：在接收到业务数据处理请求时，根据业务数据处理请求获取待处理的原始数据集；读取预先构建的docker镜像，根据docker镜像生成多个应用容器；从第一预设存储路径中读取配置文件和原始数据集，基于多个应用容器和配置文件将原始数据集分割为多个数据子文件，并按照多容器并行处理的方式处理多个数据子文件；获取处理完成的多个数据子文件，合并为完整的数据文件，发送至业务数据处理请求对应的用户终端。本发明专利技术还提出一种数据处理装置以及一种计算机可读存储介质。本发明专利技术实现了系统资源的充分利用，提高业务数据的处理速度。

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机可读存储介质。
技术介绍
现有技术中，在一台服务器上运行多个作业的传统方式是：在服务器上启动多个虚拟机，然后在不同的虚拟机上运行不同的作业。传统的虚拟化技术多是采用基于VMware虚拟机，而VMware虚拟机的运行必须要运行整个操作系统，需要占用大量的系统资源，因为操作系统本身就要占用很多资源，导致这些虚拟机的运行非常消耗资源，导致系统资源得不到充分利用，特别是对于多核计算资源，更是容易造成资源浪费，此外，对于来说，其CPU、内存、网络资源和磁盘资源等资源都是有限的，当上启动的虚拟机过于消耗资源时，会导致业务数据的处理速度非常慢。
技术实现思路
本专利技术提供一种数据处理方法、装置及计算机可读存储介质，其主要目的在于实现系统资源的充分利用，提高业务数据的处理速度。为实现上述目的，本专利技术还提供一种数据处理方法，该方法包括：A1、在接收到业务数据处理请求时，根据所述业务数据处理请求获取待处理的原始数据集，并将所述原始数据集存储至预设的配置文件所在的第一预设存储路径中；A2、从第二预设存储路径中读取预先构建的docker镜像，并根据所述docker镜像生成多个应用容器；A3、从所述第一预设存储路径中读取配置文件和原始数据集，基于所述多个应用容器和所述配置文件将所述原始数据集分割为多个数据子文件，并按照多容器并行处理的方式处理所述多个数据子文件，其中，按照资源分配规则将系统资源分配给用于并行处理数据的多个应用容器；A4、获取处理完成的多个数据子文件，将处理完成的多个数据子文件合并为完整的数据文件；A5、将所述数据文件发送至所述业务数据处理请求对应的用户终端。可选地，在步骤A1之前，所述方法还包括步骤：在接收到用户终端发送的配置信息时，从所述配置信息中获取数据分割数量N和用于存储数据子文件的第三预设存储路径；根据获取的数据分割数量N和第三预设存储路径生成配置文件，并将所述配置文件存储至第一预设存储路径。可选地，所述多个应用容器包括第一应用容器、第二应用容器和第三应用容器，所述第二应用容器有N个；所述docker镜像中包含有数据切割程序、数据并行处理程序和数据合并程序；所述步骤A3包括：从所述第一预设存储路径中读取配置文件和原始数据集，从所述配置文件中获取数据分割数量N；运行所述第一应用容器，所述第一应用容器调用所述数据分割程序，将所述原始数据集分割为N份数据子文件并存储至所述第三预设存储路径；同步地运行所述N个第二应用容器，一个第二应用容器对应于的一个数据子文件，所述N个第二应用容器调用数据并行处理程序从所述第三预设存储路径获取N份数据子文件并进行数据处理，其中，所述按照资源分配规则将系统资源分配给所述N个第二应用容器；所述步骤A4包括：运行第三应用容器，所述第三应用容器调用数据合并程序，将处理完成的所述多个数据子文件合并为完整的数据文件。可选地，所述多个应用容器中还包括第四应用容器，所述docker镜像中还包括数据核查程序，所述步骤A4和步骤A5之间，所述方法还包括步骤：运行所述第四应用容器，所述第四应用容器调用所述数据核查程序，并从所述配置文件中获取所述原始数据集的第一数据量参数和预设的数据量比例；根据合并后的数据文件确定合并的数据的第二数据量参数；根据所述第一数据量参数和所述第二数据量参数确定实际的数据量比例；判断实际的数据量比例和预设的数据量比例是否在误差范围内相等；若相等，则执行所述步骤A4；若不相等，则向所述用户终端发送预警提示信息。可选地，在步骤A之前，所述方法还包括步骤：根据dockerfile规则创建docker镜像，并将所述docker镜像保存至第二预设存储路径中。此外，为实现上述目的，本专利技术还提供一种数据处理装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：B1、在接收到业务数据处理请求时，根据所述业务数据处理请求获取待处理的原始数据集，并将所述原始数据集存储至预设的配置文件所在的第一预设存储路径中；B2、从第二预设存储路径中读取预先构建的docker镜像，并根据所述docker镜像生成多个应用容器；B3、从所述第一预设存储路径中读取配置文件和原始数据集，基于所述多个应用容器和所述配置文件将所述原始数据集分割为多个数据子文件，并按照多容器并行处理的方式处理所述多个数据子文件，其中，按照资源分配规则将系统资源分配给用于并行处理数据的多个应用容器；B4、获取处理完成的多个数据子文件，将处理完成的多个数据子文件合并为完整的数据文件；B5、将所述数据文件发送至所述业务数据处理请求对应的用户终端。可选地，所述数据处理程序还可被所述处理器执行，以在步骤B1之前，还实现如下步骤：在接收到用户终端发送的配置信息时，从所述配置信息中获取数据分割数量N和用于存储数据子文件的第三预设存储路径；根据获取的数据分割数量N和第三预设存储路径生成配置文件，并将所述配置文件存储至第一预设存储路径。可选地，所述多个应用容器包括第一应用容器、第二应用容器和第三应用容器，所述第二应用容器有N个；所述docker镜像中包含有数据切割程序、数据并行处理程序和数据合并程序；所述步骤B3包括：从所述第一预设存储路径中读取配置文件和原始数据集，从所述配置文件中获取数据分割数量N；运行所述第一应用容器，所述第一应用容器调用所述数据分割程序，将所述原始数据集分割为N份数据子文件并存储至所述第三预设存储路径；同步地运行所述N个第二应用容器，一个第二应用容器对应于的一个数据子文件，所述N个第二应用容器调用数据并行处理程序从所述第三预设存储路径获取N份数据子文件并进行数据处理，其中，所述按照资源分配规则将系统资源分配给所述N个第二应用容器；所述步骤B4包括：运行第三应用容器，所述第三应用容器调用数据合并程序，将处理完成的所述多个数据子文件合并为完整的数据文件。可选地，所述多个应用容器中还包括第四应用容器，所述docker镜像中还包括数据核查程序，所述数据处理程序还可被所述处理器执行，以在步骤B4和步骤B5之间，还实现如下步骤：运行所述第四应用容器，所述第四应用容器调用所述数据核查程序，并从所述配置文件中获取所述原始数据集的第一数据量参数和预设的数据量比例；根据合并后的数据文件确定合并的数据的第二数据量参数；根据所述第一数据量参数和所述第二数据量参数确定实际的数据量比例；判断实际的数据量比例和预设的数据量比例是否在误差范围内相等；若相等，则执行所述步骤B4；若不相等，则向所述用户终端发送预警提示信息。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序可被一个或者多个处理器执行，以实现如上所述的数据处理方法的步骤。本专利技术提出的数据处理方法、装置及计算机可读存储介质，在接收到业务数据处理请求时，根据该请求获取待处理的原始数据集，将其存储至预设的配置文件所在的第一预设存储路径中，从第二预设存储路径中读取预先构建的docker镜像，并根据该docker镜像生成多个应用容器，从上述第一预设存储路径中本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：A1、在接收到业务数据处理请求时，根据所述业务数据处理请求获取待处理的原始数据集，并将所述原始数据集存储至预设的配置文件所在的第一预设存储路径中；A2、从第二预设存储路径中读取预先构建的docker镜像，并根据所述docker镜像生成多个应用容器；A3、从所述第一预设存储路径中读取配置文件和原始数据集，基于所述多个应用容器和所述配置文件将所述原始数据集分割为多个数据子文件，并按照多容器并行处理的方式处理所述多个数据子文件，其中，按照资源分配规则将系统资源分配给用于并行处理数据的多个应用容器；A4、获取处理完成的多个数据子文件，将处理完成的多个数据子文件合并为完整的数据文件；A5、将所述数据文件发送至所述业务数据处理请求对应的用户终端。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：A1、在接收到业务数据处理请求时，根据所述业务数据处理请求获取待处理的原始数据集，并将所述原始数据集存储至预设的配置文件所在的第一预设存储路径中；A2、从第二预设存储路径中读取预先构建的docker镜像，并根据所述docker镜像生成多个应用容器；A3、从所述第一预设存储路径中读取配置文件和原始数据集，基于所述多个应用容器和所述配置文件将所述原始数据集分割为多个数据子文件，并按照多容器并行处理的方式处理所述多个数据子文件，其中，按照资源分配规则将系统资源分配给用于并行处理数据的多个应用容器；A4、获取处理完成的多个数据子文件，将处理完成的多个数据子文件合并为完整的数据文件；A5、将所述数据文件发送至所述业务数据处理请求对应的用户终端。2.如权利要求1所述的数据处理方法，其特征在于，在步骤A1之前，所述方法还包括步骤：在接收到用户终端发送的配置信息时，从所述配置信息中获取数据分割数量N和用于存储数据子文件的第三预设存储路径；根据获取的数据分割数量N和第三预设存储路径生成配置文件，将所述配置文件存储至第一预设存储路径。3.如权利要求2所述的数据处理方法，其特征在于，所述多个应用容器包括第一应用容器、第二应用容器和第三应用容器，所述第二应用容器有N个；所述docker镜像中包含有数据切割程序、数据并行处理程序和数据合并程序；所述步骤A3包括：从所述第一预设存储路径中读取配置文件和原始数据集，从所述配置文件中获取数据分割数量N；运行所述第一应用容器，所述第一应用容器调用所述数据分割程序，将所述原始数据集分割为N份数据子文件并存储至所述第三预设存储路径；同步地运行所述N个第二应用容器，一个第二应用容器对应于的一个数据子文件，所述N个第二应用容器调用数据并行处理程序从所述第三预设存储路径获取N份数据子文件并进行数据处理，其中，所述按照资源分配规则将系统资源分配给所述N个第二应用容器；所述步骤A4包括：运行第三应用容器，所述第三应用容器调用数据合并程序，将处理完成的所述多个数据子文件合并为完整的数据文件。4.如权利要求1至3中任一项所述的数据处理方法，其特征在于，所述多个应用容器中还包括第四应用容器，所述docker镜像中还包括数据核查程序，所述步骤A4和步骤A5之间，所述方法还包括步骤：运行所述第四应用容器，所述第四应用容器调用所述数据核查程序，并从所述配置文件中获取所述原始数据集的第一数据量参数和预设的数据量比例；根据合并后的数据文件确定合并的数据的第二数据量参数；根据所述第一数据量参数和所述第二数据量参数确定实际的数据量比例；判断实际的数据量比例和预设的数据量比例是否在误差范围内相等；若相等，则执行所述步骤A4；若不相等，则向所述用户终端发送预警提示信息。5.如权利要求1至3中任一项所述的数据处理方法，其特征在于，在步骤A之前，所述方法还包括步骤：根据dockerfile规则创建docker镜像，并将所述docker镜像保存至第二预设存储路径中。6.一种数据处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处...

【专利技术属性】
技术研发人员：吴壮伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44