本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于数据处理请求，根据数据处理请求确定下载类型；根据下载类型，得到不少于一个数据处理子任务，并将数据处理子任务发送至消息分发组件中；响应于空闲状态的下载机器请求从消息分发组件中获取数据处理子任务，将数据处理子任务分发至空闲状态的下载机器；响应于所有数据处理子任务执行完成，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果。该实施方式能够通过多进程多线程执行下载任务，提高数据下载速度和下载效率，通过由空闲状态的下载机器来进行数据下载，提高了应用集群中下载机器的使用率，具有较好的对外扩展性。性。性。
【技术实现步骤摘要】
一种数据处理方法和装置
[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
[0002]目前通过关系型数据库下载数据的方法为通过单进程进行数据下载，然后将下载的数据写入下载文件，最终将下载文件保存至云存储以供下载。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]单进程执行下载，下载速度慢，应用集群中下载机器的使用率低，对外扩展性较差，并且无法兼容关系型数据库下载和大数据下载。
技术实现思路
[0005]有鉴于此，本专利技术实施例提供一种数据处理方法和装置，能够通过多进程多线程执行下载任务，提高数据下载速度和下载效率，通过由空闲状态的下载机器来进行数据下载，提高了应用集群中下载机器的使用率，具有较好的对外扩展性，并且可以兼容关系型数据库下载和大数据下载。
[0006]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法。
[0007]一种数据处理方法，包括：响应于数据处理请求，根据所述数据处理请求确定下载类型；根据所述下载类型，得到不少于一个数据处理子任务，并将所述数据处理子任务发送至消息分发组件中；响应于空闲状态的下载机器请求从所述消息分发组件中获取所述数据处理子任务，将所述数据处理子任务分发至空闲状态的下载机器，以使用所述空闲状态的下载机器下载对应的下载文件；响应于所有数据处理子任务执行完成，根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果。
[0008]可选地，所述处理规则包括拆分合并规则，所述根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果，包括：对所有数据处理子任务对应的下载文件进行合并；根据所述拆分合并规则中的数据拆分参数，对合并结果进行拆分，生成所述数据处理结果。
[0009]可选地，所述根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果之后，还包括：将所述数据处理结果保存至数据库中，生成所述数据处理结果的存储地址，以通过所述存储地址获取所述数据处理结果。
[0010]可选地，在所述下载类型为关系型数据库数据下载的情况下，所述使用所述空闲状态的下载机器下载对应的下载文件，包括：根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，使用所述空闲状态的下载机器通过多线程读取单线程写入的方式下载所述下载文件。
[0011]可选地，在所述下载类型为大数据下载的情况下，所述使用所述空闲状态的下载机器下载对应的下载文件，包括：通过所述空闲状态的下载机器调用大数据平台，根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，基于所述大数据平台对所
述下载文件进行下载。
[0012]可选地，所述关系型数据库数据下载包括关系型数据库统计信息下载或关系型数据库海量数据下载，所述根据所述下载类型，得到不少于一个数据处理子任务，包括：在所述下载类型为所述关系型数据库统计信息下载或所述大数据下载的情况下，生成一个数据处理子任务；在所述下载类型为所述关系型数据库海量数据下载的情况下，生成多个数据处理子任务。
[0013]可选地，所述任务信息包括系统标识和页面标识，所述根据所述数据处理子任务的任务信息组装下载参数，包括：根据所述系统标识和所述页面标识，查询包括所述下载参数的数据库表；基于所述数据库表，对所述下载参数进行组装，所述下载参数包括展示字段、目标数据表、数据日期。
[0014]根据本专利技术实施例的另一方面，提供了一种数据处理装置。
[0015]一种数据处理装置，包括：下载类型确定模块，用于响应于数据处理请求，根据所述数据处理请求确定下载类型；数据处理子任务生成模块，用于根据所述下载类型，得到不少于一个数据处理子任务，并将所述数据处理子任务发送至消息分发组件中；数据处理子任务分发模块，用于响应于空闲状态的下载机器请求从所述消息分发组件中获取所述数据处理子任务，将所述数据处理子任务分发至空闲状态的下载机器，以使用所述空闲状态的下载机器下载对应的下载文件；数据处理结果生成模块，用于响应于所有数据处理子任务执行完成，根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果。
[0016]可选地，所述处理规则包括拆分合并规则，所述数据处理结果生成模块还用于：对所有数据处理子任务对应的下载文件进行合并；根据所述拆分合并规则中的数据拆分参数，对合并结果进行拆分，生成所述数据处理结果。
[0017]可选地，还包括数据处理结果保存模块，用于：将所述数据处理结果保存至数据库中，生成所述数据处理结果的存储地址，以通过所述存储地址获取所述数据处理结果。
[0018]可选地，在所述下载类型为关系型数据库数据下载的情况下，所述数据处理子任务分发模块还用于：根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，使用所述空闲状态的下载机器通过多线程读取单线程写入的方式下载所述下载文件。
[0019]可选地，在所述下载类型为大数据下载的情况下，所述数据处理子任务分发模块还用于：通过所述空闲状态的下载机器调用大数据平台，根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，基于所述大数据平台对所述下载文件进行下载。
[0020]可选地，所述关系型数据库数据下载包括关系型数据库统计信息下载或关系型数据库海量数据下载，所述数据处理子任务生成模块还用于：在所述下载类型为所述关系型数据库统计信息下载或所述大数据下载的情况下，生成一个数据处理子任务；在所述下载类型为所述关系型数据库海量数据下载的情况下，生成多个数据处理子任务。
[0021]可选地，所述任务信息包括系统标识和页面标识，所述数据处理子任务分发模块还用于：根据所述系统标识和所述页面标识，查询包括所述下载参数的数据库表；基于所述数据库表，对所述下载参数进行组装，所述下载参数包括展示字段、目标数据表、数据日期。
[0022]根据本专利技术实施例的又一方面，提供了一种电子设备。
[0023]一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所
述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本专利技术实施例所提供的数据处理方法。
[0024]根据本专利技术实施例的又一方面，提供了一种计算机可读介质。
[0025]一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例所提供的数据处理方法。
[0026]上述专利技术中的一个实施例具有如下优点或有益效果：通过响应于数据处理请求，根据数据处理请求确定下载类型；根据下载类型，得到不少于一个数据处理子任务，并将数据处理子任务发送至消息分发组件中；响应于空闲状态的下载机器请求从消息分发组件中获取数据处理子任务，将数据处理子任务分发至空闲状态的下载机器，以使用空闲状态的下载机器下载对应的下载文件；响应于所有数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应于数据处理请求，根据所述数据处理请求确定下载类型；根据所述下载类型，得到不少于一个数据处理子任务，并将所述数据处理子任务发送至消息分发组件中；响应于空闲状态的下载机器请求从所述消息分发组件中获取所述数据处理子任务，将所述数据处理子任务分发至空闲状态的下载机器，以使用所述空闲状态的下载机器下载对应的下载文件；响应于所有数据处理子任务执行完成，根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述处理规则包括拆分合并规则，所述根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果，包括：对所有数据处理子任务对应的下载文件进行合并；根据所述拆分合并规则中的数据拆分参数，对合并结果进行拆分，生成所述数据处理结果。3.根据权利要求1所述的方法，其特征在于，所述根据预设的处理规则，对所有数据处理子任务对应的下载文件进行处理，生成数据处理结果之后，还包括：将所述数据处理结果保存至数据库中，生成所述数据处理结果的存储地址，以通过所述存储地址获取所述数据处理结果。4.根据权利要求1所述的方法，其特征在于，在所述下载类型为关系型数据库数据下载的情况下，所述使用所述空闲状态的下载机器下载对应的下载文件，包括：根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，使用所述空闲状态的下载机器通过多线程读取单线程写入的方式下载所述下载文件。5.根据权利要求1所述的方法，其特征在于，在所述下载类型为大数据下载的情况下，所述使用所述空闲状态的下载机器下载对应的下载文件，包括：通过所述空闲状态的下载机器调用大数据平台，根据所述数据处理子任务的任务信息组装下载参数，根据所述下载参数，基于所述大数据平台对所述下载文件进行下载。6.根据权利要求4或5所述的方...
【专利技术属性】
技术研发人员：张云业，刘启翔，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。