一种基于数据处理的批量数据异步解决方法及相关设备技术

本发明专利技术涉及大数据领域的数据处理技术，具体涉及一种基于数据处理的批量数据异步解决方法及相关设备，所述方法包括：将下载请求生成下载任务；计算多个下载任务的顺序权重并排列任务顺序；依照任务顺序执行下载任务，生成任务文件，通知对应业务人员并将成功生成的任务文件发送至对应业务人员。上述方法通过获取不同任务的权重，使得任务处理过程简单化、流程化，提高任务处理的效率，同时针对多个任务异步处理，使得可以多个任务同时处理，减少任务处理的时间。

A Batch Data Asynchronous Solution Method and Related Equipment Based on Data Processing

【技术实现步骤摘要】
一种基于数据处理的批量数据异步解决方法及相关设备
本专利技术涉及大数据领域，特别是涉及一种基于数据处理的批量数据异步解决方法及相关设备。
技术介绍
随着互联网技术的不断推进，互联网用户的数量也在不断扩充，大规模用户数量的增长使得互联网上的数据呈现出爆炸式增长，为了应对庞大的互联网数据，在任务的处理和转换过程中必然会产生一些问题，尤其销售系统的日均新增通话记录数量庞大，获取数据的过程较为繁琐，不同业务场景下的数据抽取逻辑及格式各不相同，同时，抽取数据的过程耗时时间长，且导出过程复杂，无法及时满足不同用户的需求。现有的互联网数据的处理主要采用的是同步进行的方式，数据量较小的情况可以正常进行，但是当数据批量较大时，容易导致系统崩盘，无法正常运行，更容易导致重复计算、数据遗失等情况的发生。
技术实现思路
基于此，有必要针对批量数据同步进行时，易容易引发重复计算、数据遗失等情况的问题，提供一种基于数据处理的批量数据异步解决方法及相关设备。一种基于数据处理的批量数据异步解决方法，包括：获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序；按照所述任务顺序执行所述下载任务，获得所述下载任务对应的任务数据，将执行成功的下载任务加入待生成文件任务池，将执行失败的下载任务加入任务完成通知池；计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池；计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。在一种可能的设计中，所述获取业务人员的下载请求，包括：获取业务人员的访问请求，将数据下载页面呈现给所述业务人员，通过所述数据下载页面获取所述业务人员提交的所述下载请求，所述下载请求包括数据筛选条件、统计维度、优先级。在一种可能的设计中，所述根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中，包括：获取人力资源系统的职位登记表，依据所述职位登记表获取所述业务人员的职位，确定所述下载请求的提交人角色；读取所述下载请求，依据所述下载请求中的所述筛选条件、所述统计维度定义所述下载请求的任务类型；将所述提交人角色、数据筛选条件、统计维度、任务类型生成下载任务，将所述下载任务加入任务下载池并将数据筛选条件、统计维度对应的优先级标记在所述下载任务中。在一种可能的设计中，所述计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序，包括：获取所述下载任务进入所述下载任务池的时间，统计所述下载任务的排队时长；依据所述下载任务的优先级、排队时长、提交人角色、任务类型计算所述下载任务的顺序权重；依据所述下载任务池中所述下载任务的顺序权重从大到小排列所述下载任务的任务顺序。在一种可能的设计中，所述依据所述下载任务的优先级、排队时长、提交人角色、任务类型计算所述下载任务的顺序权重，包括：将所述下载任务的优先级预设为N个等级，N为整数，获取所述下载任务的优先级，将所述优先级对应的等级记为数值n；将所述下载任务的排队时长以分钟计算，记为数值m，m为整数，不满1分钟的舍弃；将所述提交人角色设为Z个等级，Z为整数，获取所述下载任务的提交人角色，将所述提交人角色对应的等级记为数值z；计算第i个所述下载任务的顺序权重，所述顺序权重的计算公式如下：Ai＝f1ni+f2mi+f3zi+f4kif1+f2+f3+f4＝1其中，Ai为第i个所述下载任务的顺序权重，f1为优先级系数，f2为排队时长系数，f3为提交人角色系数，f4为任务类型系数，ni为第i个所述下载任务的优先级数值，mi为第i个所述下载任务的排队时长数值，zi为第i个所述下载任务的提交人角色数值，ki为第i个所述下载任务的任务类型数值。在一种可能的设计中，所述计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池，包括：依据顺序权重的计算方法，计算待生成文件任务池中的下载任务的生成权重；依据生成权重从大到小将对应的所述任务数据进行格式标准化处理，将格式统一后的所述任务数据写入预设的任务数据汇总表格中，生成任务文件，将所述任务文件中的下载任务加入任务完成通知池。在一种可能的设计中，所述计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除，包括：依据顺序权重的计算方法，计算任务完成通知池中的下载任务的通知权重；定时遍历所述任务通知池，依据所述通知权重从大到小依次将已完成的下载任务通知对应的业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。基于相同的技术构思，本专利技术还提供了一种基于数据处理的批量数据异步解决装置，所述一种基于数据处理的批量数据异步解决装置，包括：下载任务生成模块，设置为获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；顺序权重计算模块，设置为计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序；下载任务执行模块，设置为按照所述任务顺序执行所述下载任务，获得所述下载任务对应的，将执行成功的下载任务加入待生成文件任务池，将执行失败的下载任务加入任务完成通知池；任务文件生成模块，设置为计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池；任务完成通知模块，设置为计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。基于相同的构思，本申请提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述一种基于数据处理的批量数据异步解决方法的步骤。基于相同的构思，本申请提出一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述一种基于数据处理的批量数据异步解决方法的步骤。上述一种基于数据处理的批量数据异步解决方法及相关设备，通过获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述本文档来自技高网...

【技术保护点】
1.一种基于数据处理的批量数据异步解决方法，其特征在于，包括：获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序；按照所述任务顺序执行所述下载任务，获得所述下载任务对应的任务数据，将执行成功的下载任务加入待生成文件任务池，将执行失败的下载任务加入任务完成通知池；计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池；计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。

【技术特征摘要】
1.一种基于数据处理的批量数据异步解决方法，其特征在于，包括：获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序；按照所述任务顺序执行所述下载任务，获得所述下载任务对应的任务数据，将执行成功的下载任务加入待生成文件任务池，将执行失败的下载任务加入任务完成通知池；计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池；计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。2.如权利要求1所述的一种基于数据处理的批量数据异步解决方法，其特征在于，所述获取业务人员的下载请求，包括：获取业务人员的访问请求，将数据下载页面呈现给所述业务人员，通过所述数据下载页面获取所述业务人员提交的所述下载请求，所述下载请求包括数据筛选条件、统计维度、优先级。3.如权利要求2所述的一种基于数据处理的批量数据异步解决方法，其特征在于，所述根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中，包括：获取人力资源系统的职位登记表，依据所述职位登记表获取所述业务人员的职位，确定所述下载请求的提交人角色；读取所述下载请求，依据所述下载请求中的所述筛选条件、所述统计维度定义所述下载请求的任务类型；将所述提交人角色、数据筛选条件、统计维度、任务类型生成下载任务，将所述下载任务加入任务下载池并将数据筛选条件、统计维度对应的优先级标记在所述下载任务中。4.如权利要求3所述的一种基于数据处理的批量数据异步解决方法，其特征在于，所述计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序，包括：获取所述下载任务进入所述下载任务池的时间，统计所述下载任务的排队时长；依据所述下载任务的优先级、排队时长、提交人角色、任务类型计算所述下载任务的顺序权重；依据所述下载任务池中所述下载任务的顺序权重从大到小排列所述下载任务的任务顺序。5.如权利要求4所述的一种基于数据处理的批量数据异步解决方法，其特征在于，所述依据所述下载任务的优先级、排队时长、提交人角色、任务类型计算所述下载任务的顺序权重，包括：将所述下载任务的优先级预设为N个等级，N为整数，获取所述下载任务的优先级，将所述优先级对应的等级记为数值n；将所述下载任务的排队时长以分钟计算，记为数值m，m为整数，不满1分钟的舍弃；将所述提交人角色设为Z个等级，Z为整数，获取所述下载任务的提交人角色，将所述提交人角色对应的等级记为数值z；将所述下载任务设为K个任务类型，K为整数，获取所述下载任务的任务类型，将所述任务类型对应的等级记为数值k；计算第i个所述下载任务的顺序权重，所述顺序权重的计算公式如下：Ai＝f1ni+f2mi+f3zi+f4kif1+f2+f3+f4＝1其中，Ai为第i个所述下载任...

【专利技术属性】
技术研发人员：黄泽浩，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44