The invention discloses a data operation scheduling processing method and a device, a storage medium and a processor. Among them, the data operation scheduling processing method includes: sending scheduling requests, in which scheduling requests are used to calculate the data to get the operation results; receiving failure information, in which failure information is used to indicate the failure of the data operation; obtaining the failure reason information of the operation from the failure information; adjusting the operation according to the failure reason and launching again. Schedule requests. The invention solves the technical problem that the data operation scheduling can not be adaptively adjusted.
【技术实现步骤摘要】
数据运算调度处理方法及装置、存储介质、处理器
本专利技术涉及大数据运算处理领域，具体而言，涉及一种数据运算调度处理方法及装置、存储介质、处理器。
技术介绍
现在开源大数据技术已经被越来越多的企业用来解决海量数据的问题.它们都有一个共同的特征,就是使用廉价的硬件组合成集群,从而提供更强大的存储或计算能力.由于这些廉价的硬件是容易出故障的,所以几乎使有的大数据系统都需要对“操作失败怎么办”或“计算失败怎么办”这类问题提供自己的方案。大数据技术一般都自带了错误处理的机制，如Hadoop/Spark/Flink等等。这种机制一般运行在系统的调度器层面，对于计算中发生的错误,一般都是简单的重新计算，如图1所示一种数据调度调整示意图。图1中的1,2,3,4,n,2n+1等代表事件发生的次序。大数据系统的调度器先调度了第一次的“试”计算,结果计算失败了,这时调度器会再调度一次,结果第二次又失败了，如此循环,直到调度到第n+1次“试”计算成功，计算结束。或者是，“试”计算了n次都不成功,系统直接判断计算失败,不再尝试了。通过“简单重算”，可以很好地解决硬件故障带来的计算问题,但是...
【技术保护点】
1.一种数据运算调度处理方法，其特征在于，包括：发送调度请求，其中，所述调度请求用于对数据进行运算得到运算结果；接收到失败信息，其中，所述失败信息用于指示对所述数据进行的所述运算出现失败；从所述失败信息中获取所述运算的失败原因信息；根据所述失败原因对所述运算进行调整，并再次发起调度请求。
【技术特征摘要】
1.一种数据运算调度处理方法，其特征在于，包括：发送调度请求，其中，所述调度请求用于对数据进行运算得到运算结果；接收到失败信息，其中，所述失败信息用于指示对所述数据进行的所述运算出现失败；从所述失败信息中获取所述运算的失败原因信息；根据所述失败原因对所述运算进行调整，并再次发起调度请求。2.根据权利要求1所述的方法，其特征在于，在接收到所述失败信息的情况下，循环执行获取所述失败原因信息的步骤以及根据所述失败原因对所述运算进行调整并再次发起调度请求的步骤，直到所述运算成功。3.根据权利要求1所述的方法，其特征在于，在所述失败原因信息包括预先分配的内存无法满足所述运算的需要的情况下，根据所述失败原因对所述运算进行调整包括：对所述运算增加内存分配。4.根据权利要求3所述的方法，其特征在于，对所述运算增加内存分配包括：根据预先配置的内存分配策略对所述运算增加对应的内存。5.根据权利要求2至4中任一项所述的方法，其特征在于，在所述运算成功后，所述方法还包括：保存对所述运算进行的调整，其中，保存的内容作为调度下一次运算的参考，所述下一次运算为与所述运算相似度超过阈值的运...
【专利技术属性】
技术研发人员：刘喆，
申请(专利权)人：精硕科技北京股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。