一种云计算任务处理方法及相关设备技术

本发明专利技术公开了一种云计算任务处理方法及相关设备，所述方法包括：对任务指令和计算数据进行完整性校验后执行任务或卸载任务；匹配任务特征与已有的任务特征，若有相同计算任务则直接提取计算结果，若有相似计算任务，则计算后输出结果；当计算任务与无效任务达到相似阈值则卸载任务并输出计算失败结果；当任务无法执行计算或需要执行容错时，利用数据仓库中的数据对特征识别模型进行训练和更新，对任务特征进行提取和比对

【技术实现步骤摘要】
一种云计算任务处理方法及相关设备


[0001]本专利技术涉及云服务
，尤其涉及一种云计算任务处理方法
、
系统
、
云计算服务端及计算机可读存储介质
。

技术介绍

[0002]云计算因其在云端部署大型的运算服务资源，能够为周边系统提供算力支持，而无需在本地部署大型服务器，因此，受到了各行业，尤其是基于
B/S
架构的应用系统青睐
。
云计算服务一般采用分布式部署
GPU
服务器集群，通过
API
对外提供算力支持，相较于本地部署的
GPU
服务器，无论从规模
、
算力支持及系统可靠性有着无可比拟的优势
。
当前，云计算服务广泛应用于云渲染
、AI
能力支持
、
大数据分析等领域
。
[0003]在实际应用中，云计算服务虽然能提供强有力的算力支持，但调用云计算受到很多因素的制约，例如：网络抖动
、
异常任务导致资源过载
、
数据丢失导致计算失败等，导致任务报错
。
随着
5G
技术的发展，网络制约因素也逐步减少，但仍然无法完全解决能力调用过程中异常情况
。
[0004]当前，为了提升云计算的容错能力与资源效率，常用的方法是通过开辟一个计算空间，采用无效任务识别模型对序列计算的每一步都执行任务校验，针对异常任务进行容错处理，针对无效任务进行熔断或卸载；相关方法以牺牲部分云计算服务资源来解决问题；虽能有效进行任务容错，但同时也会带来资源耗损
、
计算结果不准及因重复计算
、
异常任务容错导致的资源过载问题
。
[0005]因此，现有技术还有待于改进和发展
。

技术实现思路

[0006]本专利技术的主要目的在于提供一种云计算任务处理方法
、
系统
、
云计算服务端及计算机可读存储介质，旨在解决现有技术中异常任务进行容错处理，针对无效任务进行熔断或卸载，在实际运行过程中存在资源耗损
、
计算结果不准及因重复计算
、
异常任务容错导致的资源过载问题
。
[0007]为实现上述目的，本专利技术提供一种云计算任务处理方法，所述云计算任务处理方法包括如下步骤：
[0008]接收任务指令和计算数据，对所述任务指令和所述计算数据进行完整性校验并输出任务特征标签，根据所述任务特征标签输出任务校验结果，提取任务特征，若校验成功则执行计算任务，若检验失败则卸载任务；
[0009]当任务通过完整性校验后，将所述任务特征与数据仓库中已有的任务特征进行匹配，若存在相同计算任务时，提取并输出计算结果，若存在相似计算任务，调用计算脚本根据所述计算数据进行计算并输出计算结果；
[0010]获取任务的任务特征和无效任务的无效任务特征，计算所述任务特征与所述无效任务特征的相似度，当所述相似度达到阈值时，卸载任务并输出计算失败结果；
[0011]在执行计算任务时，当任务无法执行计算或需要执行容错时，利用计算成功任务与结果
、
计算失败任务与结果及无效任务特征对特征识别模型进行训练和更新，以控制训练和更新后的特征识别模型对任务特征进行提取和比对
。
[0012]可选地，所述的云计算任务处理方法，其中，所述接收任务指令和计算数据，对所述任务指令和所述计算数据进行完整性校验并输出任务特征标签，根据所述任务特征标签输出任务校验结果，提取任务特征，若校验成功则执行计算任务，若检验失败则卸载任务，具体包括：
[0013]接收计算请求并向云计算资源池推送任务包，所述任务包包括任务指令和计算数据，所述任务包被拆分为若干各传输数据包存储在数据仓库中；
[0014]提取所述数据仓库中完成传输的数据包进行任务包组合得到组合数据包，并提取所述组合数据包的所述任务特征标签；
[0015]若根据所述任务特征标签判定所述组合数据包缺失，则向其他资源池查询相关数据包并再次执行任务包合并操作，若合并成功则执行任务校验，所述任务校验包括任务脚本校验和计算数据完整性校验；
[0016]若校验成功则执行计算任务并提取任务特征，若校验失败则卸载任务并提取任务特征，将校验失败结果存在所述数据仓库，并返回任务校验失败错误代码至终端或应用系统
。
[0017]可选地，所述的云计算任务处理方法，其中，所述向其他资源池查询相关数据包并再次执行任务包合并操作，具体包括：
[0018]若其他资源池在数据仓库中发现相同特征的数据包，获取相同特征的数据包；
[0019]将相同特征的数据包保存至数据仓库并再次执行任务包合并操作
。
[0020]可选地，所述的云计算任务处理方法，其中，所述当任务通过完整性校验后，将所述任务特征与数据仓库中已有的任务特征进行匹配，若存在相同计算任务时，提取并输出计算结果，若存在相似计算任务，调用计算脚本根据所述计算数据进行计算并输出计算结果，具体包括：
[0021]当任务完整性检验通过后，再次进行任务特征提取，对所述任务特征与所述数据仓库中缓存的计算结果进行匹配，并计算特征相似度；
[0022]相似度分数大于
95
％，则判定为重复计算任务，将所述计算结果返回至终端或应用系统；
[0023]若相似度分数介于
90
％
‑
95
％，则判定为相似任务，调用相同的脚本公式执行数据替换运算，输出最新计算结果返回终端或应用系统，并将所述最新计算结果存放至所述数据仓库中
。
[0024]可选地，所述的云计算任务处理方法，其中，所述获取任务的任务特征和无效任务的无效任务特征，计算所述任务特征与所述无效任务特征的相似度，当所述相似度达到阈值时，卸载任务并输出计算失败结果，具体包括：
[0025]提取任务的任务特征和无效任务的无效任务特征，对所述任务特征进行重复计算判断，比对所述任务特征与所述无效任务特征的相似度；
[0026]若相似度大于
95
％，则判定为无效任务，卸载任务，并将无效任务特征和错误代码缓存至所述数据仓库中，输出计算失败结果；
[0027]执行任务卸载后，向终端或应用系统返回错误代码
。
[0028]可选地，所述的云计算任务处理方法，其中，所述比对所述任务特征与所述无效任务特征的相似度，之后还包括：
[0029]所述相似度包括计算脚本的特征与无效任务脚本特征的相似度，计算数据的相似度；
[0030]若所述相似度大于
85
％且小于
95
％，则再次进行任务特征提取并进行重复计算判断，比对所述任务特征与所述无效任务特征的相似度，得到二次相似度计算结果；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种云计算任务处理方法，其特征在于，所述云计算任务处理方法包括：接收任务指令和计算数据，对所述任务指令和所述计算数据进行完整性校验并输出任务特征标签，根据所述任务特征标签输出任务校验结果，提取任务特征，若校验成功则执行计算任务，若检验失败则卸载任务；当任务通过完整性校验后，将所述任务特征与数据仓库中已有的任务特征进行匹配，若存在相同计算任务时，提取并输出计算结果，若存在相似计算任务，调用计算脚本根据所述计算数据进行计算并输出计算结果；获取任务的任务特征和无效任务的无效任务特征，计算所述任务特征与所述无效任务特征的相似度，当所述相似度达到阈值时，卸载任务并输出计算失败结果；在执行计算任务时，当任务无法执行计算或需要执行容错时，利用计算成功任务与结果
、
计算失败任务与结果及无效任务特征对特征识别模型进行训练和更新，以控制训练和更新后的特征识别模型对任务特征进行提取和比对
。2.
根据权利要求1所述的云计算任务处理方法，其特征在于，所述接收任务指令和计算数据，对所述任务指令和所述计算数据进行完整性校验并输出任务特征标签，根据所述任务特征标签输出任务校验结果，提取任务特征，若校验成功则执行计算任务，若检验失败则卸载任务，具体包括：接收计算请求并向云计算资源池推送任务包，所述任务包包括任务指令和计算数据，所述任务包被拆分为若干传输数据包存储在数据仓库中；提取所述数据仓库中完成传输的数据包进行任务包组合得到组合数据包，并提取所述组合数据包的所述任务特征标签；若根据所述任务特征标签判定所述组合数据包缺失，则向其他资源池查询相关数据包并再次执行任务包合并操作，若合并成功则执行任务校验，所述任务校验包括任务脚本校验和计算数据完整性校验；若校验成功则执行计算任务并提取任务特征，若校验失败则卸载任务并提取任务特征，将校验失败结果存放至所述数据仓库，并返回任务校验失败错误代码至终端或应用系统
。3.
根据权利要求2所述的云计算任务处理方法，其特征在于，所述向其他资源池查询相关数据包并再次执行任务包合并操作，具体包括：若其他资源池在数据仓库中发现相同特征的数据包，获取相同特征的数据包；将相同特征的数据包保存至数据仓库并再次执行任务包合并操作
。4.
根据权利要求1所述的云计算任务处理方法，其特征在于，所述当任务通过完整性校验后，将所述任务特征与数据仓库中已有的任务特征进行匹配，若存在相同计算任务时，提取并输出计算结果，若存在相似计算任务，调用计算脚本根据所述计算数据进行计算并输出计算结果，具体包括：当任务完整性检验通过后，再次进行任务特征提取，对所述任务特征与所述数据仓库中缓存的计算结果进行匹配，并计算特征相似度；若相似度分数大于
95
％，则判定为重复计算任务，将所述计算结果返回至终端或应用系统；若相似度分数介于
90
％
‑
95
％，则判定为相似任务，调用相同的脚本公式执行数据替换
运算，输出最新计算结果返回终端或应用系统，并将所述最新计算结果存放至所述数据仓库中
。5.
根据权利要求1所述的云计算任务处理方法，其特征在于，所述获取任务的任务特征和无效任务的无效任务特征，计算所述任务特征与所述无效任务特征的相似度，当所述相似度达到阈值时，卸载任务并输出计算失败结果，具体包括：提取任务的任务特征和无效任务的无效任务...

【专利技术属性】
技术研发人员：何明璐，孙志斌，
申请(专利权)人：深圳市远行科技股份有限公司，
类型：发明
国别省市：