【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种任务处理加速方法、装置、设备及存储介质。
技术介绍
1、在当前大规模语言模型(llm,large language model)推理系统中，计算资源分配效率和处理任务的响应延迟已成为制约系统性能的关键因素。尤其在多任务并行处理场景下，传统注意力机制架构通常需要对整个输入序列进行全局计算，这不仅导致计算冗余，而且在推理过程中伴随着频繁的内存访问请求，极易造成显存瓶颈和吞吐率下降，进而影响整体系统的实时处理能力。
2、在金融科技业务领域，诸如实时风险评估、反欺诈监测、交易指令识别等典型任务中，不同数据处理请求之间常存在响应时限的优先级差异。例如，某些面向高风险账户的交易识别任务需要快速处理以规避潜在损失，而其他批量分析任务则对时效性要求相对较低。然而，现有推理系统大多按照统一资源分配策略进行处理，无法在高优先级任务到达时快速调度资源进行响应，导致关键任务处理延迟，影响系统稳定性与业务准确性。
3、在医疗健康业务领域，例如重症监护系统中的生命体征异常识别、远程诊疗中的关键语义提取等应...
【技术保护点】
1.一种任务处理加速方法，其特征在于，包括以下步骤：
2.如权利要求1所述的任务处理加速方法，其特征在于，获取包含多个数据处理任务的待处理任务队列，并提取每个数据处理任务的数据属性，包括：
3.如权利要求1所述的任务处理加速方法，其特征在于，根据所述数据属性，将所述数据处理任务划分为第一任务批次和第二任务批次，并为所述第二任务批次分配优先级标识，包括：
4.如权利要求1所述的任务处理加速方法，其特征在于，在处理所述第一任务批次的过程中，若检测到存在所述第二任务批次，则中断所述第一任务批次的执行，并调度所述第二任务批次至处理单元进行执
<...【技术特征摘要】
1.一种任务处理加速方法，其特征在于，包括以下步骤：
2.如权利要求1所述的任务处理加速方法，其特征在于，获取包含多个数据处理任务的待处理任务队列，并提取每个数据处理任务的数据属性，包括：
3.如权利要求1所述的任务处理加速方法，其特征在于，根据所述数据属性，将所述数据处理任务划分为第一任务批次和第二任务批次，并为所述第二任务批次分配优先级标识，包括：
4.如权利要求1所述的任务处理加速方法，其特征在于，在处理所述第一任务批次的过程中，若检测到存在所述第二任务批次，则中断所述第一任务批次的执行，并调度所述第二任务批次至处理单元进行执行，包括：
5.如权利要求1所述的任务处理加速方法，其特征在于，对由所述处理单元执行的所述第二任务批次，进行自适应处理优化，并根据所述优先级标识调整所述自适应处理优化过程的稀疏化程度，生成中间处理结果...
【专利技术属性】
技术研发人员：孙奥兰，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。