任务处理及其模型的训练方法技术

本公开提供了任务处理及其模型的训练方法

【技术实现步骤摘要】
任务处理及其模型的训练方法、图像处理方法及装置


[0001]本公开涉及数据处理
，尤其涉及基于人工智能的数据处理领域
。

技术介绍

[0002]随着人工智能
(Artificial Intelligence)
技术的发展，基于
AI
算法实现的任务处理模型，得到了广泛的发展
。
目前，为了提高任务处理模型的精度，通常采用的方式是增加网络层的数量，以提取到更加丰富的特征，这样做一方面会导致任务处理模型的运算量很大，另一方面会提取到很多冗余的特征，尤其对于网络架构原本就较大的大模型，增加网络层，会导致任务处理模型提取特征的效率较低，不利于从整体上提高任务处理模型的准确性等性能
。

技术实现思路

[0003]本公开提供了一种任务处理及其模型的训练方法
、
图像处理方法及装置
、
电子设备
、
存储介质
、
计算机程序产品
。
[0004]根据本公开的第一方面，提供了一种任务处理模型的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种任务处理模型的训练方法，所述任务处理模型包括目标任务子模型和辅助任务子模型；所述训练方法包括：采用自注意力机制分别确定目标任务子模型的第一损失误差的第一注意力权重
、
辅助任务子模型的第二损失误差的第二注意力权重；根据所述第一损失误差
、
所述第二损失误差
、
所述第一注意力权重和所述第二注意力权重计算所述任务处理模型的全局损失；根据所述全局损失对所述任务处理模型的模型参数进行调节
。2.
根据权利要求1所述的任务处理模型的训练方法，根据所述第一损失误差
、
第二损失误差
、
第一注意力权重和第二注意力权重计算所述任务处理模型的全局损失的步骤之前，包括：获取样本对，所述样本对包括样本数据和所述样本数据的标注数据；所述标注数据包括与所述目标任务子模型对应的目标任务相匹配的目标任务标注数据
、
与所述辅助任务子模型对应的辅助任务相匹配的辅助任务标注数据；将所述样本数据输入任务处理模型，以得到所述目标任务子模型输出的目标任务预测数据
、
所述辅助任务子模型输出的辅助任务预测数据；根据所述目标任务子模型的第一损失函数确定所述目标任务预测数据与所述目标任务标注数据的第一损失误差，根据所述辅助任务子模型的第二损失函数确定所述辅助任务预测数据与所述辅助任务标注数据的第二损失误差；采用自注意力机制分别确定目标任务子模型的第一损失误差的第一注意力权重
、
辅助任务子模型的第二损失误差的第二注意力权重，包括：采用自注意力机制并基于所述目标任务预测数据和所述辅助任务预测数据，确定所述第一损失误差的第一注意力权重
、
所述第二损失误差的第二注意力权重
。3.
根据权利要求2所述的任务处理模型的训练方法，其中，采用自注意力机制并基于所述目标任务预测数据和所述辅助任务预测数据，确定所述第一损失误差的第一注意力权重
、
所述第二损失误差的第二注意力权重，包括：采用自注意力机制计算对应于所述目标任务预测数据和所述辅助任务预测数据的查询矩阵
、
键矩阵和值矩阵；根据所述查询矩阵和所述键矩阵计算注意力得分矩阵；根据所述注意力得分矩阵和所述值矩阵计算所述第一注意力权重和所述第二注意力权重
。4.
根据权利要求2所述的任务处理模型的训练方法，其中，采用自注意力机制并基于所述目标任务预测数据和所述辅助任务预测数据，确定所述第一损失误差的第一注意力权重
、
所述第二损失误差的第二注意力权重，包括：将所述目标任务预测数据和所述辅助任务预测数据输入自注意力机制模型，以由所述自注意力机制模型输出所述第一注意力权重和所述第二注意力权重
。5.
根据权利要求2‑4中任一项所述的任务处理模型的训练方法，其中，所述样本数据包括文档图像样本；所述目标任务子模型包括去阴影子模型，所述辅助任务子模型包括图像增强子模型；将所述样本数据输入任务处理模型，以得到所述目标任务子模型输出的目标任务预测
数据
、
所述辅助任务子模型输出的辅助任务预测数据，包括：将所述文档图像样本输入所述图像增强子模型，以由所述图像增强子模型对所述文档图像样本进行图像增强处理并输出增强预测图像；将所述增强预测图像输入所述去阴影子模型，以由所述去阴影子模型对所述增强预测图像进行去阴影处理得到去阴影预测图像；其中，所述目标任务预测数据包括所述去阴影预测图像，所述辅助任务预测数据包括所述增强预测图像
。6.
根据权利要求2‑4中任一项所述的任务处理模型的训练方法，其中，所述样本数据包括文档图像样本；所述目标任务子模型包括去阴影子模型，所述辅助任务子模型包括边缘处理子模型；将所述样本数据输入任务处理模型，以得到所述目标任务子模型输出的目标任务预测数据
、
所述辅助任务子模型输出的辅助任务预测数据，包括：将所述文档图像样本输入所述去阴影子模型，以由所述去阴影子模型对所述文档图像样本进行去阴影处理得到去阴影预测图像；将所述去阴影预测图像输入所述边缘处理子模型，以由所述边缘处理子模型对所述去阴影预测图像进行边缘处理得到边缘处理预测图像；其中，所述目标任务预测数据包括所述去阴影预测图像，所述辅助任务预测数据包括所述边缘处理预测图像
。7.
根据权利要求2‑4中任一项所述的任务处理模型的训练方法，其中，所述样本数据包括文档图像样本；所述目标任务子模型包括去阴影子模型，所述辅助任务子模型包括图像增强子模型和边缘处理子模型；将所述样本数据输入任务处理模型，以得到所述目标任务子模型输出的目标任务预测数据
、
所述辅助任务子模型输出的辅助任务预测数据，包括：将所述文档图像样本输入所述图像增强子模型，以由所述图像增强子模型对所述文档图像样本进行图像增强处理并输出增强预测图像；将所述增强预测图像输入所述去阴影子模型，以由所述去阴影子模型对所述文档图像样本进行去阴影处理得到去阴影预测图像；将所述去阴影预测图像输入所述边缘处理子模型，以由所述边缘处理子模型对所述去阴影预测图像进行边缘处理得到经过边缘处理的去阴影图像；其中，所述目标任务预测数据包括所述去阴影预测图像，所述辅助任务预测数据包括所述增强预测图像和所述边缘处理预测图像
。8.
根据权利要求7所述的任务处理模型的训练方法，其中，根据所述第一损失误差
、
第二损失误差
、
第一注意力权重和第二注意力权重计算所述任务处理模型的全局损失，包括：将第一乘积
、
第二乘积以及第三乘积之和，确定为所述全局损失；其中，所述第一乘积为所述图像增强子模型的第一损失误差与所述图像增强子模型的第一损失误差的第一注意力权重的乘积，所述第二乘积为第二损失误差与所述第二注意力权重的乘积，所述第三乘积为所述边缘处理子模型的第一损失误差与所述边缘处理子模型的第一损失误差的第一注意力权重的乘积
。9.
一种任务处理方法，包括：
获取目标任务的待处理数据；将所述待处理数据输入任务处理模型，获得所述目标任务对应的任务处理结果；其中，所述任务处理模型根据权利要求1‑8中任一项所述的任务处理模型的训练方法得到
。10.
一种图像处理方法，包括：获取待处理的文档图像；将所述文档图像输入去阴影模型，获得经过去阴影处理之后的文档图像；其中，所述去阴影模型采用全局损失对去阴影子模型和辅助任务子模型训练得到；所述全局损失根据所述去阴影子模型的第一损失误差
、
所述辅助任务子模型的第二损失误差
、
所述第一损失误差的第一注意力权重和所述第二损失误差的第二注意力权重计算得到；所述第一注意力权重和所述第二注意力权重采用自注意力机制并基于所述去阴影子模型输出的目标任务预测数据和所述辅助任务子模型输出的辅助任务预测数据得到
。11.
根据权利要求
10
所述的图像处理方法，其中，所述辅助任务子模型包括图像增强子模型；将所述文档图像输入去阴影子模型，获得经过去阴影处理之后的文档图像，包括：将所述文档图像输入所述图像增强子模型，以由所述图像增强子模型对所述文档图像进行图像增强处理并输出增强图像；将所述增强图像输入所述去阴影子模型，以由所述去阴影子模型对所述增强图像进行去阴影处理得到经过去阴影处理之后的文档图像
。12.
根据权利要求
10
所述的图像处理方法，其中，所述辅助任务子模型包括边缘处理子模型；将所述文档图像输入去阴影子模型，获得经过去阴影处理之后的文档图像，包括：将所述文档图像输入所述去阴影子模型，以由所述去阴影子模型对所述文档图像进行去阴影处理；将所述阴影子模型的输出结果输入边缘处理子模型，获得经过去阴影处理以及边缘处理的文档图像
。13.
根据权利要求
10
所述的图像处理方法，其中，所述辅助任务子模型包括图像增强子模型和边缘处理子模型；将所述文档图像输入去阴影子模型，获得经过去阴影处理之后的文档图像，包括：将所述文档图像输入所述图像增强子模型，以由所述图像增强子模型对所述文档图像进行图像增强处理并输出增强图像；将所述增强图像输入所述去阴影子模型，以由所述去阴影子模型对所述增强图像进行去阴影处理；将所述阴影子模型的输出结果输入边缘处理子模型，获得经过去阴影处理以及边缘处理的文档图像
。14.
根据权利要求
12
或
13
所述的图像处理方法，其中，所述将所述阴影子模型的输出结果输入边缘处理子模型，包括
...

【专利技术属性】
技术研发人员：蔡明伟，姚海，赵以诚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：