【技术实现步骤摘要】
本专利技术涉及深度学习,尤其涉及应用于移动终端的数据处理方法。
技术介绍
1、transformer模型被广泛应用于自然语言处理(natural language processing,nlp)领域,在机器翻译和语音识别等任务中取得了卓越的效果。随着人工智能和深度学习的发展,transformer模型也已经逐步被应用于计算机视觉(computer vision,cv)领域,其性能能够挑战卷积神经网络(convolutional neural networks,cnn)。
2、相关的数据处理技术方案中,基于注意力机制,使得transformer能够很轻松的学习到输入的全局信息和上下文信息。但是,在同等效果下,基于transformer架构的模型往往比cnn架构具有更大的参数量,而且transformer模型对数据的需求较大,且计算冗余度较高。因此,transformer模型的性能和参数量难以平衡。
技术实现思路
1、本专利技术提供了一种应用于移动终端的数据处理方法,以降低模型复杂
2本文档来自技高网...
【技术保护点】
1.一种应用于移动终端的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述目标网络模型还包括第二特征提取单元,所述第二特征提取单元的输出数据为所述第一特征提取单元的输入数据,
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征提取单元对所述待处理数据进行特征提取,得到待处理特征,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第一待融合特征和第二待融合特征融合处理,得到融合特征,包括:
5.根据权利要求3所述的方法,其特征在于,所述多头注意力机制包括线性多头注意力机制
6....
【技术特征摘要】
1.一种应用于移动终端的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述目标网络模型还包括第二特征提取单元,所述第二特征提取单元的输出数据为所述第一特征提取单元的输入数据,
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征提取单元对所述待处理数据进行特征提取,得到待处理特征,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第一待融合特征和第二待融合特征融合处理,得到融合特征,包括:
5.根据权利要求3所述的方法,其特征在于,所述多头注意力机制包括线性多头注意力...
【专利技术属性】
技术研发人员:吴少智,彭攀,刘欣刚,苏涵,冯承霖,张立澄,
申请(专利权)人:电子科技大学长三角研究院衢州,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。