信息处理的方法、装置、设备和存储介质制造方法及图纸

技术编号:45699662 阅读:20 留言:0更新日期:2025-07-01 20:14
本公开的实施例涉及信息处理的方法、装置、设备和存储介质。在此提出的方法包括:向目标模型提供输入信息,目标模型包括多个处理层;将第一处理层的第一输入特征分割为第一组特征分量;将第一组权重参数应用于第一组特征分量,以确定中间输入特征;确定第一处理层基于中间输入特征所生成的中间输出特征;基于中间输出特征和第一组特征分量,确定第二组特征分量;以及至少基于第二输入特征,生成目标模型的输出结果。通过将第一输入特征分割成第一组特征分量,本公开的实施例可以避免由于特征宽度增加导致的额外内存开销,从而减少内存使用,并降低计算成本。

【技术实现步骤摘要】

本公开的示例实施例总体涉及计算机领域,特别地涉及信息处理的方法、装置、设备和计算机可读存储介质。


技术介绍

1、随着深度学习技术的飞速发展,残差连接(residual connection)技术的出现具有重要意义。残差连接的基本思想是通过在神经网络的某些层之间添加捷径连接,使得网络可以直接学习输入输出之间的残差映射,而不是直接学习目标函数。这种结构有助于缓解梯度消失问题,使得深层网络的训练更加容易和有效。


技术实现思路

1、在本公开的第一方面,提供了一种信息处理的方法。该方法包括:向目标模型提供输入信息,目标模型包括多个处理层,多个处理层至少包括相邻的第一处理层和第二处理层;将第一处理层的第一输入特征分割为第一组特征分量,第一输入特征是基于输入信息所确定的;将第一组权重参数应用于第一组特征分量,以确定中间输入特征;确定第一处理层基于中间输入特征所生成的中间输出特征;基于中间输出特征和第一组特征分量,确定第二组特征分量,以作为针对第二处理层的第二输入特征;以及至少基于第二输入特征,生成目标模型的输出结果。...

【技术保护点】

1.一种信息处理的方法,包括:

2.根据权利要求1所述的方法,其中将所述第一处理层的第一输入特征分割为第一组特征分量包括:

3.根据权利要求1所述的方法,还包括:

4.根据权利要求1所述的方法,其中所述第二组特征分量的各特征分量是通过将对应的第二组权重参数应用于所述中间输出特征和所述第一组特征分量所确定的。

5.根据权利要求4所述的方法,其中所述第一组权重参数和/或所述第二组权重参数是通过训练所述目标模型所确定的静态参数。

6.根据权利要求4所述的方法,其中所述第一组权重参数和/或所述第二组权重参数是基于所述第一输入特征所确定的...

【技术特征摘要】

1.一种信息处理的方法,包括:

2.根据权利要求1所述的方法,其中将所述第一处理层的第一输入特征分割为第一组特征分量包括:

3.根据权利要求1所述的方法,还包括:

4.根据权利要求1所述的方法,其中所述第二组特征分量的各特征分量是通过将对应的第二组权重参数应用于所述中间输出特征和所述第一组特征分量所确定的。

5.根据权利要求4所述的方法,其中所述第一组权重参数和/或所述第二组权重参数是通过训练所述目标模型所确定的静态参数。

6.根据权利要求4所述的方法,其中所述第一组权重参数和/或所述第二组权重参数是基于所述第一输入特征所确定的动态参数。

7.根据权利要求6所述的方法,其中所述第一组权重参数和/或所述第二组权重参数是基于以下过程被确定:

8.根据权利要求1所述的方法,其...

【专利技术属性】
技术研发人员:朱德发黄宏志周君栋黄梓浩曾宇涛伍邦谷闵启阳周珣
申请(专利权)人:北京青阳智维科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1