【技术实现步骤摘要】
本申请涉及机器学习，尤其涉及一种层自适应位置编码设计方法、装置、设备及存储介质。
技术介绍
1、vision transformer(视觉自注意力模型，vt)是由多层transformer编码器构成的视觉模型，它能应用于图像分类、检测和分割等多个视觉任务上，并具有卓越的性能，位置编码是vt的重要组成部分。
2、由于vt中的自注意力机制是排列不变的(即不论输入的token顺序如何，输出的表征均一致)，因此vt需要引入位置编码来打破排列不变性，从而具有位置感知。现有的位置编码加入方式会导致token表征和位置编码共享同一套层归一化(ln，layernormalization)仿射变换系数，这将给模型提供受限的、无法被调节的位置信息，从而导致模型的表征能力受限。
3、综上，现有的vt模型中位置编码设计方式仍旧存在模型性能较低的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种层自适应位置编码设计方法、装置、设备及存储介质，旨在解决现有的vt模型中位置编码设计方式仍旧存在模型性能较低的技术问题。
2、为实现上述目的，本申请提供一种层自适应位置编码设计方法，所述层自适应位置编码设计方法包括：
3、将token表征作为视觉模型的第零层编码器的输入，并基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理，得到所述第零层的中间位置编码，并将所述中间位置编码添加至所述第零层编码器中得到所述第零层编码器的输出；
4、将所述第零
5、将所述下一层编码器的输出作为新的输入以循环执行各层级编码器基于自适应位置编码的编码操作，直至得到所述视觉模型最后一层级编码器的输出，并将所述最后一层级编码器的输出作为所述视觉模型的输出，以构建包含层自适应位置编码的视觉模型。
6、可选地，在一种可行的实施例中，所述基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理的步骤，包括：
7、对所述初始位置编码进行归一化处理得到第一归一化结果；
8、基于第零层的自适应仿射变换系数对所述第一归一化结果进行仿射变换。
9、可选地，在一种可行的实施例中，所述方法还包括：
10、基于所述第零层编码器的层归一化模块对所述token表征进行归一化处理得到第一中间值；
11、将所述第一中间值与所述第零层对应的中间位置编码相加得到第二中间值；
12、将所述第二中间值作为所述第零层的多头自注意力模块的输入，以执行第零层编码器的编码操作。
13、可选地，在一种可行的实施例中，所述token表征为向量；
14、所述基于所述第零层编码器的层归一化模块对所述token表征进行归一化处理得到第一中间值的步骤，包括：
15、对所述token表征中的各token进行归一化处理得到各归一化元素；
16、基于所述token表征对应的仿射变换系数对各所述归一化元素进行仿射变换得到各变换结果，将各所述变换结果的集合作为所述第一中间值。
17、可选地，在一种可行的实施例中，所述方法还包括：
18、针对各所述编码器，基于各所述编码器各自对应的层归一化模块对各所述编码器各自的输入进行层归一化处理，得到第三中间值；
19、将各所述编码器各自的所述第三中间值与各所述编码器各自对应的中间位置编码相加得到第四中间值；
20、将各所述编码器各自的所述第四中间值作为各所述编码器各自的多头自注意力模块的输入，以执行各所述编码器各自的编码操作。
21、可选地，在一种可行的实施例中，所述多头自注意力模块的输出为：
22、xl′＝msal(lnx|l(xl)+lnω|l(ωl))；
23、其中，xl’为第l层的所述多头自注意力模块的输出，msal为所述第l层的所述多头自注意力模块，lnx|l(xl)为所述第l层的所述第一中间值，lnω|l(ωl)为所述第l层的所述中间位置编码。
24、可选地，在一种可行的实施例中，所述基于各所述编码器各自对应的层归一化模块对各所述编码器各自的所述输入进行层归一化处理的步骤，包括：
25、对各所述输入进行归一化处理得到第二归一化结果；
26、基于各所述层级各自对应的仿射变换系数对各所述层级各自对应的所述第二归一化结果进行仿射变换，并将仿射变换的结果作为第三中间值。
27、此外，为实现上述目的，本申请还提供一种层自适应位置编码设计装置，所述层自适应位置编码设计装置为虚拟装置，所述层自适应位置编码设计装置包括：
28、第零层编码模块，用于将token表征作为视觉模型的第零层编码器的输入，并基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理，得到所述第零层的中间位置编码，并将所述中间位置编码添加至所述第零层编码器中得到所述第零层编码器的输出；
29、层级连接模块，用于将所述第零层编码器的输出作为所述第零层的下一层编码器的输入，并基于下一层的自适应仿射变换系数对所述中间位置编码进行层归一化处理，得到所述下一层的中间位置编码，将下一层的中间位置编码添加至所述下一层编码器中得到所述下一层编码器的输出；
30、循环编码模块，将所述下一层编码器的输出作为新的输入以循环执行各层级编码器基于自适应位置编码的编码操作，直至得到所述视觉模型最后一层级编码器的输出，并将所述最后一层级编码器的输出作为所述视觉模型的输出，以构建包含层自适应位置编码的视觉模型。
31、此外，为实现上述目的，本申请还提供一种层自适应位置编码设计设备，所述层自适应位置编码设计设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的层自适应位置编码设计程序，所述层自适应位置编码设计程序被所述处理器执行时实现如上述的层自适应位置编码设计方法的步骤。
32、本申请还提供一种计算机存储介质，所述计算机存储介质上存储有层自适应位置编码设计程序，所述层自适应位置编码设计程序被处理器执行时实现如上述的层自适应位置编码设计方法的步骤。
33、本申请提供一种层自适应位置编码设计方法、装置、设备及存储介质，层自适应位置编码设计方法包括：将token表征作为视觉模型的第零层编码器的输入，并基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理，得到所述第零层的中间位置编码，并将所述中间位置编码添加至所述第零层编码器中得到所述第零层编码器的输出；将所述第零层编码器的输出作为所述第零层的下一层编码器的输入，并基于下一层的自适应仿射变换系数对所述中间位置编码进行层归一化处理，得到所述下一层的中间位置编码本文档来自技高网...
【技术保护点】
1.一种层自适应位置编码设计方法，其特征在于，所述层自适应位置编码设计方法包括：
2.根据权利要求1所述的层自适应位置编码设计方法，其特征在于，所述基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理的步骤，包括：
3.根据权利要求1所述的层自适应位置编码设计方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的层自适应位置编码设计方法，其特征在于，所述token表征为向量；
5.根据权利要求4所述的层自适应位置编码设计方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的层自适应位置编码设计方法，其特征在于，所述多头自注意力模块的输出为：
7.根据权利要求5所述的层自适应位置编码设计方法，其特征在于，所述基于各所述编码器各自对应的层归一化模块对各所述编码器各自的输入进行层归一化处理的步骤，包括：
8.一种层自适应位置编码设计装置，其特征在于，所述层自适应位置编码设计装置包括：
9.一种层自适应位置编码设计设备，其特征在于，所述层自适应位置编码设计设备包括：存储器、
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有层自适应位置编码设计程序，所述层自适应位置编码设计程序被处理器执行时实现如权利要求1至7中任一项所述的层自适应位置编码设计方法的步骤。
...【技术特征摘要】
1.一种层自适应位置编码设计方法，其特征在于，所述层自适应位置编码设计方法包括：
2.根据权利要求1所述的层自适应位置编码设计方法，其特征在于，所述基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理的步骤，包括：
3.根据权利要求1所述的层自适应位置编码设计方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的层自适应位置编码设计方法，其特征在于，所述token表征为向量；
5.根据权利要求4所述的层自适应位置编码设计方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的层自适应位置编码设计方法，其特征在于，所述多头自注意力模块的输出为：
7.根据权利要求5所述的层自适应位置编码设计方法...
【专利技术属性】
技术研发人员：陈杰，喻润一，李剑霞，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。