【技术实现步骤摘要】
本专利技术属于人工智能，尤其涉及transformer及其改进的显式位置编码方法。
技术介绍
1、近年来，人工智能领域取得了显著的进展，其中深度学习模型在计算机视觉、自然语言处理等任务中取得了卓越成就。transformer架构最初于2017年提出，广泛用于机器翻译的自然语言处理任务中。其独特的自注意力机制使其在捕捉序列中长距离依赖关系方面表现优异，成为自然语言处理领域的标准模型。其中，随着其在自然语言处理领域的不断发展，对图像领域的注意力机制应用也引起了研究者的兴趣，vision transformer(vit)是一种对transformer架构的改进，将其应用于计算机视觉任务的创新模型。
2、但在实际的应用场景中，transformer仍存在着收敛速度与可解释性不足的缺陷，在一些大模型与大规模数据集训练的场景中该缺陷尤为明显。造成该结果的主要原因之一是其位置编码设计不合理导致的。transformer及其vit改进所使用的均为隐式位置编码，其编码方式是将人工设计或者可学习的位置编码向量通过相加(addition)的方式将...
【技术保护点】
1.Transformer及其改进的显式位置编码方法，其特征在于，包括以下步骤：
2.如权利要求1所述的Transformer及其改进的显式位置编码方法，其特征在于，将所述原始数据映射为Token序列的方法包括：
3.如权利要求1所述的Transformer及其改进的显式位置编码方法，其特征在于，基于应用场景，设计显示位置编码方式的方法包括：
4.如权利要求3所述的Transformer及其改进的显式位置编码方法，其特征在于，对所述Token序列添加显示位置编码的方法包括：将所述显式位置编码通过拼接方式与所述Token序列融合，获得...
【技术特征摘要】
1.transformer及其改进的显式位置编码方法，其特征在于，包括以下步骤：
2.如权利要求1所述的transformer及其改进的显式位置编码方法，其特征在于，将所述原始数据映射为token序列的方法包括：
3.如权利要求1所述的transformer及其改进的显式位置编码方法，其特征在于，基于应用场景，设计显示位置编码方式的方法包括：
4.如权利要求3所述的transformer及其改进的显式位置编码方法，其特征在于，对所述token序列添加显示位置编码的方法包括：将所述显式位置编码通过拼接方式与所述token序列融合，获得具有位置信息的输入序列。
5.如权利要求1所述的transformer及其改进的显式位置编码方法，其特征在于，将所述具有位置信息的输入序列输入至transformer编码器/解码器中，获取显式位...
【专利技术属性】
技术研发人员：李玉洁，马子航，谭本英，丁数学，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。