本文的公开描述了训练编码器网络以修复具有经掩模的部分的图像。主编码过程被用于将经掩模的输入图像的可见部分编码为经编码的令牌数据。该经编码的令牌数据随后被解码为像素回归输出和特征预测输出两者，其中这输出两者都包括与经掩模的输入图像的经掩模的部分相关联的经修复的图像数据。使用该像素回归输出和该经掩模的输入图像的未掩模版本的像素数据来确定像素回归损失。使用该特征预测输出和该经掩模的输入图像的该未掩模版本的基准真值编码输出来确定特征预测损失。然后使用该像素回归损失和该特征预测损失来训练该主编码过程，由此该主编码过程被训练以将输入图像的结构特征编码为经编码的令牌数据。
【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、自监督表示学习(其目的是从未标记的数据学习可转移的表示)一直是计算机视觉领域长期存在的问题。最近的进展表明，在具有挑战性的数据集上，大规模的自监督表示学习比受监督学习有显著的改进。特别地，在视觉变换器的自监督预训练中的经掩模的图像建模(mim)在计算机视觉任务中显示出改进的性能。然而，一些此类技术受到像素级预测目标的限制，它们会导致模型“记忆”训练数据中因目标而异的信息，从而浪费了训练精力和模型能力。
技术实现思路
1、提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中还描述的概念的选集。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于帮助确定所要求保护的主题的范围。
2、描述了一种用于训练编码器网络以修复具有经掩模的部分的图像的计算机化方法。主编码过程用于将经掩模的输入图像的可见部分编码为经编码的令牌数据。该经编码的令牌数据随后被解码为像素回归输出和特征预测输出两者，其中这两者都包括与经掩模的输入图像的经掩模的部分相关联的经修复的图像数据。使用该像素回归输出和该经掩模的输入图像的未掩模版本的像素数据来确定像素回归损失。使用特征预测输出和经掩模的输入图像的未掩模版本的基准真值编码输出确定特征预测损失，其中基准真值编码输出由基准真值动量编码过程生成。然后使用该像素回归损失和该特征预测损失来训练该主编码过程，由此该主编码过程被训练以将输入图像的结构特征编码为经编码的令牌数据。
【技术保护点】
1.一种系统，包括：
2.如权利要求1所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
3.如权利要求2所述的系统，其特征在于，所述像素回归输出由像素回归器从经编码的令牌数据解码，并且所述特征预测输出由特征预测器从经编码的令牌数据解码；以及
4.如权利要求3所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
5.如权利要求4所述的系统，其特征在于，所述低级特征数据是在所述主编码过程的变换子过程之前从所述主编码过程的一部分获得的；
6.如权利要求4到5中任一项所述的系统，其特征在于，所述低级特征数据包括与所述经掩模的输入图像的所述可见部分的各像素相关联的像素值数据。
7.如权利要求1到6中任一项所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
>8.如权利要求1到7中任一项所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：9.一种计算机化方法，包括：
10.如权利要求9所述的计算机化方法，其特征在于，进一步包括：
11.一个或多个具有计算机可执行指令的计算机存储介质，所述计算机可执行指令在由处理器执行时使所述处理器至少进行以下操作：
12.如权利要求11所述的一个或多个计算机存储介质，其特征在于，所述经训练的编码器网络使用至少以下各项来训练：
13.如权利要求12所述的一个或多个计算机存储介质，其特征在于，所述经训练的编码器网络被训练以：
14.如权利要求11到13中任一项所述的一个或多个计算机存储介质，其特征在于，所述经掩模的输入图像包括与所述经掩模的输入图像的所述经掩模的部分相关联的图像数据以用作训练数据；以及
15.如权利要求14所述的一个或多个计算机存储介质，其特征在于，所述经掩模的输入图像来自与所述经训练的编码器网络被提供到的实体相关联的经掩模的输入图像训练数据集；以及
...
【技术特征摘要】
【国外来华专利技术】
1.一种系统，包括：
2.如权利要求1所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
3.如权利要求2所述的系统，其特征在于，所述像素回归输出由像素回归器从经编码的令牌数据解码，并且所述特征预测输出由特征预测器从经编码的令牌数据解码；以及
4.如权利要求3所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
5.如权利要求4所述的系统，其特征在于，所述低级特征数据是在所述主编码过程的变换子过程之前从所述主编码过程的一部分获得的；
6.如权利要求4到5中任一项所述的系统，其特征在于，所述低级特征数据包括与所述经掩模的输入图像的所述可见部分的各像素相关联的像素值数据。
7.如权利要求1到6中任一项所述的系统，其特征在于，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起进一步使得所述至少一个处理器进行以下操作：
8.如权利要求...
【专利技术属性】
技术研发人员：陈冬冬，鲍建敏，张婷，袁路，陈栋，闻芳，董潇逸，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。