【技术实现步骤摘要】
本专利技术涉及掩码图像建模，特别是涉及一种基于渐进式重建的高效自监督学习方法及系统。
技术介绍
1、通过遮蔽图像的一部分像素，并训练模型使其根据未被遮蔽的像素重建被遮蔽的部分，基于掩码图像建模(masked image modeling,mim)的自监督学习方法在训练视觉模型方面取得了巨大成功，但该技术也需要高昂的计算成本。一种节省成本的策略是部分重建，也就是使模型仅重建一部分被遮蔽的像素而丢弃其他被遮蔽的像素。然而，这种方法也会降低模型的质量。为了减轻这种负面影响，现有方法依赖时序冗余性丢弃冗余的像素，但时序冗余性在静态图像中是不可用的；或者依赖注意力图丢弃信息量少的像素，但获取注意力图又需要额外的计算成本。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了一种基于渐进式重建的高效自监督学习方法及系统；提出了一种渐进重建策略，以极其轻量的方式重建被丢弃的像素，而不是完全放弃它们。因此，渐进重建使mim能够将完整的数据用于训练，同时保留了部分重建在节省成本上的优势。同时，我们发现...
【技术保护点】
1.一种基于渐进式重建的高效自监督学习方法，其特征是，包括：
2.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述编码器用于提取所有图像块的特征，所述图像块特征包括：被遮蔽图像块的特征和未被遮蔽图像块的特征，具体包括：
3.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述最远采样模块对被遮蔽图像块的特征进行选择性地丢弃或保留，具体包括：
4.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述渐进式重建模块对被遮蔽图像块的丢弃特征进行重建，得到第二重建图像，包括：<...
【技术特征摘要】
1.一种基于渐进式重建的高效自监督学习方法，其特征是，包括：
2.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述编码器用于提取所有图像块的特征，所述图像块特征包括：被遮蔽图像块的特征和未被遮蔽图像块的特征，具体包括：
3.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述最远采样模块对被遮蔽图像块的特征进行选择性地丢弃或保留，具体包括：
4.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，所述渐进式重建模块对被遮蔽图像块的丢弃特征进行重建，得到第二重建图像，包括：
5.如权利要求1所述的一种基于渐进式重建的高效自监督学习方法，其特征是，将...
【专利技术属性】
技术研发人员：范登平，李钟毓，李运恒，程明明，薛超，
申请(专利权)人：南开大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。