【技术实现步骤摘要】
本专利技术属于计算机视觉、深度学习领域，具体涉及一种基于邻域保持transformer的特征提取方法。
技术介绍
1、在这个信息时代，在各个领域产生了大量的数据，包括教育、医疗、互联网、社交媒体和商业。这些数据通常是高维的、异构的、复杂的、海量的，它们有不同的形式，如文本、数字图像、语音信号、视频等。
2、虽然现有的机器学习方法也可以处理高维图像数据，但在处理如此海量的高维数据时存在一定的困难。数据的高维会增加模型的复杂性，导致模型的训练过程缓慢，计算效率低，不利于问题的解决。这就是所谓的“维度灾难”问题。一些数据包含数千个特征。如果一个模型从许多特征中学习，它将强烈依赖这些数据，导致过拟合和较差的泛化。此外，由于原始数据可能包含冗余、不重要或有噪声的信息，因此学习到的模型的准确性会较差。
3、特征提取提供了一种保留数据有效特征的方法。它通常用于机器学习模型之前的数据预处理阶段，以提高模型的性能。目前，研究人员提出了各种特征提取方法，其中包括传统方法和深度学习方法。基于传统方法的特征提取方法可以提取到图像数据的有效特征，如主成分分析、线性判别分析等，但这些方法很难满足大规模图像数据的处理，深度学习方式更有利于处理大规模图像。基于深度学习的特征提取方法主要是自编码器，它不仅可以学习线性特征，还可以学习非线性特征。如果输入图像包含噪声，使用自编码器对图像进行特征提取，网络仍然可以从混乱的信息中提取有用的特征，这说明它具有一定的鲁棒性。但自编码器在处理复杂像素图像和大规模掩码图像的时候效果并不好，且会产生大量模
技术实现思路
1、为解决上述技术问题，本专利技术提出一种基于邻域保持transformer的特征提取方法，包括：
2、s1：获取图像数据集，并对图像数据集中的图像进行预处理，将图像分割为图像块并拉伸为向量，再给每个图像块向量添加位置编码，让输入向量包含位置信息；
3、s2：将图像数据集中的图像作为样本点，获取样本点的k个邻近点构造邻域图g，根据邻域图g的邻近关系计算样本点之间的权重；
4、s3：建立图像特征提取模型，所述模型包括一个编码器和一个解码器；
5、s4：将包含位置信息的块向量数据输入到模型的编码器中进行特征提取，得到低维表征数据；
6、s5：将低维表征数据输入到解码器中进行解码升维，得到重建图像；
7、s6：使用均方误差作为最小化原始图像与重建图像的误差的损失函数l1，通过样本点之间的权重大小构建使特征之间的关系与原始样本点之间的关系保持相似的邻域保持目标函数l2，将l1与l2作为图像特征提取模型的联合损失函数，根据联合损失函数通过反向传播的方式进行迭代训练直至收敛；
8、s7：训练好图像特征提取模型后，模型的编码器处理得到的数据为图像特征提取的有效表征。
9、本专利技术的有益效果：
10、(1)本专利技术通过最小化输入数据与输出数据之间的误差，提取图像中的有效表征，保留了图像重要信息的同时降低了图像冗余信息；
11、(2)本专利技术通过引入多头注意力机制，能够获取到图像的全局信息，具有更高的鲁棒性，在对复杂像素和带掩码的图像进行处理时具有很好的效果；
12、(3)本专利技术通过引入邻域保持的思想，使原始空间中相似的数据在特征提取后仍然保持靠近，使得数据保持更有效的表征信息；
13、(4)本专利技术通过残差连接解决了梯度消失和权重矩阵的退化问题；
14、(5)本专利技术相比于基于深度学习的主流特征提取会产生更少的模型参数。
本文档来自技高网...【技术保护点】
1.一种基于邻域保持Transformer的特征提取方法，其特征在于，包括：
2.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，对图像数据进行预处理，包括：
3.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，根据邻域图的邻近关系计算样本点之间的权重，包括：
4.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，所述图像特征提取模型的编码器和解码器，包括：
5.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，编码器对包含位置信息的块向量数据进行特征提取，包括：
6.根据权利要求5所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，将每个包含位置信息的块向量数据输入编码器，使用基于自注意力机制实现的多头注意力机制进行注意力计算，根据块向量之间的相关性对图像序列进行全局建模，提取图像全局信息，包括：
7.根据权利要求5所述的一种基于邻域保持Tr
8.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，最小化原始图像与重建图像的误差，包括：
9.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，通过样本点之间的权重大小构建使特征之间的关系与原始样本点之间的关系保持相似的邻域保持目标函数L2，包括：
10.根据权利要求1所述的一种基于邻域保持Transformer的特征提取方法，其特征在于，将L1与L2作为图像特征提取模型的联合损失函数，包括：
...【技术特征摘要】
1.一种基于邻域保持transformer的特征提取方法，其特征在于，包括：
2.根据权利要求1所述的一种基于邻域保持transformer的特征提取方法，其特征在于，对图像数据进行预处理，包括：
3.根据权利要求1所述的一种基于邻域保持transformer的特征提取方法，其特征在于，根据邻域图的邻近关系计算样本点之间的权重，包括：
4.根据权利要求1所述的一种基于邻域保持transformer的特征提取方法，其特征在于，所述图像特征提取模型的编码器和解码器，包括：
5.根据权利要求1所述的一种基于邻域保持transformer的特征提取方法，其特征在于，编码器对包含位置信息的块向量数据进行特征提取，包括：
6.根据权利要求5所述的一种基于邻域保持transformer的特征提取方法，其特征在于，将每个包含位置信息的块向量数...
【专利技术属性】
技术研发人员：冉瑞生，高天宇，吴昊楠，潘仁杰，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。