本发明专利技术属于计算机视觉技术领域，具体涉及一种基于边界比特优化的二值描述符学习方法；该方法包括：获取训练图像并对其进行预处理，得到正例对图像和负例对图像；将两种图像对分别对应输入到神经网络的两个分支中进行对比学习，得到训练图像的实值描述符；将实值描述符输入到二值化模块中进行处理，得到二值描述符；计算对比损失；根据对比损失，采用描述符梯度优化模块进行梯度优化，调整模型参数，得到训练好的二值描述符学习模型；使用训练好的二值描述符学习模型得到二值描述符，根据二值描述符得到图像特征匹配结果；本发明专利技术解决了网络学习过程中出现的低效用维度问题，可得到更强信息能力与区分能力的二值描述符，进而提高图像匹配的准确性。
【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种基于边界比特优化的二值描述符学习方法。
技术介绍
1、特征提取一直是计算机视觉中关键的操作。提取的特征可广泛应用于各种现实场景，如人脸识别、图像分类、图像检索、物体识别等。面对海量数据，人们希望特征具有更高的计算效率和更低的存储成本。因此，学习二值描述符逐渐成为一种新趋势。
2、对于大多数现有的二进制描述符学习方法而言，整个二进制描述符学习过程总是被分为实值特征提取和二值化两个阶段。针对特征提取阶段，具有多种方法来优化这一过程，以提高特征提取能力，并增强特征本身的鲁棒性。大多数现有方法的优化都集中在二值化阶段，其考虑和解决了许多问题，如在特征提取阶段产生的特征分布引起的模糊比特问题，导致二值化边界中存在大量边界比特。然而，二值化只是二进制描述符学习的过程之一。实值特征提取阶段的维度坍塌问题也会导致所学二进制描述符的性能下降，但现有方法并未得到考虑该问题。因此，现有方法未将特征提取阶段产生的特征分布引起的模糊比特问题从整体来考虑，且忽视了坍塌问题与模糊比特问题的相互影响
3、综上所述，亟需一种二值描述符学习方法，可解决坍塌问题与模糊比特问题，得到信息更加丰富的二值描述符，从而获得更好的图像匹配结果。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出了一种基于边界比特优化的二值描述符学习方法，该方法包括：获取图像并将其输入到训练好的二值描述符学习模型中，得到二值描述符；根据二值描述符得到图像特征匹配结果；
>2、二值描述符学习模型的训练过程包括：3、s1：获取训练图像并对其进行预处理，得到正例对图像和负例对图像；
4、s2：将正例对图像和负例对图像分别对应输入到神经网络的两个分支中进行对比学习，得到训练图像的实值描述符；
5、s3：将实值描述符输入到二值化模块中进行处理，得到二值描述符；
6、s4：计算对比损失；根据对比损失，采用描述符梯度优化模块进行梯度优化并调整模型参数，得到训练好的二值描述符学习模型。
7、优选的，对训练图像进行预处理的过程包括：对训练图像进行图像增强操作，生成多个增强图像；随机选择一张增强图像作为原始图像的正例对图像，将随机选择的其他一张增强图像作为负例对图像。
8、进一步的，图像增强操作包括随机裁剪、旋转、翻转、缩放和色彩抖动。
9、优选的，得到训练图像的实值描述符的过程包括：神经网络的两条分支分别对正例对图像和负例对图像进行卷积处理以提取图像高级语义信息；对高级语义信息进行逐步降维处理，再经过全连接层处理后得到图像的实值描述符；其中神经网络的两个分支结构相同并共享权重参数。
10、优选的，计算对比损失的公式为：
11、
12、其中，表示对比损失，yi表示第i张图像的实值描述符，yi′表示yi的正例对图像的实值描述符，yj表示第j张负例对图像的实值描述符，sim表示sim(yi,yj)表示第i张正例对图像的实值描述符和第j张负例对图像的实值描述符间的相似度，τ表示温度超参数。
13、优选的，采用描述符梯度优化模块进行梯度优化包括：
14、量化神经网络两个分支的后向传播过程中的需要的附加梯度为：
15、
16、其中，yambiguous表示边界上模糊比特优化过程中所需要的附加梯度，yi表示第i张图像的实值描述符，表示yi的平均值，表示yi的方差，di表示第i个实值描述符的维度；
17、在原神经网络的梯度上使用附加梯度即在原神经网络的梯度流中添加附加梯度后对对比损失进行梯度优化。
18、进一步的，所述附加梯度的梯度流为：
19、
20、附加梯度方向为：
21、
22、其中，表示整体附加梯度流在损失函数反向传播过程中的梯度大小，ω表示人工设置的超参数，yi′表示图像yi的正例对图像的实值描述符。
23、本专利技术的有益效果为：本专利技术设计描述符梯度优化模块，它可以应用于不同的骨干架构，在训练过程中可提供额外的梯度，解决网络学习过程中出现的低效用维度问题，实现在自监督表征学习中学得更丰富的信息，从而得到更强信息能力与区分能力的二值描述符，进而提高图像匹配的准确性。本专利技术可以作为一个插件使用，只需在所选的基础网络后添加本专利技术的优化模块，而无需额外的空间和计算量，具有良好的应用前景。
本文档来自技高网...
【技术保护点】
1.一种基于边界比特优化的二值描述符学习方法，其特征在于，包括：获取图像并将其输入到训练好的二值描述符学习模型中，得到二值描述符；根据二值描述符得到图像特征匹配结果；
2.根据权利要求1所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，对训练图像进行预处理的过程包括：对训练图像进行图像增强操作，生成多个增强图像；随机选择一张增强图像作为原始图像的正例对图像，将随机选择的其他一张增强图像作为负例对图像。
3.根据权利要求2所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，图像增强操作包括随机裁剪、旋转、翻转、缩放和色彩抖动。
4.根据权利要求1所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，得到训练图像的实值描述符的过程包括：神经网络的两条分支分别对正例对图像和负例对图像进行卷积处理以提取图像高级语义信息；对高级语义信息进行逐步降维处理，再经过全连接层处理后得到图像的实值描述符；其中
5.根据权利要求1所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，计算对比损失的公式为：
6.根据权利要求1所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，采用描述符梯度优化模块进行梯度优化包括：
7.根据权利要求6所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，所述附加梯度的梯度流为：
...
【技术特征摘要】
1.一种基于边界比特优化的二值描述符学习方法，其特征在于，包括：获取图像并将其输入到训练好的二值描述符学习模型中，得到二值描述符；根据二值描述符得到图像特征匹配结果；
2.根据权利要求1所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，对训练图像进行预处理的过程包括：对训练图像进行图像增强操作，生成多个增强图像；随机选择一张增强图像作为原始图像的正例对图像，将随机选择的其他一张增强图像作为负例对图像。
3.根据权利要求2所述的一种基于边界比特优化的二值描述符学习方法，其特征在于，图像增强操作包括随机裁剪、旋转、翻转、缩放和色彩抖动。
4.根据权利要求1所述的一...
【专利技术属性】
技术研发人员：肖斌，赵欢，毕秀丽，刘波，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。