一种基于耦合卷积稀疏编码的跨模态图像匹配方法组成比例

本发明专利技术提供的一种基于耦合卷积稀疏编码的跨模态图像匹配方法，包括：构建并训练基于耦合卷积稀疏编码的跨模态图像匹配算法模型；根据算法模型，结合KNN算法计算模型质量，完成跨模态图像的匹配。本发明专利技术提供的一种基于耦合卷积稀疏编码的跨模态图像匹配方法，利用卷积稀疏编码的思想代替传统稀疏编码的思想，能够全局运行在整张图像上，很大程度提高图像像素间的关联性从而提取到更加精确的模型特征图；不仅如此，本方法继承共同特征空间的基本理论并结合耦合卷积稀疏向量典型相关分析方法进一步提高在跨模态图像匹配上的性能，高精度化并且易于理解和编程，对实际工程中不同模态图像匹配提出了切实可行的匹配模型。

【技术实现步骤摘要】
一种基于耦合卷积稀疏编码的跨模态图像匹配方法
本专利技术涉及图像处理
，更具体的，涉及一种基于耦合卷积稀疏编码的跨模态图像匹配方法。
技术介绍
模态是指人接受同一类信息的不同方式，跨模态图像匹配是计算机视觉和模式识别技术中一个不断发展的领域，并具有多种应用。跨模态图像匹配一直以来都是图像处理领域中非常具有价值的研究方向。随着科技技术的快速发展，成像传感器的种类日新月异，包括不同的近红外图像传感器，光学传感器，雷达传感器等，通过这些传感器所获得的图像彼此间有着诸多差异。在实际生活中，表达同一信息的图像有多种渠道，诸如同一物品或同一个人的光学照片与素描照片，在较强光线下的清晰照片与在光线较弱下的灰暗照片，同一地点的遥感图像与SAR图像甚至是多视图动作识别等等。因此，仅注重同模态图像处理的研究远远不能满足实际应用的需求，跨模态图像匹配一直以来都是图像处理领域一个具有挑战意义的课题。在最近几年，虽然基于耦合稀疏编码的跨模态图像匹配技术通过对耦合项的重新设计提高了跨模态图像匹配的精度，但是由于这类方法采用局部信息的方式对图像数据进行重构，所以没办法获得更精确的稀疏向量去表达原始数据。
技术实现思路
本专利技术为克服现有的跨模态图像匹配方法存在稀疏度不高，提取的图像特征不够精确的技术缺陷，提供一种基于耦合卷积稀疏编码的跨模态图像匹配方法。为解决上述技术问题，本专利技术的技术方案如下：一种基于耦合卷积稀疏编码的跨模态图像匹配方法，包括以下步骤：S1：构建基于耦合卷积稀疏编码的跨模态图像匹配算法模型；S2：设定滤波器的维度和个数；设置两种模态训练集的样本数量并预处理得到训练集X和训练集Y；S3：根据维度和个数初始化投影矩阵TX,TY；根据训练集X、训练集Y初始化局部字典DXL,DYL，结合训练集X、训练集Y以及局部字典DXL,DYL初始化局部稀疏向量和完成参数的设置；S4：通过不断交叉迭代的方式优化更新参数DXL,DYL,TX,TY，每更新一对参数时，设定另外两对参数为常数，即保持上一次迭代的结果；每更新一对参数期间，其中一个参数设定为常数，更新另一个参数；以此类推直到达到设定的迭代次数或者模型收敛则停止迭代，输出训练完成的算法模型；S5：根据算法模型，结合KNN算法计算模型质量，完成跨模态图像的匹配。上述方案中，利用卷积稀疏编码的思想代替传统稀疏编码的思想，能够全局运行在整张图像上，很大程度提高图像像素间的关联性从而提取到更加精确的模型特征图；不仅如此，本方法继承共同特征空间的基本理论并结合耦合卷积稀疏向量典型相关分析方法进一步提高在跨模态图像匹配上的性能，高精度化并且易于理解和编程，对实际工程中不同模态图像匹配提出了切实可行的匹配模型，诸如协助警方通过嫌疑人素描画像找到实际人脸照片，低分辨率图片生成高分辨率图片，图像文本和文本图像匹配，甚至是同一个人不同角度识别等。其中，所述步骤S1具体包括以下步骤：S11：假设模态数据集为X，第二种模态数据集为Y，X和Y具有以下形式：X＝{X1,X2,X3,...XC}(1)Y＝{Y1,Y2,Y3,...YC}(2)其中，XC、YC是X和Y第C类的子集，C是总类数，XC、YC具有以下表达形式：其中，|XC|、|YC|是第C类子集的总样本数，因此，两种模态的数据集X和Y的矩阵形式表达为其中NX、NY是两种模态数据集的总样本数，dX、dY是两种模态数据集每一张样本的维度；S12：通过耦合的方式求解跨模态图像匹配，将问题转化为以下表达式：argmin(Ex+Ey+Ecoupled)(5)其中EX、EY是两种模态数据集的重构项，Ecoupled是两种模态数据集共同的耦合项；S13：设dX＝dY＝d，第一种模态数据集X由一组特征映射与m个长度为n≤dx的滤波器卷积所重构，即重构图像局部字典DXL由m个长度为n的滤波器组成，全局字典DX由局部字典DXL所构造，其中，局部字典第i列所构成的移动表示第i个滤波器与特征映射卷积的结果，全局稀疏向量MX是所有特征映射的交错级联，而全局稀疏向量MX分解为dX个不重叠的m维局部稀疏向量UX是包含局部字典DXL的条状字典；重构图像又可以表示为其中是提取第i个块的算子矩阵；因此，数据重构项EX,EY具体表示为：S14：重新构造耦合项Ecoupled，具体为：在第i个位置，X的第j类和Y的第k类具有以下相关性：通过耦合训练得到的投影矩阵TiX,TiY使成对的局部耦合卷积稀疏向量或者具有最大的相关性，故耦合项表达为Ecoupled：引入参数ki,j,k∈(-1,1)的目的是将耦合项求最大化问题转化为求最小化问题.进一步简化计算量，ki,j,k通过标签数据人为设定，数据越匹配ki,j,k越接近于1，反之接近于-1；S15：根据步骤S11-S14，计算总目标函数，具体表达式为：其中，所述总目标函数即为基于耦合卷积稀疏编码的跨模态图像匹配算法模型。其中，所述步骤S2具体为：设定滤波器的维度和个数；设置两种模态训练集的样本数量并预处理得到训练集X和训练集Y。其中，所述步骤S3具体包括以下步骤：S31：利用SPAMS工具包结合步骤2的训练集X、训练集Y初始化局部字典DXL,DYL；S32：利用SPAMS工具包结合步骤2的训练集X、训练集Y以及步骤S31得到的局部字典DXL,DYL初始化局部稀疏向量和S33：根据步骤S2滤波器的维度和个数初始化投影矩阵TX,TY，完成参数的设置。其中，所述步骤S4具体包括以下步骤：S41：更新局部字典DXL,DYL：设局部稀疏向量和投影矩阵TX,TY为常量，更新局部字典DXL,DYL，在更新局部字典DXL的时候假设局部字典DYL，为常量，同理更新局部字典DYL，的时候假设局部字典DXL为常量，因此更新局部字典DXL,DYL的优化问题可以转为求解以下最小化问题：对于X，根据公式(10)在每一次迭代的开始，局部字典DXL以公式(13)的方式更新，即：这是一个二次约束问题通过现有二次问题求解器可解；在每一次迭代期间，局部字典DXL的梯度计算表达为：其中RX是原始图像与重构图像之间的残差，Li表示在图像中所有没有重叠的局部稀疏向量的集合；同理可求解局部字典矩阵DYL；S42：更新局部稀疏向量保持局部字典DXL,DYL和投影矩阵TX,TY为常量，更新局部稀疏矩阵在更新局部稀疏矩阵的时候保持另一个局部稀疏矩阵为常量，同理更新局部稀疏矩阵的时候，保持局部稀疏矩阵为常量不变；对于X，根据公式(10)依次更新第i个局部稀疏向量的问题转化为以下最小化问题求解：在每一次迭代中，为了保持分母一致，所以联合规范化为单位1，那么公式(15)最后一项的分子可以写为以下表达式...

【技术保护点】
1.一种基于耦合卷积稀疏编码的跨模态图像匹配方法，其特征在于，包括以下步骤：/nS1：构建基于耦合卷积稀疏编码的跨模态图像匹配算法模型；/nS2：设定滤波器的维度和个数；设置两种模态训练集的样本数量并预处理得到训练集X和训练集Y；/nS3：根据维度和个数初始化投影矩阵T

【技术特征摘要】
1.一种基于耦合卷积稀疏编码的跨模态图像匹配方法，其特征在于，包括以下步骤：
S1：构建基于耦合卷积稀疏编码的跨模态图像匹配算法模型；
S2：设定滤波器的维度和个数；设置两种模态训练集的样本数量并预处理得到训练集X和训练集Y；
S3：根据维度和个数初始化投影矩阵TX,TY；根据训练集X、训练集Y初始化局部字典DXL,DYL，结合训练集X、训练集Y以及局部字典DXL,DYL初始化局部稀疏向量和完成参数的设置；
S4：通过不断交叉迭代的方式优化更新参数DXL,DYL,TX,TY，每更新一对参数时，设定另外两对参数为常数，即保持上一次迭代的结果；每更新一对参数期间，其中一个参数设定为常数，更新另一个参数；以此类推直到达到设定的迭代次数或者模型收敛则停止迭代，输出训练完成的算法模型；
S5：根据算法模型，结合KNN算法计算模型质量，完成跨模态图像的匹配。


2.根据权利要求1所述的一种基于耦合卷积稀疏编码的跨模态图像匹配方法，其特征在于，所述步骤S1具体包括以下步骤：
S11：假设模态数据集为X，第二种模态数据集为Y，X和Y具有以下形式：
X＝{X1,X2,X3,...XC}(1)
Y＝{Y1,Y2,Y3,...YC}(2)
其中，XC、YC是X和Y第C类的子集，C是总类数，XC、YC具有以下表达形式：






其中，|XC|、|YC|是第C类子集的总样本数，因此，两种模态的数据集X和Y的矩阵形式表达为其中NX、NY是两种模态数据集的总样本数，dX、dY是两种模态数据集每一张样本的维度；
S12：通过耦合的方式求解跨模态图像匹配，将问题转化为以下表达式：
argmin(Ex+Ey+Ecoupled)(5)
其中EX、EY是两种模态数据集的重构项，Ecoupled是两种模态数据集共同的耦合项；
S13：设dX＝dY＝d，第一种模态数据集X由一组特征映射与m个长度为n≤dx的滤波器卷积所重构，即重构图像局部字典DXL由m个长度为n的滤波器组成，全局字典DX由局部字典DXL所构造，其中，局部字典第i列所构成的移动表示第i个滤波器与特征映射卷积的结果，全局稀疏向量MX是所有特征映射的交错级联，而全局稀疏向量MX分解为dX个不重叠的m维局部稀疏向量UX是包含局部字典DXL的条状字典；重构图像又可以表示为其中是提取第i个块的算子矩阵；因此，数据重构项EX,EY具体表示为：






S14：重新构造耦合项Ecoupled，具体为：
在第i个位置，X的第j类和Y的第k类具有以下相关性：



通过耦合训练得到的投影矩阵TiX,TiY使成对的局部耦合卷积稀疏向量或者具有最大的相关性，故耦合项表达为Ecoupled：



引入参数ki,j,k∈(-1,1)的目的是将耦合项求最大化问题转化为求最小化问题.进一步简化计算量，ki,j,k通过标签数据人为设定，数据越匹配ki,j,k越接近于1，反之接近于-1；
S15：根据步骤S11-S14，计算总目标函数，具体表达式为：



其中，所述总目标函数即为基于耦合卷积稀疏编码的跨模态图像匹配算法模型。


3.根据权利要求2所述的一种基于耦合卷积稀疏编码的跨模态图像匹配方法，其特征在于，所述步骤S2具体为：设定滤波器的维度和个数；设置两种模态训练集的样本数量并预处理得到训练集X和训练集Y。

【专利技术属性】
技术研发人员：陈高，王翠瑜，周清峰，
申请(专利权)人：东莞理工学院，深圳大学，
类型：发明
国别省市：广东;44