【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于白化矩阵的双线性池化方法及装置。
技术介绍
1、双线性池化是一个无参数(non-parametric)的池化层，用于合并深度网络输出的局部特征矩阵。双线性池化作为一个特征融合技术，整合深度学习网络(如卷积神经网络)分类层前的局部特征矩阵，并输出关于整个图像的全局特征表示。目前针对双线性池化的主要改进有两个：紧凑型双线性池化和矩阵开方归一化。然而将这两个改进有效结合并不容易，相关技术的技术有：
2、mpncov在双线性池化前增加了核子大小为1*1的卷积层，从而通过缩小局部特征矩阵的维度的方式减小分类结果的大小，然后使用矩阵开方归一化。这种技术的问题是需要对整个深度网络在大型数据集ilsvrc2012进行预训练，实现成本较高。
3、monet设计了一个新的归一化技术：即在局部特征矩阵上进行归一化，归一化后的结果进行紧凑型双线性池化。然而该技术需要奇异值分解(singular valuedecomposition)，而后者运算速度很慢。
4、ipccp实现了两个改进技术的有效结合，然而当局部特征矩阵的数量大于局部特征矩阵的维度时，运行速度将会拖慢。其次，该技术需要对每一个紧凑型池化技术进行修改适配。所以无法直接使用现成的紧凑型池化技术是它的缺点之一。
5、srm+也实现了两个改进技术的有效融合，然而当局部特征矩阵的维度大于局部特征矩阵的数量时，运行速度将会拖慢。其次，该技术是专门为移动随机麦克劳林紧凑型池化设计的，因此该结合方法无法与其他紧凑型池化
6、dropcov提出了一种新型dropout技术，可代替矩阵开方归一化，提升了运算速度，然而这种技术需要对整个深度网络在大型数据集ilsvrc2012上进行预训练，实现成本较高。而且对下游分类任务，如细颗粒度图像分类的效果并没有在相关论文中进一步展示。
7、psrm(pseudo square rooted matrix)：与monet类似，设计了一个在局部特征矩阵上归一化的技术，区别是不含有奇异值分解，而使用了速度更快的牛顿迭代法(newtoniterations)。然而该技术的问题是使用了两次矩阵开放归一化，相比而言，将要介绍的本专利技术仅使用一次矩阵开放归一化，运算效率更高。
8、psrm尽管相较于之前的其他方法有许多的优势，例如与大多数紧凑型双线性池化技术匹配，利用高效率的牛顿迭代方法进行开方矩阵归一化，且当n>>d或者n<<d的情况下都可以保持较高的计算速度，n表示特征矢量数量，d表示特征矢量维度。然而其仍存在一定的局限性：无论是n>>d或者n<<d，需要使用两次牛顿迭代法。尽管牛顿迭代法相比于奇异值分解大大提升了矩阵开方归一化的速度，但是其本身具有很高的计算复杂度(计算复杂度为o(d3)，其中d表示为特征维度)，是影响双线性池化运算速度的主要因素之一。
9、在现有技术中，双线性池化的方法，仅psrm采用两次牛顿迭代法，其他方法有些要重新在大数据集训练网络，有些仅在特征矢量数量和特征矢量的一种关系下速度比较快，有些使用了效率较慢的奇异值分解。
技术实现思路
1、本专利技术通过提供一种基于白化矩阵的双线性池化方法及装置，解决了现有技术中连续使用两次牛顿迭代法，造成的计算速度慢，算力使用较多的问题，实现了仅使用了一次牛顿迭代法，在保持分类效果的前提下，计算速度更快。
2、第一方面，本专利技术提供了一种基于白化矩阵的双线性池化方法，该方法包括：
3、获取初始图像；
4、将所述初始图像输入至双线性池化模型中，得到池化结果；其中，所述双线性池化模型具体包括：局部特征提取模块、全局池化模块以及分类模块；所述局部特征提取模块用于对所述初始图像进行局部特征提取，得到与所述初始图像对应的局部特征矩阵；所述全局池化模块用于对所述局部特征矩阵进行归纳总结，得到与所述初始图像对应的全局特征；所述分类模块用于利用所述全局特征，对所述原始图像进行分类，得到所述分类结果；
5、输出所述分类结果。
6、结合第一方面，在一种可能的实现方式中，所述全局池化模块用于对所述局部特征矩阵进行归纳总结，得到与所述初始图像对应的全局特征，具体包括：
7、利用所述局部特征矩阵，得到特征维度和特征矢量数量；
8、判断所述特征维度和所述特征矢量数量的大小，得到判断结果；
9、根据所述判断结果，计算所述全局特征。
10、结合第一方面，在一种可能的实现方式中，所述根据所述判断结果，计算所述全局特征，具体包括：
11、若所述特征矢量数量大于所述特征维度，计算第一特征矩阵；
12、若所述特征维度大于所述特征矢量数量，计算第二特征矩阵；
13、利用牛顿迭代法和所述第一矩阵或所述第二矩阵，计算白化矩阵；
14、利用所述白化矩阵和所述局部特征矩阵的转置矩阵计算得到所述全局特征。
15、结合第一方面，在一种可能的实现方式中，所述第一特征矩阵的具体计算公式为：
16、b＝xtx
17、其中，b表示第一特征矩阵；x表示局部特征矩阵；xt表示局部特征矩阵的转置。
18、结合第一方面，在一种可能的实现方式中，所述第二特征矩阵的具体计算公式为：
19、a＝xxt
20、其中，a表示第一特征矩阵；x表示局部特征矩阵；xt表示局部特征矩阵的转置。
21、第二方面，本专利技术提供了一种基于白化矩阵的双线性池化装置，该装置包括：
22、输入模块，用于获取初始图像；
23、池化模块，用于将所述初始图像输入至双线性池化模型中，得到分类结果；其中，所述双线性池化模型具体包括：局部特征提取模块、全局池化模块以及分类模块；所述局部特征提取模块用于对所述初始图像进行局部特征提取，得到与所述初始图像对应的局部特征矩阵；所述全局池化模块用于对所述局部特征矩阵进行归纳总结，得到与所述初始图像对应的全局特征；所述分类模块用于利用所述全局特征，对所述原始图像进行分类，得到所述分类结果；
24、输出模块，用于输出所述分类结果。
25、第三方面，本专利技术提供了一种基于白化矩阵的双线性池化服务器，该服务器包括：存储器和处理器；
26、所述存储器用于储存计算机可执行指令；
27、所述处理器用于执行所述计算机可执行指令，以实现基于白化矩阵的双线性池化方法。
28、第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质有可执行指令，计算机执行所述可执行指令时能够实现基于白化矩阵的双线性池化方法。
29、本专利技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
30、(1)本专利技术改进了现有技术中主干网络，在计算时，改进后的网络能够在保持分类效果的前本文档来自技高网...
【技术保护点】
1.一种基于白化矩阵的双线性池化方法，其特征在于，包括：
2.根据权利要求1所述的基于白化矩阵的双线性池化方法，其特征在于，所述全局池化模块用于对所述局部特征矩阵进行归纳总结，得到与所述初始图像对应的全局特征，具体包括：
3.根据权利要求2所述的基于白化矩阵的双线性池化方法，其特征在于，所述根据所述判断结果，计算所述全局特征，具体包括：
4.根据权利要求3所述的基于白化矩阵的双线性池化方法，其特征在于，所述第一特征矩阵的具体计算公式为：
5.根据权利要求3所述的基于白化矩阵的双线性池化方法，其特征在于，所述第二特征矩阵的具体计算公式为：
6.一种基于白化矩阵的双线性池化装置，其特征在于，包括：
7.一种基于白化矩阵的双线性池化服务器，其特征在于，包括存储器和处理器；
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质有可执行指令，计算机执行所述可执行指令时能够实现如权利要求1-5任一项所述的基于白化矩阵的双线性池化方法。
【技术特征摘要】
1.一种基于白化矩阵的双线性池化方法，其特征在于，包括：
2.根据权利要求1所述的基于白化矩阵的双线性池化方法，其特征在于，所述全局池化模块用于对所述局部特征矩阵进行归纳总结，得到与所述初始图像对应的全局特征，具体包括：
3.根据权利要求2所述的基于白化矩阵的双线性池化方法，其特征在于，所述根据所述判断结果，计算所述全局特征，具体包括：
4.根据权利要求3所述的基于白化矩阵的双线性池化方法，其特征在于，所述第一特征矩阵的具体...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。