一种提取整合图像内部与图像之间特征关系的方法和装置制造方法及图纸

本发明专利技术公开了一种提取整合图像内部与图像之间特征关系的方法及装置。该方法包括如下步骤：使用内部关系网络表征图像内部的特征关系，使用交叉关系网络表征图像之间的特征关系；其中，将内部关系网络划分为空间关系模块和通道关系模块；将图像序列分别输入空间关系模块、通道关系模块和交叉关系网络；在空间关系模块、通道关系模块和交叉关系网络中，图像序列依次经过压缩层、基于注意力的关系模块层和恢复层的处理之后，进入批量规范化层以加速卷积神经网络的收敛速度；使用卷积融合函数，将空间关系模块、通道关系模块和交叉关系网络的输出融合在一起，作为输出结果。利用本发明专利技术，可以增强卷积神经网络在抽象视觉推理任务中的推理能力。的推理能力。的推理能力。

【技术实现步骤摘要】
一种提取整合图像内部与图像之间特征关系的方法和装置


[0001]本专利技术涉及一种提取整合图像内部与图像之间特征关系的方法，同时也涉及采用该方法的装置，属于计算机视觉


技术介绍

[0002]近年来，抽象视觉推理作为人类智能的关键组成部分，在计算机视觉
中得到了广泛的研究。目前，一个非常有效的人类视觉推理能力测试已经开发出来，被称为瑞文测试(Raven Progressive Matrices，简写为RPM)。瑞文测试直接位于人类智能中心，是对抽象和结构推理能力的判断，并且描述了高级智能的定义特征，即流体智能。为了突破当前视觉推理能力的极限，UCLA的朱松纯团队还基于瑞文测试构建了关系和类比视觉推理数据集RAVEN。
[0003]随着各种卷积神经网络(CNN)的出现，人们试图测量机器的横向思维和流体智能。卷积神经网络的最新进展显示了抽象视觉推理的优良性能。为了发展机器的抽象化视觉感知能力，有两个基础问题需要解决：一是图像的识别表示，二是图像内部规律的发现。尽管现有的关系网络(Relation Networks，简写为RN)建模方法已经显著提高了抽象视觉推理的性能，但是当前的关系网络建模仅关注于各种图像的外部交叉关系。由于缺乏内部关系建模，神经网络无法准确地提取图像特征表示。同时，基于关系网络的建模方法仅考虑了任意两个图像的简单线性关系，而忽略了高阶非线性关系。作为一种潜在的解决方案，图神经网络(GNN)的特点在于可以有效建模非欧几里得数据结构的关系。此外，神经网络在非线性关系建模方面的出色表现，也广泛应用于最近的计算机视觉任务。但是，由于缺少有效的关系建模，视觉推理过程产生了极大的性能损失。
[0004]上海科技大学的Shipeng Yan等人在论文《A dual attention network with semantic embedding for few
‑
shot learning(用于小样本学习的语义嵌入的双重注意力网络)(刊载于Proc.AAAI Conf.Artif.Intell.，vol.33，pp.9079
–
9086.2019年7月)中，提出了一种新的元学习方法，用于基于两个简单的注意力机制的少数照片分类：一个是空间注意力来定位相关的物体区域，另一个是任务注意力来选择类似的训练数据进行标签预测。该论文通过一个双重注意力网络实现上述方法，并设计了一个语义感知的元学习损失以端到端的方式训练元学习者网络。

技术实现思路

[0005]本专利技术所要解决的首要技术问题在于提供一种提取整合图像内部与图像之间特征关系的方法。
[0006]本专利技术所要解决的另一技术问题在于一种提取整合图像内部与图像之间特征关系的装置。
[0007]为了实现上述目的，本专利技术采用下述的技术方案：
[0008]根据本专利技术实施例提供的第一方面，提供一种提取整合图像内部与图像之间特征
关系的方法，包括如下步骤：
[0009]使用内部关系网络表征图像内部的特征关系，使用交叉关系网络表征图像之间的特征关系；其中，将所述内部关系网络划分为空间关系模块和通道关系模块；
[0010]将图像序列分别输入所述空间关系模块、所述通道关系模块和所述交叉关系网络；在所述空间关系模块、所述通道关系模块和所述交叉关系网络中，所述图像序列依次经过压缩层、基于注意力的关系模块层和恢复层的处理之后，进入批量规范化层以加速卷积神经网络的收敛速度；
[0011]使用卷积融合函数，将所述空间关系模块、所述通道关系模块和所述交叉关系网络的输出融合在一起，作为输出结果。
[0012]其中较优地，所述空间关系模块中，将每个图像视为构建图形的节点，根据任意两个节点的视觉相似度构建图神经网络，完成行/列像素关系的建模。
[0013]其中较优地，所述通道关系模块中，将每个通道视为构建图形的节点。
[0014]其中较优地，将所有输入图像压缩为一个，然后使用嵌入了全局信息的特征图来学习节点的特征相似度；利用所述特征相似度，可以通过图神经网络更新节点。
[0015]其中较优地，所述压缩层由通道维数压缩函数实现。
[0016]其中较优地，所述恢复层由通道维数恢复函数实现。
[0017]其中较优地，所述基于注意力的关系模块层通过如下函数实现：
[0018][0019][0020][0021]其中，w
i
是一个可学习的参数，用于增强节点的自权重，N
i
是的相邻节点，作为边，作为和的连接关系，是可学习的参数矩阵，用来降低计算复杂度与提高的学习能力。
[0022]其中较优地，所述卷积融合函数是使用1*1的2D卷积的融合函数。
[0023]其中较优地，所述方法构建的内部和交叉关系网络模型嵌入到卷积神经网络中，用于完成视觉推理融合的部分。
[0024]根据本专利技术实施例提供的第二方面，提供一种提取整合图像内部与图像之间特征关系的，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
[0025]使用内部关系网络表征图像内部的特征关系，使用交叉关系网络表征图像之间的特征关系；其中，将所述内部关系网络划分为空间关系模块和通道关系模块；
[0026]将图像序列分别输入所述空间关系模块、所述通道关系模块和所述交叉关系网络；在所述空间关系模块、所述通道关系模块和所述交叉关系网络中，所述图像序列依次经过压缩层、基于注意力的关系模块层和恢复层的处理之后，进入批量规范化层以加速卷积
神经网络的收敛速度；
[0027]使用卷积融合函数，将所述空间关系模块、所述通道关系模块和所述交叉关系网络的输出融合在一起，作为输出结果。
[0028]与现有技术相比较，本专利技术所提供的方法通过构建ICRN模型，使用内部关系网络来增强图像内部的像素级对象关系建模能力，以增强对图像中符号的认知能力；同时使用交叉关系网络建立不同图像之间的关系来寻找其中的规律，从而增强规则推理建模能力。该ICRN模型可以嵌入到常见的卷积神经网络中，以增强卷积神经网络在抽象视觉推理任务中的推理能力。
附图说明
[0029]图1为本专利技术提供的提取整合图像内部与图像之间特征关系的方法的逻辑框架图；
[0030]图2为本专利技术提供的提取整合图像内部与图像之间特征关系的方法的数据流向图；
[0031]图3为本专利技术提供的提取整合图像内部与图像之间特征关系的装置结构图；
[0032]图4为ICRN模型在RAVEN数据集的所有类别上，平均融合和卷积融合的效果比较图。
具体实施方式
[0033]下面结合附图和具体实施例对本专利技术的
技术实现思路
进行详细具体的说明。
[0034]前已述及，卷积神经网络的最新进展显示了抽象视觉推理的优良性能。但是，由于缺少有效的关系建模，视觉推理有很大的性能损失。为了解决上述问题，本专利技术首先提供一种提取整合图像内部与图像之间特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提取整合图像内部与图像之间特征关系的方法，其特征在于包括如下步骤：使用内部关系网络表征图像内部的特征关系，使用交叉关系网络表征图像之间的特征关系；其中，将所述内部关系网络划分为空间关系模块和通道关系模块；将图像序列分别输入所述空间关系模块、所述通道关系模块和所述交叉关系网络；在所述空间关系模块、所述通道关系模块和所述交叉关系网络中，所述图像序列依次经过压缩层、基于注意力的关系模块层和恢复层的处理之后，进入批量规范化层以加速卷积神经网络的收敛速度；使用卷积融合函数，将所述空间关系模块、所述通道关系模块和所述交叉关系网络的输出融合在一起，作为输出结果。2.如权利要求1所述的方法，其特征在于：所述空间关系模块中，将每个图像视为构建图形的节点，根据任意两个节点的视觉相似度构建图神经网络，完成行/列像素关系的建模。3.如权利要求1所述的方法，其特征在于：所述通道关系模块中，将每个通道视为构建图形的节点。4.如权利要求1所述的方法，其特征在于：将所有输入图像压缩为一个，然后使用嵌入了全局信息的特征图来学习节点的特征相似度；利用所述特征相似度，可以通过图神经网络更新节点。5.如权利要求1所述的方法，其特征在于：所述压缩层由通道维数压缩函数实现。6.如权利要求1所述的方法，其特征在于：所述恢复层由通道维数恢复函数实现。7.如权利要求1所述的方法，其特征在于：所述基于注意力的关系模块层通...

【专利技术属性】
技术研发人员：李俊，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：