应用于卷积神经网络的数据处理方法、装置及设备制造方法及图纸

本申请提供一种应用于卷积神经网络的数据处理方法、装置及设备，该方法包括：对接收到的当前层的输入特征数据进行卷积计算，得到当前层的初始输出特征数据。向通道注意力结构输入该输入特征数据，以使其对该输入特征数据执行预定处理，输出通道相关性矩阵，并将初始输出特征数据与通道相关性矩阵的相乘结果，作为当前层的最终输出特征数据。本申请的方法，在卷积神经网络中的至少一层设置通道注意力结构，采用获得的通道相关性矩阵对空间特征进行校准，由于通道相关性矩阵可以表征当前层的通道在不同的共享卷积核下变换结果的相似性程度，因此可以精准度量通道重要性，从而可以对空间特征进行准确校准。空间特征进行准确校准。空间特征进行准确校准。

【技术实现步骤摘要】
应用于卷积神经网络的数据处理方法、装置及设备


[0001]本申请涉及计算机视觉系统识别
，尤其涉及一种应用于卷积神经网络的数据处理方法、装置及设备。

技术介绍

[0002]卷积神经网络(Convolutional Neural Networks,简称CNN)是一类包含卷积计算且具有深度结构的神经网络。其在视觉任务中表现出了巨大的性能增益，因此，对其特征表示的增强一直是研究的重点。其中，通道注意是具有代表性的工作之一，包括特征聚合和描述符变换。
[0003]目前，通常利用全局平均池、最大池化、二阶池化或轴方向分离池化作为空间特征聚合，并采用串行全连接层、行卷积或一维卷积作为描述符变换。
[0004]但是，上述方法仅通过信息整合(即空间维度上的池化和通道维度上的加权和)来建模通道重要性，对通道重要性的度量不够精确，从而无法对空间特征进行准确校准。

技术实现思路

[0005]本申请提供一种应用于卷积神经网络的数据处理方法、装置及设备，用以获得准确的特征数据。
[0006]第一方面，本申请实施例提供一种应用于卷积神经网络的数据处理方法，所述卷积神经网络中的至少一层设有通道注意力结构；所述数据处理方法包括：
[0007]接收当前层的输入特征数据，并对所述的输入特征数据进行卷积计算，得到当前层的初始输出特征数据；
[0008]若当前层设有通道注意力结构，则向所述通道注意力结构输入所述输入特征数据，以获得通道相关性矩阵；其中，所述通道注意力结构通过对所述输入特征数据执行预定处理，输出所述通道相关性矩阵；其中，所述通道相关性矩阵表征当前层的通道在不同的共享卷积核下变换结果的相似性程度；
[0009]将所述初始输出特征数据与所述通道相关性矩阵的相乘结果，作为当前层的最终输出特征数据。
[0010]进一步地，如上所述的方法，所述通道注意力结构用于执行以下处理：
[0011]针对每个共享卷积核，计算所述共享卷积核与当前层中各通道的输入特征数据的卷积结果；
[0012]对不同共享卷积核对应的卷积结果进行点积计算，获得所述通道相关性矩阵。
[0013]进一步地，如上所述的方法，所述针对每个共享卷积核，计算所述共享卷积核与当前层中各通道的输入特征数据的卷积结果之后，还包括：
[0014]针对每个共享卷积核，计算所述共享卷积核与当前层通道的输入特征数据的卷积结果，获得不同共享卷积核对应的特征图组；
[0015]分别将不同共享卷积核对应的特征图组在空间维度上展开，获得不同共享卷积核
对应的中间结果；
[0016]所述对不同共享卷积核对应的卷积结果进行点积计算，获得所述通道相关性矩阵，包括：
[0017]对不同共享卷积核对应的中间结果进行点积计算，获得点积计算结果，并对所述点积计算结果在空间维度上折叠，获得所述通道相关性矩阵。
[0018]进一步地，如上所述的方法，所述共享卷积核的数量为三个；所述对不同共享卷积核对应的中间结果进行点积计算，获得点积计算结果，包括：
[0019]确定所述不同共享卷积核中的第一共享卷积核和第二共享卷积核；
[0020]计算所述第一共享卷积核对应的中间结果和所述第二共享卷积核对应的中间结果的点积，获得第一点积结果；
[0021]基于Softmax函数，对所述第一点积结果进行处理，获得相关系数；
[0022]计算所述相关系数与第三共享卷积核对应的中间结果的点积，获得第二点积结果；
[0023]基于Sigmoid函数，对所述第二点积结果进行处理，获得所述点积计算结果。
[0024]进一步地，如上所述的方法，将所述初始输出特征数据与所述通道相关性矩阵相乘之前，还包括：
[0025]根据初始输出特征数据对应的矩阵尺寸，对通道相关性矩阵进行上采样；上采样后的通道相关性矩阵与初始输出特征数据的尺寸一致。
[0026]进一步地，如上所述的方法，所述共享卷积核的步长不大于所述输入特征数据的宽度；其中，所述输入特征数据的宽度小于或等于所述输入特征数据的长度。
[0027]进一步地，如上所述的方法，所述共享卷积核的深度不大于所述输入特征数据的深度。
[0028]进一步地，如上所述的方法，所述卷积神经网络中设有通道注意力结构的层对应的卷积核的维度大于1。
[0029]第二方面，本申请实施例提供一种应用于卷积神经网络的数据处理装置，所述卷积神经网络中的至少一层设有通道注意力结构；所述数据处理装置包括：
[0030]计算模块，用于接收当前层的输入特征数据，并对所述的输入特征数据进行卷积计算，得到当前层的初始输出特征数据；
[0031]输入模块，用于若当前层设有通道注意力结构，则向所述通道注意力结构输入所述输入特征数据，以获得通道相关性矩阵；其中，所述通道注意力结构通过对所述输入特征数据执行预定处理，输出所述通道相关性矩阵；其中，所述通道相关性矩阵表征当前层的通道在不同的共享卷积核下变换结果的相似性程度；
[0032]处理模块，用于将所述初始输出特征数据与所述通道相关性矩阵的相乘结果，作为当前层的最终输出特征数据。
[0033]第三方面，本申请实施例提供一种电子设备，包括：存储器，处理器；
[0034]存储器：用于存储所述处理器可执行指令的存储器；
[0035]其中，所述处理器用于调用所述存储器中的程序指令执行如第一方面所述的应用于卷积神经网络的数据处理方法。
[0036]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介
质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的应用于卷积神经网络的数据处理方法。
[0037]第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的应用于卷积神经网络的数据处理方法。
[0038]本申请提供一种应用于卷积神经网络的数据处理方法、装置及设备，对接收到的当前层的输入特征数据进行卷积计算，得到当前层的初始输出特征数据。向通道注意力结构输入该输入特征数据，以使其对该输入特征数据执行预定处理，输出通道相关性矩阵，并将初始输出特征数据与通道相关性矩阵的相乘结果，作为当前层的最终输出特征数据。也就是说，本申请通过在卷积神经网络中的至少一层设置通道注意力结构，获得通道相关性矩阵，并将初始输出特征数据与通道相关性矩阵相乘，也即采用通道相关性矩阵对空间特征进行校准，由于通道相关性矩阵可以表征当前层的通道在不同的共享卷积核下变换结果的相似性程度，因此可以精准度量通道重要性，从而可以对空间特征进行准确校准。
附图说明
[0039]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0040]图1为本申请实施例提供的应用于卷积神经网络的数据处理方法的流程图；
...

【技术保护点】

【技术特征摘要】
1.一种应用于卷积神经网络的数据处理方法，其特征在于，所述卷积神经网络中的至少一层设有通道注意力结构；所述数据处理方法包括：接收当前层的输入特征数据，并对所述的输入特征数据进行卷积计算，得到当前层的初始输出特征数据；若当前层设有通道注意力结构，则向所述通道注意力结构输入所述输入特征数据，以获得通道相关性矩阵；其中，所述通道注意力结构通过对所述输入特征数据执行预定处理，输出所述通道相关性矩阵；其中，所述通道相关性矩阵表征当前层的通道在不同的共享卷积核下变换结果的相似性程度；将所述初始输出特征数据与所述通道相关性矩阵的相乘结果，作为当前层的最终输出特征数据。2.根据权利要求1所述的方法，其特征在于，所述通道注意力结构用于执行以下处理：针对每个共享卷积核，计算所述共享卷积核与当前层通道的输入特征数据的卷积结果；对不同共享卷积核对应的卷积结果进行点积计算，获得所述通道相关性矩阵。3.根据权利要求2所述的方法，其特征在于，所述针对每个共享卷积核，计算所述共享卷积核与当前层通道的输入特征数据的卷积结果之后，还包括：针对每个共享卷积核，计算所述共享卷积核与当前层通道的输入特征数据的卷积结果，获得不同共享卷积核对应的特征图组；分别将不同共享卷积核对应的特征图组在空间维度上展开，获得不同共享卷积核对应的中间结果；所述对不同共享卷积核对应的卷积结果进行点积计算，获得所述通道相关性矩阵，包括：对不同共享卷积核对应的中间结果进行点积计算，获得点积计算结果，并对所述点积计算结果在空间维度上折叠，获得所述通道相关性矩阵。4.根据权利要求3所述的方法，其特征在于，所述共享卷积核的数量为三个；所述对不同共享卷积核对应的中间结果进行点积计算，获得点积计算结果，包括：确定所述不同共享卷积核中的第一共享卷积核和第二共享卷积核；计算所述第一共享卷积核对应的中间结果和所述第二共享卷积核对应的中间结果的点积，获得第一点积结果；基于Softmax函数，对所述第一点积结果进行处理，获得相关系数；计算所述相关系数与第三共享卷积核对应的中间结果的点积，获得第二点积结果；基于Sigmoid函数，对所述第二点积结果进行处理，获得所述点积计算结果。5.根据...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：