神经网络系统以及图像信号、数据处理的方法技术方案

本申请提供一种基于神经网络系统的图像信号处理方法、装置,采用分级空间注意力层的反向连接方式(即与神经网络中卷积层间信号传播方向相反的方向)，每个注意力层都可以提取其输入特征图尺度上的关键点信息，结合多个注意力层即可让网络可以更好的同时利用图像的浅层特征(基本像素特征)和深层特征(语义特征)，提取不同尺度的关键点以及对应的局部特征，无需进行多次图片尺度缩放并进行多次前馈。

【技术实现步骤摘要】
神经网络系统以及图像信号、数据处理的方法
本专利技术涉及神经网络
，尤其涉及一种神经网络系统以及图像信号、数据处理方法。
技术介绍
人工智能和机器学习已经广泛地应用在计算机图像处理领域，智能地进行图像分类、匹配检索、目标识别以及内容理解等，其中图像检索是常常面对的问题。例如，现有的绘本阅读机器人提供绘本阅读功能，该功能的最前端入口为调用摄像头对视野范围内的绘本书页做图像检索，即和数据库中的书页图片做匹配以寻找书页的母本。由于现有的绘本阅读机器人在进行图像检索任务时，对图片特征提取的步骤多是基于传统尺度不变特征转换(Scale-invariantfeaturetransform,SIFT)的方案，相对缺乏对图像语义信息的利用，检索结果缺乏语义一致性。
技术实现思路
为了解决上述问题，本专利技术提供一种神经网络系统以及图像信号、数据处理方法，利用多级注意力层的机制使得神经网络系统可以更好的同时利用图像的浅层特征(基本像素特征)和深层特征(语义特征)，提取不同尺度的关键点以及对应的局部特征，无需进行多次图片尺本文档来自技高网...

【技术保护点】
1.一种神经网络系统，其特征在于，包括：/n多级第一神经网络层和多级第二神经网络层；/n所述多级第一神经网络层之间连接，所述多级第二神经网络层之间连接，每级第一神经网络层与对应级的第二神经网络层连接；/n每级第一神经网络层，用于对输入信号进行神经网络处理得到对应的当前级第一特征图，将所述当前级的第一特征图发送给相邻的下一级第一神经网络层，以及将所述当前级的第一特征图发送给与其连接的对应级的第二神经网络层；/n其中，当前级为第一级，则所述输入信号为输入层输入的输入信号，若当前级不是第一级，则所述输入信号为上一级第一神经网络层输出的第一特征图，即上一级的第一特征图；/n每级第二神经网络层，用于接收...

【技术特征摘要】
1.一种神经网络系统，其特征在于，包括：
多级第一神经网络层和多级第二神经网络层；
所述多级第一神经网络层之间连接，所述多级第二神经网络层之间连接，每级第一神经网络层与对应级的第二神经网络层连接；
每级第一神经网络层，用于对输入信号进行神经网络处理得到对应的当前级第一特征图，将所述当前级的第一特征图发送给相邻的下一级第一神经网络层，以及将所述当前级的第一特征图发送给与其连接的对应级的第二神经网络层；
其中，当前级为第一级，则所述输入信号为输入层输入的输入信号，若当前级不是第一级，则所述输入信号为上一级第一神经网络层输出的第一特征图，即上一级的第一特征图；
每级第二神经网络层，用于接收与其连接的对应级的第一神经网络层输出的所述当前级的第一特征图，以及接收相邻的上一级第二神经网络层输出的上一级的第二特征图，对所述当前级的第一特征图和上一级的第二特征图进行神经网络处理，得到当前级的第二特征图，并将所述当前级的第二特征图发送给相邻的下一级第二神经网络层。


2.根据权利要求1所述的系统，其特征在于：
所述第一神经网络层包括卷积层，所述第二神经网络层包括空间注意力层；
所述第一特征图包括卷积特征图，所述第二特征图包括空间特征图。


3.根据权利要求2所述的系统，其特征在于，包括：
N级卷积层和N级空间注意力层，其中，N大于等于2；
第K级卷积层分别与第K-1级卷积层和K+1级卷积层以及第K级空间注意力层连接，第K级空间注意力层分别与第K级卷积层，第K-1级空间注意力层和K+1级空间注意力层连接，其中，1≤K≤N-1；
第K级卷积层用于对输入信号进行卷积操作得到第K级卷积特征图，将所述第K级卷积特征图发送给第K级空间注意力层和第K+1级卷积层；
当K为1时，所述输入信号为输入层输入的输入信号，当K大于1时，则所述输入信号为第K-1级卷积层卷积操作后输出的特征图，即第K-1级卷积特征图；
第K级空间注意力层用于对第K级卷积特征图和第K+1级注意力特征图进行空间注意力特征提取后输出第K级空间特征图，并将第K级空间特征图发送给第K-1级空间注意力层；
其中，第K级卷积特征图为第K级卷积层输出的特征图，第K+1级空间特征图为第K+1级空间注意力层输出的特征图；
其中，K越小，则第K级卷积特征图包括基本要素信息，K越大，则第K级卷积特征图包括语义要素信息；
所述空间特征图包括不同尺度的关键点信息。


4.根据权利要求3所述的系统，其特征在于：
第N级空间注意力层分别与第N级卷积层和第N-1级空间注意力层连接，对第N级卷积层输出的第N卷积特征图进行空间注意力特征提取后输出第N级空间特征图，并将第N级空间特征图发送给第N-1级空间注意力层。


5.根据权利要求3所述的系统，其特征在于：
所述空间注意力层，还用于采样第K+1级空间注意力层输出的特征图，即第K+1级空间特征图，利用集连操作将第K+1级空间特征图和第K级卷积特征图合并为一个通道数为2的特征图，对所述通道数为2的特征图进行信号压缩，将通道数压缩为1的特征图，输出第K级空间特征图。


6.根据权利要求3所述的系统，其特征在于，还包括：N级通道特征注意力层；
每一级通道特征注意力层与其对应级的卷积层连接；用于对其对应级的卷积层输出的卷积特征图进行局部特征编码后输出对应级的通道特征图；
所述通道特征图包括不同位置的局部特征信息。


7.根据权利要求3、4或6所述的系统，其特征在于，还包括：
乘法模块，用于分别对每一级的通道特征图和每一级的空间特征图进行元素相乘操作得到N级注意力特征图，所述注意力特征图包括不同尺度的关键点信息以及对应的局部特征信息；
输出层，用于对N级注意力特征图进行统一输出得到N级注意力特征图的特征向量。


8.根据权利要求6所述的系统，其特征在于，每一级通道特征注意力层包括转换层；
其中，每一级通道特征注意力层的转换层对其对应级的卷积特征图的特征维度进行注意力加权选取，将所述卷积特征图通道数压缩到D,D为一个指定的数值。


9.一种基于神经网络系统的图像信号处理的方法，其特征在于，包括：
对输入信号进行当前级第一神经网络处理，得到对应的当前级的第一特征图；
对当前级的第一特征图和上一级的第二特征图进行当前级第二神经网络处理得到对应的当前级的第二特征图；
对每一级第二神经网络处理得到的第二特征图进行统一输出得到多个第二特征图的特征向量；
其中，当前级为第一级，则所述输入信号为输入层输入的输入信号，若当前级不是第一级，则所述输入信号为上一级第一神经网络层处理输出的第一特征图，即上一级的第一特征图；
上一级的第二特征图为上一级第二神经网络层处理输出的第二特征图。


10.根据权利要求9所述的方法，其特征在于，其中
所述第一神经网络层包括进行卷积操作的卷积层，所述第二神经网络层包括进行空间注意力特征提取的空间注意力层；
所述第一特征图包括卷积特征图，所述第二特征图包括空间特征图。


11.根据权利要求10所述的方法，其特征在于，还包括：
对输入信号进行卷积操作输出第K级卷积特征图，1≤K≤N-1，N大于等于2，当K为1时，所述输入信号为输入层输入的输入信号，当K大于1时，则所述输入信号为第K-1级卷积操作后输出的卷积特征图；
对第K级卷积特征图和第K+1级空间特征图进行空间注意力特征提取后输出第K级空间特征图；其中，第K+1级空间特征图为第K+1级空间注意力层输出的特征图；
其中，K越小，则第K级卷积特征图包括基本要素信息，K越大，则第K级卷积特征图包括语义要素信息；
所述空间特征图包括不同尺度的关键点信息。


12.根据权利要求11所述的方法，其特征在于，还包括：
对第N级卷积特征图进行空间注意力特征提取得到第N级空间特征图，其中，第N级卷积特征图是对第N-1级卷积特征图进行卷积处理后输出的特征图。


13.根据权利要求11所述的方法，其特征在于，对第K级卷积特征图和第K+1级空间特征图进行空间注意力特征提取后输出第K级空间特征图，包括：
将第K+1级空间特征图和第K级卷积特征图进行集连操作合并为一个通道数为2的特征图；
对所述通道数为2的特征图进行信号压缩，将通道数压缩为1的特征图，输出第K级空间特征图。


14.根据权利要求11或12所述的方法，其特征在于，还包括：
对每一...

【专利技术属性】
技术研发人员：孙熠，陈永健，孙凯，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY