一种基于多域学习的人工神经网络设计方法技术

本发明专利技术提供了一种基于多域学习的人工神经网络设计方法，属于人工智能技术；该方法包含：根据目标任务，构建适合当前任务的神经网络作为主干网络；根据任务特点或实验结果，选择除时域/空域外一个或多个正交变换域作为多域学习的目标域；在网络中的特征提取部分构建多域学习结构；在选定的数据集上对上述网络进行训练，得到训练完成后的网络模型；以及，根据验证集对网络模型进行验证。该网络设计方法将图像特征转换到时域/空域以外的域中进行学习，解决了网络模型在单一域学习的成本问题，能够有效提升网络模型的效果，提高网络的泛化能力。能力。

【技术实现步骤摘要】
一种基于多域学习的人工神经网络设计方法


[0001]本专利技术属于人工智能
，特别提供一种基于多域学习的神经网络设计方法。

技术介绍

[0002]计算机视觉作为一门热门学科，在科学研究、社会发展、军事建设和工业生产等领域都得到了广泛的关注与应用。得益于计算机技术的迅猛发展，基于深度学习而非传统方法来处理视觉任务成为了可能。当前，在绝大部分领域，基于深度学习的方法均能达到和超越传统方法的性能。这也显示了深度学习技术的广阔前景。
[0003]目前基于深度学习的网络设计大多仅仅关注于在时域/空域的处理，通过在时域/空域的不同变换来获取、捕捉有用信息。人们认为神经网络的学习能力能够通过不断的叠加模块，提升深度，或是设计更加精巧的网络结构来进行提升，以达到设计目标。例如残差设计创造了数据跨层流动的通路，进而提升了网络的深度，注意力机制通过找到图像中更重要的区域并突出这些区域，使网络的学习能力得到加强，特征融合技术让网络能够同时使用不同尺度的语义信息，有效的提升了检测精度。但图像在其他变换域的信息却始终没有得到人们的重视。通过域变换，图像在时域/空域中一些不明显、不直观、难学习的信息可以更容易的被神经网络学习，在不同的域中交替或并行学习，能够有效提升网络的学习能力与泛化能力。

技术实现思路

[0004]为了解决现有技术中存在的问题，本专利技术提供了一种基于多域学习的神经网络设计方法，能够实现更好的网络性能。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：步骤一：根据目标任务，构建适合当前任务的神经网络作为主干网络；步骤二：根据任务特点或实验结果，选择除时域/空域外一个或多个正交变换域作为多域学习的目标域；步骤三：在网络中的特征提取部分构建多域学习结构；步骤四：在选定的数据集上对上述网络进行训练，得到训练完成后的网络模型；步骤五：根据验证集对网络模型进行验证。
[0006]根据本专利技术的一些实施例，所述根据目标任务，构建适合当前任务的神经网络作为主干网络，包括步骤：针对不同任务特点，包括但不限于任务类型、速度要求、准确度要求等，设计、选取合适的主干网络。
[0007]根据本专利技术的一些实施例，所述根据任务特点或实验效果，选择除时域/空域外一个或多个域作为多域学习的目标域，包括步骤：通过对数据集图像在不同域上的分析与实验的结果比较，选择若干非时域/空域的变换域作为多域学习的目标域。
[0008]根据本专利技术的一些实施例，所述在网络中的特征提取部分构建多域学习结构，包
括步骤：通过在网络基本模块前加入域变换层或反比变换层，构成变换模块与反域变换模块，其公式分别为：y=T(f(x))y=IT(f(x))其中，x表示特征图输入，y表示模块输出，f()表示网络基本模块函数，T()表示对输入特征图进行的域变换函数，IT()表示对输入特征图进行的反域变换函数；通过域变换模块与反域变换模块，将特征图转换到频域与时域/空域进行学习；采用串联、并联等方式使用两种模块，每个模块上在频域、时域/空域分别学习，两种模块交替学习，以此为基本架构，组成网络主要架构。
[0009]根据本专利技术的一些实施例，所述在选定的数据集上对上述网络进行训练，得到训练完成后的网络模型，包括步骤：在选定的数据集对模型进行训练；采用梯度下降法最小化损失函数，并对模型所有权重通过反向传播进行调节，获得训练完成后的分类模型。
[0010]根据本专利技术的一些实施例，所述根据验证集对网络模型进行验证，包括步骤：输入所述验证集的图片至训练完成后的所述目标检测模型中，获得所述验证集图片的推理结果。
[0011]将所述验证集图片的推理结果与验证集的标签进行比较，通过相关性能指标指标来评估模型的性能。
[0012]与现有技术相比，本专利技术具有以下有益效果：该网络设计方法将图像特征转换到时域/空域以外的域中进行学习，解决了网络模型在单一域学习的成本问题，通过在其他正交变换域学习在该域中更容易学习到的知识， 相比单一域学习，能够有效提升网络模型的效果，提高网络的泛化能力。
附图说明
[0013]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解。
[0014]图1为本专利技术的整体设计流程图。
[0015]图2为本专利技术一个实施例提供的整体结构示意图。
[0016]图3为本专利技术一个实施例提供的多域模块结构示意图。
具体实施方式
[0017]下面将结合附图，对本公开实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，在不冲突的情况下，本公开实施例及实施例中的特征可以相互组合。另外，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本公开的每个技术特征和整体技术方案，但其不能理解为对本公开保护范围的限制。
[0018]目前基于深度学习的网络设计大多仅仅关注于在时域/空域的处理，通过在时域/空域的不同变换来获取、捕捉有用信息。人们认为神经网络的学习能力能够通过不断的叠加模块，提升深度，或是设计更加精巧的网络结构来进行提升，以达到设计目标，并未考虑其他正交变换域的使用。
[0019]本专利技术提供了一种基于多域学习的神经网络设计方法，能够在单时域神经网络的基础上实现更好的网络性能与泛化能力。
[0020]参照图1至图3，本实施例提供了一种基于多域学习的神经网络设计方法，具体实施步骤如下。
[0021]步骤1：根据目标任务，构建适合当前任务的神经网络作为主干网络。
[0022]具体的，构建适合当前任务的神经网络作为主干网络，应当以当前任务的特点、当前任务的指标要求做出综合考量。以传统目标分类任务为例，选用ResMLP作为主干网络；并综合考虑网络精度与速度，最终选用ResMLP12作为主干网络。
[0023]步骤2：根据任务特点或实验结果，选择除时域/空域外一个或多个正交变换域作为多域学习的目标域。
[0024]具体的，通过对选定的数据集进行实验发现，对于大部分数据集，在DCT域、FFT域、哈达玛域等正交变换域上，呈现组内相似度更高的特点。其中，DCT域特点明显，开发简便，易于使用，故选用DCT域作为多域学习的目标域。
[0025]步骤3：在网络中的特征提取部分构建多域学习结构。
[0026]具体的，参照ResMLPLayer的模块设计，在模块前加入DCT、IDCT层，通过该层将输入特征图转换到DCT域或时域/空域。DCT模块与IDCT模块交替出现6次，构建出多域学习结构。
[0027] DCT、IDCT模块其数学表达分别为：y=DCT(f(x))y=IDCT(f(x))f(x)=Aff(Linear(GeLU(Linear(Aff(Aff(Linear(Aff(x)
T
)...

【技术保护点】

【技术特征摘要】
1.一种基于多域学习的人工神经网络设计方法，其特征在于，主要包括以下步骤：根据目标任务，构建适合当前任务的神经网络作为主干网络;根据任务特点或实验结果，选择除时域/空域外一个或多个正交变换域作为多域学习的目标域;在网络中的特征提取部分构建多域学习结构;在选定的数据集上对上述网络进行训练，得到训练完成后的网络模型;根据验证集对网络模型进行验证。2.根据权利要求1所述的基于多域学习的人工神经网络设计方法，其特征在于，所述根据目标任务，构建适合当前任务的神经网络作为主干网络，包括步骤：针对不同任务特点，包括但不限于任务类型、速度要求、准确度要求等，设计、选取合适的主干网络。3.根据权利要求1所述的基于多域学习的人工神经网络设计方法，其特征在于，所述根据任务特点或实验效果，选择除时域/空域外一个或多个域作为多域学习的目标域，包括步骤：通过对数据集图像在不同域上的分析与实验的结果比较，选择若干非时域/空域的变换域作为多域学习的目标域。4.根据权利要求1所述的基于多域学习的人工神经网络设计方法，其特征在于，所述在网络中的特征提取部分构建多域学习结构，包括步骤：通过在网络基本模块前加入域变换层或反比变换...

【专利技术属性】
技术研发人员：郭权锐，杨裕亮，党衍斌，
申请(专利权)人：党衍斌，
类型：发明
国别省市：