一种面向嵌入式应用的深度对抗网络优化方法技术

本发明专利技术提供一种面向嵌入式应用的深度对抗网络优化方法，涉及电子信息技术领域。该方法包括：通过亚星素卷积神经网络改进典型的生成式对抗网络模型；根据改进的生成式对抗网络模型构建生成式对抗网络系统；对生成式对抗网络系统中每个硬件加速器的卷积模块进行优化；对生成式对抗网络系统中每个硬件加速器的Swish激活函数模块进行优化。本发明专利技术提供的一种面向嵌入式应用的深度对抗网络优化方法，从架构和硬件加速器设计两个层次进行优化，首先对生成式对抗网络的结构进行优化，开发相应的硬件加速器架构，以便在嵌入式平台上更易于实现，其次对硬件加速器进行相应的设计，降低硬件资源占用率，提高吞吐率，具有高通量、低功耗和可配置等特点。

A Deep Countermeasure Network Optimization Method for Embedded Applications

The invention provides a method for optimizing the deep countermeasures network for embedded applications, which relates to the field of electronic information technology. The method includes: improving the typical generative countermeasure network model through sub-star convolution neural network; constructing the generative countermeasure network system based on the improved generative countermeasure network model; optimizing the convolution module of each hardware accelerator in the generative countermeasure network system; and optimizing each module in the generative countermeasure network system. The Swish activation function module of hardware accelerator is optimized. The invention provides an optimization method for embedded application-oriented deep countermeasure network, which optimizes from two levels of architecture and hardware accelerator design. Firstly, the structure of generative countermeasure network is optimized, and the corresponding hardware accelerator architecture is developed to make it easier to implement on embedded platform, and secondly, the hardware is added. The speeder is designed to reduce hardware resource occupancy and improve throughput. It has the characteristics of high throughput, low power consumption and configurability.

【技术实现步骤摘要】
一种面向嵌入式应用的深度对抗网络优化方法
本专利技术涉及电子信息
，具体涉及一种面向嵌入式应用的深度对抗网络优化方法。
技术介绍
无监督网络是指在没有额外信息的情况下，从原始数据中提取模式和结构的任务。自动编码器是解决无监督学习的典型方法，但其性能难以与监督网络的性能相提并论。对抗网络的出现提供了解决无监督学习的可行方案，尤其是深度卷积生成式对抗网络已经解决了制约无监督学习的难题，并且在实践中得到广泛应用。但是这类深度对抗网络由于一系列卷积层的应用，运算量巨大，很难集成到诸如智能手机和智能眼镜等嵌入式系统中。随着深度网络包含更多的卷积层和节点，减少系统运算量和存储量成为当务之急。卷积层是高度并行的，有效利其并行性可大幅度提升深度网络的性能。但是通用处理器是串行执行的，不能有效利用卷积层的并行性，很难有效完成这类任务。GPU和ASIC能高效利用这种并行性，但是消耗能量大，开发时间长和成本高，不适合生成式对抗网络等新兴无监督网络，且现有技术大多只对对抗网络的一部分进行优化，不能使对抗网络加速器的性能最大化。
技术实现思路
针对现有技术存在的问题，本专利技术提供一种面向嵌入式应用的深度对抗网络优化方法，具有高通量、低功耗和可配置等特点，首先通过亚像素卷积神经网络对典型的生成式对抗网络模型中的生成器进行优化，然后根据优化后的生成式对抗网络模型构建生成式对抗网络系统，最后对生成式对抗网络系统中的硬件加速器进行优化，以便在嵌入式平台上实现，降低硬件资源占用率，提高吞吐率。为了实现上述目的，一种面向嵌入式应用的深度对抗网络优化方法，包括以下步骤：步骤1：将亚像素卷积神经网络中尺寸为(o*r2，i，k/r，k/r)的卷积层与典型的生成器中尺寸为(o，i，k，k)的反卷积层等效，其中，卷积层和反卷积层的尺寸参数分别对应输出深度、输入深度、卷积核的宽度和卷积核的高度，k为正整数，r为上采样率，根据卷积层和反卷积层的对应关系，通过亚像素卷积神经网络改进典型的生成式对抗网络模型，并以Swish激活函数替换卷积层的LReLU激活函数，具体方法如下：步骤1.1：将L维输入向量通过亚像素卷积神经网络中典型的卷积层在低分辨率空间提取特征图，特征图的尺寸参数为dn@hn*wn，其中，dn为特征图的深度，hn为特征图的高度，wn为特征图的宽度，卷积层的卷积核宽度和高度均为k/r；步骤1.2：令卷积核的深度为dn-1*r2，继续在低分辨率空间提取特征图，此时特征图的尺寸参数为dn-1*r2@hn-1*wn-1；步骤1.3：令n＝n-1，重复步骤1.2，直到特征图的尺寸参数为d2*r2@h2*w2；步骤1.4：利用亚像素卷积神经网络中典型的亚像素卷积层将最终的特征图转换为高分辨率图像，图像的尺寸参数为d1*r2@h1*w1，由此，完成典型生成式对抗网络模型中生成器的改进；步骤1.5：改进的生成式对抗网络模型中鉴别器依旧采用典型的生成式对抗网络模型中鉴别器，并以Swish激活函数替换卷积层的LReLU激活函数，其输入体的尺寸参数为d1*r2@h1*w1，卷积层的卷积核宽度和高度均为k，各卷积层包含一系列卷积核，并具有和输入体同样的深度，卷积核在输入体宽度和高度方向滑动，计算卷积核与输入体任一位置的点积，进而产生二维特征图，将这些特征图沿着深度方向叠加，得到输出体，输出体的大小由深度、步长和补零来控制，其中，深度控制输出体的深度，即是卷积核的数量，步长控制同一深度的相邻两个隐含单元，与他们相连接的输入区域的距离，补零改变输入单元整体大小，从而控制单元的空间大小；所述输入体为前一个卷积层输出的特征图；所述输出体为当前卷积层输出的特征图；步骤2：根据改进的生成式对抗网络模型构建生成式对抗网络系统；所述生成式对抗网络系统包括构成生成器的S个硬件加速器、构成鉴别器的T个硬件加速器以及一个控制模块，其中，S＝T，且每个硬件加速器实现一个卷积层功能，并包括卷积模块和Swish激活函数模块两部分；步骤3：对构建生成式对抗网络系统进行优化，具体步骤如下：步骤3.1：对生成式对抗网络系统中每个硬件加速器的卷积模块进行优化，具体步骤如下：步骤3.1.1：求取生成器各卷积层输入体深度的最大公约数，并将卷积层内侧三环路按照最大公约数分解，设计硬件加速器，并在各硬件加速器的卷积模块重用；步骤3.1.2：求取鉴别器各卷积层输入体深度的最大公约数，并将卷积层内侧三环路按照最大公约数分解，设计硬件加速器，并在各硬件加速器的卷积模块重用；步骤3.1.3：各卷积层外侧三层环路综合采用环路交换、硬件平铺和CSD编码等方法优化；步骤3.2：对生成式对抗网络系统中每个硬件加速器的Swish激活函数模块进行优化，具体步骤如下：步骤3.2.1：当卷积层的输出值介于(-∞，-16)时，将函数值近似为0；步骤3.2.2：当卷积层的输出值介于(-16，0)区间时，采用查找表的方式求值；步骤3.2.3：当卷积层的输出值介于(0，2Q)区间时，其中Q为定标值，将函数值进行等效交换后再采用查找表的方式求解。进一步地，所述步骤1中卷积层在低分辨率空间提取特征图的方法如下：在步长为s的卷积层输入体的不同神经元之间插入s-1个零，插入零后把其看做是新的输入特征，使各卷积层中卷积核与补零后的输入体具有同样的深度，令卷积核在输入体宽度和高度方向滑动，计算卷积核与输入体任一位置的点积，进而产生二维特征图，将这些特征图沿着深度方向叠加，得到输出体；所述输入体为前一个分辨率空间中输出的特征图；所述输出体为当前分辨率空间中输出的特征图。进一步地，所述步骤3.2.3中将函数值进行等效交换的公式如下：其中，x为卷积层的输出值，Q为定标值。本专利技术的有益效果：本专利技术提出一种面向嵌入式应用的深度对抗网络优化方法，从架构和硬件加速器设计两个层次进行优化，首先对生成式对抗网络的结构进行优化，开发相应的硬件加速器架构，以便在嵌入式平台上更易于实现，其次对硬件加速器进行相应的设计，降低硬件资源占用率，提高吞吐率，具有高通量、低功耗和可配置等特点。附图说明图1为本专利技术实施例中面向嵌入式应用的深度对抗网络优化方法流程图；图2为本专利技术实施例中改进的生成式对抗网络模型示意图；图3为本专利技术实施例中硬件加速器的卷积模块工作原理图；图4为本专利技术实施例中硬件加速器的Swish激活函数模块工作原理图；图5为本专利技术实施例中硬件加速器工作原理图；图6为本专利技术实施例中控制器状态机的工作流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本专利技术做进一步详细说明。此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。一种面向嵌入式应用的深度对抗网络优化方法，流程如图1所示，具体方法如下所述：步骤1：将亚像素卷积神经网络中尺寸为(o*r2，i，k/r，k/r)的卷积层与典型的生成器中尺寸为(o，i，k，k)的反卷积层等效，其中，卷积层和反卷积层的尺寸参数分别对应输出深度、输入深度、卷积核的宽度和卷积核的高度，k为正整数，r为上采样率，根据卷积层和反卷积层的对应关系，通过亚像素卷积神经网络改进典型的生成式对抗网络模型，并以Swish激活函数替换卷积层的LReLU激活函数，如图2所示，具体方法如下：步骤1.1：将N本文档来自技高网...

【技术保护点】
1.一种面向嵌入式应用的深度对抗网络优化方法，其特征在于，包括以下步骤：步骤1：将亚像素卷积神经网络中尺寸为(o*r2，i，k/r，k/r)的卷积层与典型的生成器中尺寸为(o，i，k，k)的反卷积层等效，其中，卷积层和反卷积层的尺寸参数分别对应输出深度、输入深度、卷积核的宽度和卷积核的高度，k为正整数，r为上采样率，根据卷积层和反卷积层的对应关系，通过亚像素卷积神经网络改进典型的生成式对抗网络模型，并以Swish激活函数替换卷积层的LReLU激活函数，具体方法如下：步骤1.1：将L维输入向量通过亚像素卷积神经网络中典型的卷积层在低分辨率空间提取特征图，特征图的尺寸参数为dn@hn*wn，卷积核的尺寸为k/r*k/r，其中，dn为特征图的深度，hn为特征图的高度，wn为特征图的宽度，卷积核的宽度和高度均为k/r；步骤1.2：令卷积核的深度为dn‑1*r2，继续在低分辨率空间提取特征图，此时特征图的尺寸参数为dn‑1*r2@hn‑1*wn‑1；步骤1.3：令n＝n‑1，重复步骤1.2，直到特征图的尺寸参数为d2*r2@h2*w2；步骤1.4：利用亚像素卷积神经网络中典型的亚像素卷积层将最终的特征图转换为高分辨率图像，图像的尺寸参数为d1*r2@h1*w1，由此，完成典型生成式对抗网络模型中生成器的改进；步骤1.5：改进的生成式对抗网络模型中鉴别器依旧采用典型的生成式对抗网络模型中鉴别器，并以Swish激活函数替换卷积层的LReLU激活函数，其输入体的尺寸参数为d1*r2@h1*w1，卷积层的卷积核宽度和高度均为k，各卷积层包含一系列卷积核，并具有和输入体同样的深度，卷积核在输入体宽度和高度方向滑动，计算卷积核与输入体任一位置的点积，进而产生二维特征图，将这些特征图沿着深度方向叠加，得到输出体，输出体的大小由深度、步长和补零来控制，其中，深度控制输出体的深度，即是卷积核的数量，步长控制同一深度的相邻两个隐含单元，与他们相连接的输入区域的距离，补零改变输入单元整体大小，从而控制单元的空间大小；所述输入体为前一个卷积层输出的特征图；所述输出体为当前卷积层输出的特征图；步骤2：根据改进的生成式对抗网络模型构建生成式对抗网络系统；所述生成式对抗网络系统包括构成生成器的S个硬件加速器、构成鉴别器的T个硬件加速器以及一个控制模块，其中，S＝T，且每个硬件加速器实现一个卷积层功能，并包括卷积模块和Swish激活函数模块两部分；步骤3：对构建生成式对抗网络系统进行优化，具体步骤如下：步骤3.1：对生成式对抗网络系统中每个硬件加速器的卷积模块进行优化，具体步骤如下：步骤3.1.1：求取生成器各卷积层输入体深度的最大公约数，并将卷积层内侧三环路按照最大公约数分解，设计硬件加速器，并在各硬件加速器的卷积模块重用；步骤3.1.2：求取鉴别器各卷积层输入体深度的最大公约数，并将卷积层内侧三环路按照最大公约数分解，设计硬件加速器，并在各硬件加速器的卷积模块重用；步骤3.1.3：各卷积层外侧三层环路综合采用环路交换、硬件平铺和CSD编码等方法优化；步骤3.2：对生成式对抗网络系统中每个硬件加速器模块的Swish激活函数进行优化，具体步骤如下：步骤3.2.1：当卷积层的输出值介于(‑∞，‑16)时，将函数值近似为0；步骤3.2.2：当卷积层的输出值介于(‑16，0)区间时，采用查找表的方式求值；步骤3.2.3：当卷积层的输出值介于(0，2Q)区间时，其中Q为定标值，将函数值进行等效交换后再采用查找表的方式求解。...

【技术特征摘要】
1.一种面向嵌入式应用的深度对抗网络优化方法，其特征在于，包括以下步骤：步骤1：将亚像素卷积神经网络中尺寸为(o*r2，i，k/r，k/r)的卷积层与典型的生成器中尺寸为(o，i，k，k)的反卷积层等效，其中，卷积层和反卷积层的尺寸参数分别对应输出深度、输入深度、卷积核的宽度和卷积核的高度，k为正整数，r为上采样率，根据卷积层和反卷积层的对应关系，通过亚像素卷积神经网络改进典型的生成式对抗网络模型，并以Swish激活函数替换卷积层的LReLU激活函数，具体方法如下：步骤1.1：将L维输入向量通过亚像素卷积神经网络中典型的卷积层在低分辨率空间提取特征图，特征图的尺寸参数为dn@hn*wn，卷积核的尺寸为k/r*k/r，其中，dn为特征图的深度，hn为特征图的高度，wn为特征图的宽度，卷积核的宽度和高度均为k/r；步骤1.2：令卷积核的深度为dn-1*r2，继续在低分辨率空间提取特征图，此时特征图的尺寸参数为dn-1*r2@hn-1*wn-1；步骤1.3：令n＝n-1，重复步骤1.2，直到特征图的尺寸参数为d2*r2@h2*w2；步骤1.4：利用亚像素卷积神经网络中典型的亚像素卷积层将最终的特征图转换为高分辨率图像，图像的尺寸参数为d1*r2@h1*w1，由此，完成典型生成式对抗网络模型中生成器的改进；步骤1.5：改进的生成式对抗网络模型中鉴别器依旧采用典型的生成式对抗网络模型中鉴别器，并以Swish激活函数替换卷积层的LReLU激活函数，其输入体的尺寸参数为d1*r2@h1*w1，卷积层的卷积核宽度和高度均为k，各卷积层包含一系列卷积核，并具有和输入体同样的深度，卷积核在输入体宽度和高度方向滑动，计算卷积核与输入体任一位置的点积，进而产生二维特征图，将这些特征图沿着深度方向叠加，得到输出体，输出体的大小由深度、步长和补零来控制，其中，深度控制输出体的深度，即是卷积核的数量，步长控制同一深度的相邻两个隐含单元，与他们相连接的输入区域的距离，补零改变输入单元整体大小，从而控制单元的空间大小；所述输入体为前一个卷积层输出的特征图；所述输出体为当前卷积层输出的...

【专利技术属性】
技术研发人员：张振宇，赵秋伶，刘英哲，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁,21