【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种基于轻量级神经网络的图像旋转矫正方法。
技术介绍
1、随着互联网技术的不断发展，为了达到更高的精度，模型训练的网络结构越来越深，导致模型越来越难训练。基于resnet和mobilenet网络结构，能够使深度网络更加容易训练和轻量级神经网络且精度保持较高的水平，受到了工业界和学术界的广泛关注。轻量级神经网络训练深度网络更加容易训练更深的网络。同时由于它的算法足够轻量级神经网络，可在一些硬件比较弱的设备上实现实时边缘计算。卷积层的优化、改进可以减少参数量、降低计算量、加速运算，从而使网络更加轻量级神经网络。mobile net是基于深度可分离卷积，深度可分离卷积相较于标准卷积，计算量与参数量都有着极大的降低，网络越深越明显。同时在深度可分离卷积采用先升维，同时使用relu激活函数，升维可扩充冗余的信息，防止relu激活函数运行时信息丢失；轻量级神经网络在移动端、终端设备有着广阔的需求，可运用在安防摄像头、智能手机无人驾驶和机器人等领域。
2、图像旋转是图像处理的一个重要步骤。准确高效的图像旋转角度矫正可以显著提升图像处理的效率。传统的角度检测方法(傅里叶变换频谱分析、轮廓提取、线条检测等)对图片中的噪声较敏感，且检测速度较慢，不具有普遍适用性。本方法将图像旋转与轻量级神经网络结合，可以实现准确高效的图像旋转角度矫正。
技术实现思路
1、本专利技术所要解决的技术问题是针对图像处理中所涉及的图像旋转角度矫正，提供一种基于轻量级神经网络图
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种基于轻量级神经网络的旋转图像的矫正方法，包含以下步骤，：
4、步骤1)，对于待处理项目的图像信息，通过标准化对图像信息进行预处理；
5、步骤2)，在对图像信息特征提取的过程中，采用34个模块(block)的构建轻量级神经网络，每个模块由1个扩张的1×1卷积层、1个可分离卷积层和1个压缩的1×1卷积层三部分组成，并在非扩张或非压缩模块进行残差运算，在同等深度的情况下极大地提高了准确率，同时缓解深度神经网络深度增加时梯度消失的问题，以此增强网络的可优化性；
6、步骤3)，利用池化将特征图大小缩放到统一尺寸，再经过由全连接层构建的分类器输出4个值，分别为角度的数值(0°～180°)以及3个代表方向的概率(顺时针、逆时针、无旋转)，得到图像预测旋转的方向和角度；
7、步骤4)，根据图像实际旋转的方向与角度，计算训练、测试结果的损失大小，经过反向传播将损失反馈给网络，不断调整、优化目标函数，学习模型参数；
8、步骤5)，利用优化好的网络参数，得到一个较为精准的预测图像旋转的轻量级神经网络模型，可根据输入的旋转图像得到图像旋转的方向与角度。
9、前述的一种基于轻量级神经网络的旋转图像的矫正方法中通过标准化对图像信息进行预处理，其特征在于所诉步骤1)中的具体内容为：
10、将将输入大小为i×j的图像信息转化为图像矩阵u∈ri×j×k。图像矩阵u中的每个元素都表示图像像素点其中xijk是图像矩阵u中第k层第i行第j列图像像素点值，其中，图像一般为rgb三个通道，所以k＝3，和std分别是训练集的像素平均值和标准差。在我们所提出的方法中，三个通道的平均值与标准值设定为同时对图像矩阵大小进行固定化处理。
11、前述的基于轻量级神经网络的旋转图像的矫正方法，其特征在于，步骤2)，在对图像信息特征提取的过程中，采用34个模块(block)的构建轻量级神经网络，每个模块由1个扩张的1×1卷积层、1个可分离卷积层和1个压缩的1×1卷积层三部分组成，并在非扩张或非压缩模块进行残差运算，在同等深度的情况下极大地提高了准确率，同时缓解深度神经网络深度增加时梯度消失的问题，以此增强网络的可优化性，每个模块包含以下步骤：
12、步骤2-1)，根据预处理后的图像矩阵u，通过1×1卷积核，扩张图像矩阵u的维度，并使用relu6激活函数作为激活函数：
13、
14、x1表示扩张后的特征矩阵，i是t个1×1的卷积核，t是隐藏层扩张的倍数。
15、步骤2-2)，以图像矩阵x1为基础进行3×5可分离卷积：
16、输入特征图尺寸：wk×lk×m，宽和高为wk、lk，通道数为m。
17、单个卷积核尺寸：k1×k2，k1、k2分别为该卷积核的宽和高，在模型中分别等于3和5。有n个卷积核，n为输出通道数。
18、输出特征图尺寸：wf×lf×n，宽、高为wf、lf，通道数为n。
19、输出特征图的宽和高与卷积时的步长s有关，通道数等于卷积核的个数：
20、
21、
22、其中，pw和pl是对特征图的padding，k1、k2分别为3和5，为了能够在非扩张或非压缩模块进行残差运算来提高网络的可优化性，令
23、wf＝wk
24、lf＝lk
25、由此，解得
26、
27、以图像矩阵x1为输入进行逐通道卷积输出feature map：
28、
29、l为当前卷积层，表示第l层卷积层与第l个卷积核卷积的结果，l的取值范围是[1，n]，b是偏置数。其中concat函数是将n个卷积结果拼接为一个新的矩阵。
30、步骤2-3)对图像矩阵x2与1×1卷积核k进行卷积实现降维，并使用relu6激活函数激活.
31、计算公式：
32、
33、步骤2-4)，基于深度可分离卷积，结合输入、输出结果和系统设置，判断是否进行残差运算。当系统设置可以进行残差运算且输入与输出的形状相同时，该网络结构需结合残差网络结构，进行残差运算。从而提高网络的可优化性。同时，采用可分离卷积可以使得网络参数数量大大减小，从而加快模型的运算速度。
34、残差运算公式为：
35、h(x)＝y+x
36、h(x)是模块最终输出，x是输入，y是残差。
37、另外，若使用标准卷积，计算量为：
38、dk·dk·m·n·df·df
39、dk·dk·m表示一次卷积的乘法次数，n·df·df表示输出feature map的元素个数。
40、标准卷积参数量为：
41、dk·dk·m·n
42、而使用深度可分离卷积计算量为：
43、dk·dk·m·df·df+m·n·df·df
44、d本文档来自技高网...
【技术保护点】
1.一种基于轻量级神经网络的旋转图像的矫正方法，其特征在于，包含以下步骤,：
2.根据权利要求1所述的一种基于轻量级神经网络的旋转图像的矫正方法中通过标准化对图像信息进行预处理包含以下步骤：
3.根据权利要求2所述的基于轻量级神经网络的旋转图像的矫正方法，其特征在于，所述步骤2)中，在对图像信息特征提取的过程中，采用34个模块的构建轻量级神经网络，每个模块由1个扩张的1×1卷积层、1个可分离卷积层和1个压缩的1×1卷积层三部分组成，并在非扩张或非压缩模块进行残差运算，在同等深度的情况下极大地提高了准确率，同时缓解深度神经网络深度增加时梯度消失的问题，以此增强网络的可优化性，每个模块包含以下步骤：
4.根据权利要求3所述的基于轻量级神经网络的旋转图像的矫正方法，其特征在于，所述步骤3)中利用池化将特征图大小缩放到统一尺寸,再经过由全连接层构建的分类器输出4个值，分别为角度的数值(0°～180°)以及3个代表方向的概率(顺时针、逆时针、无旋转)，得到图像预测旋转的方向和角度：
5.根据权利要求4所述的基于轻量级神经网络的旋转图像的矫正方
6.根据权利要求4所述的基于轻量级神经网络的旋转图像的矫正方法，其特征在于，所述步骤5)利用优化好的网络参数，得到一个较为精准的预测图像旋转的轻量级神经网络模型，根据预测的结果得到图像旋转的方向与角度。
...【技术特征摘要】
1.一种基于轻量级神经网络的旋转图像的矫正方法，其特征在于，包含以下步骤,：
2.根据权利要求1所述的一种基于轻量级神经网络的旋转图像的矫正方法中通过标准化对图像信息进行预处理包含以下步骤：
3.根据权利要求2所述的基于轻量级神经网络的旋转图像的矫正方法，其特征在于，所述步骤2)中，在对图像信息特征提取的过程中，采用34个模块的构建轻量级神经网络，每个模块由1个扩张的1×1卷积层、1个可分离卷积层和1个压缩的1×1卷积层三部分组成，并在非扩张或非压缩模块进行残差运算，在同等深度的情况下极大地提高了准确率，同时缓解深度神经网络深度增加时梯度消失的问题，以此增强网络的可优化性，每个模块包含以下步骤：
4.根据权利要求3所述的基于轻量级神经网络的旋...
【专利技术属性】
技术研发人员：甘瑾，余永红，许恭友，
申请(专利权)人：南京邮电大学通达学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。