A convolutional neural network for generating classification of input images and a computer implementation method. A convolutional neural network (CNN) system for generating classification of input images is disclosed. According to an embodiment, the CNN system includes a series of neural network layers configured to obtain a feature map at least based on the input image, set the value of one or more elements of at least one selected row in the feature map and the kernel to zero according to the pattern, and shift each row of the pattern at a predetermined interval by a root. The value of one or more elements of the remaining row of at least one selection is set to zero according to the cyclic shift mode to perforate the at least one selection; the feature graph is convoluted with the kernel to produce the first convolution output; and the classification of the input image is generated at least based on the first convolution output.
【技术实现步骤摘要】
产生输入图像的分类的卷积神经网络及计算机实现方法本申请要求于2017年4月18日提交的标题为“用于降低卷积神经网络的计算复杂度的方法和设备”的第62/486,626号美国临时专利申请的优先权和权益,以及于2017年6月27日提交的题目为“用于降低卷积神经网络的计算复杂度的方法和设备”的第15/634,537号美国非临时专利申请的优先权和权益,所述美国专利申请的全部内容通过引用合并于此。
本公开涉及卷积神经网络。具体地,本公开涉及一种降低卷积神经网络的计算复杂度的方法和设备。
技术介绍
卷积神经网络(CNN)系统是一种具有许多应用的前馈人工神经网络。CNN系统在机器学习领域中(例如,在目标检测、图像分类、场景分割和诸如超分辨率和视差估计的图像质量提高中)已经发展成为最先进的。CNN系统通常包括多层卷积滤波器(也被称为“加权内核”或仅称为“内核”)。每个卷积层可接收特征图作为输入,其中,特征图与内核卷积以产生卷积输出。由于深度神经网络中在每一层可能需要处理的大量的特征图、大的内核大小以及越来越多的层,训练和运行CNN系统通常计算昂贵。复杂度也随着较大的输入大小(例如,全高清(HD)图像)和所有中间特征图而增加,其中,较大的输入大小转化成输入特征图的较大的宽度和高度。许多应用(诸如,行人检测)需要快速实时处理。当前的硬件架构和图形处理器(GPU)目的在于对多个处理单元进行并行处理以加快处理。然而,由于最近在电力有限的电子装置(诸如,移动装置)上实现深度CNN系统的趋势,期望减少计算负担以降低功耗并加快处理时间。
技术实现思路
在此公开了用于产生输入图像的分类的卷积神 ...
【技术保护点】
1.一种卷积神经网络系统,所述卷积神经网络系统包括:一系列的神经网络层,被配置为:至少基于输入图像获得特征图;通过根据模式将特征图和内核中的至少一个选择的多个行中的一行的一个或多个元素的值设置为零,并且将所述模式每行循环移位预定间隔以根据循环移位的模式将所述至少一个选择的所述多个行中的剩余的行的一个或多个元素的值设置为零,来对所述至少一个选择进行穿孔;对特征图与内核进行卷积,以产生第一卷积输出;至少基于第一卷积输出,产生输入图像的分类。
【技术特征摘要】
2017.04.18 US 62/486,626;2017.06.27 US 15/634,5371.一种卷积神经网络系统,所述卷积神经网络系统包括:一系列的神经网络层,被配置为:至少基于输入图像获得特征图;通过根据模式将特征图和内核中的至少一个选择的多个行中的一行的一个或多个元素的值设置为零,并且将所述模式每行循环移位预定间隔以根据循环移位的模式将所述至少一个选择的所述多个行中的剩余的行的一个或多个元素的值设置为零,来对所述至少一个选择进行穿孔;对特征图与内核进行卷积,以产生第一卷积输出;至少基于第一卷积输出,产生输入图像的分类。2.根据权利要求1所述的卷积神经网络系统,其中,对特征图和内核中的所述至少一个选择进行穿孔的步骤包括:当((w+h)modulod)-s=0时,将在所述至少一个选择的在索引(w,h)的元素的值设置为零,其中,s为整数的移位值,d为整数的大于1的穿孔间隔值,w和h为元素的索引值,modulo表示取模运算。3.根据权利要求1所述的卷积神经网络系统,其中,对特征图和内核中的所述至少一个选择进行穿孔的步骤包括:执行所述至少一个选择与遮蔽矩阵的点积,其中,当((w+h)modulod)-s=0时,在遮蔽矩阵的索引(w,h)的元素的值为零,其中,当((w+h)modulod)-s≠0时,在遮蔽矩阵的索引(w,h)的元素的值为一,其中,s为整数的移位值,d为整数的大于1的穿孔间隔值,w和h为元素的索引值,modulo表示取模运算。4.根据权利要求2所述的卷积神经网络系统,其中,所述卷积神经网络系统还被配置为通过以下步骤微调所述一系列的神经网络层:对未穿孔的特征图与未穿孔的内核进行卷积,以产生第二卷积输出,根据将第一卷积输出与第二卷积输出进行比较的误差成本函数来评价第一卷积输出的准确性。5.根据权利要求4所述的卷积神经网络系统,其中,所述卷积神经网络系统还被配置为:通过根据移位值s的变化对所述至少一个选择进行穿孔来微调所述一系列的神经网络层,以确定最小化误差成本函数的最优移位值。6.根据权利要求4所述的卷积神经网络系统,其中,所述卷积神经网络系统还被配置为:通过根据穿孔间隔值d的变化对所述至少一个选择进行穿孔来微调所述一系列的神经网络层,以确定最小化误差成本函数的最优穿孔间隔值。7.根据权利要求4所述的卷积神经网络系统,其中,所述卷积神经网络系统还被配置为:通过经由针对内核的元素计算误差成本函数的梯度并最小化误差成本函数来执行反向传播以调节内核的元素的值,来微调所述一系列的神经网络层。8.根据权利要求7所述的卷积神经网络系统,其中,所述至少一个选择包括内核,并且执行反向传播的步骤仅调节通过穿孔而未被设置为零的内核的元素的值。9.根据权利要求1所述的卷积神经网络系统,其中,所述一系列的神经网络层还被配置为:使用所述至少一个选择计算最大值以及与最大值对应的最大位置,使用所述至少一个选择的未穿孔的形式计算在最大位置的值。10.根据权利要求1所述的卷积神经网络系统,其中,循环移位的模式在第三维度中进行移位,使得对特征图和内核中的所述至少一个选择进行穿孔的步骤包括:当((w+h+c)modulod)-s=0时,将在所述至少一个选择的索引(w,h,c)的元素的值设置为零,其中,s为整数的移位值,d为整数的大于1的穿孔间隔值,w、h和c为元素的索引值,modulo表示取模运算。11....
【专利技术属性】
技术研发人员:穆斯塔法·艾尔可哈米,李正元,崔柳真,
申请(专利权)人:三星电子株式会社,
类型:发明
国别省市:韩国,KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。