【技术实现步骤摘要】
采用伪单元填充图像传感芯片进行首层卷积层处理的方法
本专利技术涉及图像传感器芯片
，尤其涉及一种采用伪单元填充图像传感芯片进行首层卷积层处理的方法。
技术介绍
得益于卷积神经网络(CNN)的发展，智能视觉处理任务的准确率性能获得了极大的提升，如物体识别、语义分割等。在物联网时代，面向智能视觉处理应用的设备广泛地分布在终端，实现与用户的无缝交互。为了不遗漏任何关键事件，一些用于智能视觉应用的设备需要以常开的模式工作，例如处于监视目的针对特定对象的检测和识别。然而，这种连续感知需求巨大的能量开销，这对于大多数电池驱动的设备非常不利。现有的传统数字系统并不能够满足低功耗要求，问题在于需要将图像从模拟域转换并传输到数字域，而这消耗了大量的能量和带宽。传感器内处理(PIS)概念的提出成为解决上述问题的可行办法，图1为现有技术提供的处理单元阵列构成焦平面的示意图，如图1所示，焦平面(FocalPlane)由处理单元(PE，ProcessingElement)阵列组成，感光并生成图像，图像分辨率由处理单元阵列大小决定，每个处...
【技术保护点】
1.一种采用填充后图像传感芯片进行首层卷积层处理的方法，其特征在于，包括：/n基于填充后图像传感芯片中新的焦平面的大小、首层卷积层中卷积核的个数和首层卷积层中卷积核的大小在所述新的焦平面上周期性的排列所述首层卷积层；/n采用新的焦平面对各处理单元中采集的图像的各像素值进行处理，输出对应的特征图；/n其中，所述新的焦平面是在填充前图像传感芯片中的原始焦平面的宽度不能整除所述首层卷积层中卷积核的宽度或者所述首层卷积层中卷积核的个数不能整除所述原始焦平面的宽度最多容纳所述卷积核的宽度的个数时对所述原始焦平面的右边和底边填充伪处理单元以达到新的焦平面的大小得到，所述新的焦平面的大小...
【技术特征摘要】
20200618 CN 202010562589X1.一种采用填充后图像传感芯片进行首层卷积层处理的方法，其特征在于，包括：
基于填充后图像传感芯片中新的焦平面的大小、首层卷积层中卷积核的个数和首层卷积层中卷积核的大小在所述新的焦平面上周期性的排列所述首层卷积层；
采用新的焦平面对各处理单元中采集的图像的各像素值进行处理，输出对应的特征图；
其中，所述新的焦平面是在填充前图像传感芯片中的原始焦平面的宽度不能整除所述首层卷积层中卷积核的宽度或者所述首层卷积层中卷积核的个数不能整除所述原始焦平面的宽度最多容纳所述卷积核的宽度的个数时对所述原始焦平面的右边和底边填充伪处理单元以达到新的焦平面的大小得到，所述新的焦平面的大小满足其宽度可以整除所述卷积核的宽度且所述卷积核的个数可以整除所述新的焦平面的宽度容纳所述卷积核的宽度的个数，所述伪处理单元仅包括用于保存卷积核权值的寄存器。
2.根据权利要求1所述的采用伪单元填充图像传感芯片进行首层卷积层处理的方法，其特征在于，所述新的焦平面是在原始焦平面的宽度不能整除所述首层卷积层中卷积核的宽度或者所述首层卷积层中卷积核的个数不能整除所述原始焦平面的宽度最多容纳所述卷积核的宽度的个数时对所述原始焦平面的右边和底边填充伪处理单元以达到新的焦平面的大小得到，所述新的焦平面的大小满足其宽度可以整除所述卷积核的宽度且所述卷积核的个数可以整除所述新的焦平面的宽度容纳所述卷积核的宽度的个数，具体包括：
若所述首层卷积层的宽度不超过所述原始焦平面的宽度，则所述新的焦平面通过如下步骤得到：
将所述首层卷积层作为第一块，在所述原始焦平面上左上顶点开始到覆盖到右下顶点结束重复排列所述第一块使得排列后的第一块覆盖所有处理单元；
采用伪处理单元填充所述排列后的块覆盖处无处理单位的区域；
若所述首层卷积层的宽度超过所述原始焦平面的宽度，则所述新的焦平面通过如下步骤得到：
确定第一因数，所述第一因数为所述卷积核的个数的各因数中最小的大于所述原始焦平面的宽度除以所述卷积核的宽度的因数；
将所述首层卷积层排列成宽度为第一因数个卷积核的第二块，在所述原始焦平面上的左上顶点开始到覆盖到右下顶点结束重复排列所述第二块使得排列后的第二块覆盖所有处理单元；
采用伪处理单元填充所述排列后的块覆盖处无处理单位的区域。
3.根据权利要求1所述的采用伪单元填充图像传感芯片进行首层卷积层处理的方法，其特征在于，所述将所述首层卷积层作为第一块，在所述原始焦平面上左上顶点开始到覆盖到右下顶点结束重复排列所述第一块使得排列后的第一块覆盖所有处理单元，具体包括：
若Na×Wk≤Wi，则在所述原始焦平面右边和底边采用伪处理单元进行填充，使得填充后的新的焦平面的宽度为且填充后的新的焦平面的高度为其中，Na为所述首层卷积层中卷积核的个数，Wk为所述首层卷积层中卷积核的宽度，Wi为所述原始焦平面的宽度，Hk为所述首层卷积层中卷积核的高度，Hi为所述原始焦平面的高度；
对应地，确定第一因数，所述第一因数为所述卷积核的个数的各因数中最小的大于所述原始焦平面的宽度除以所述卷积核的宽度的因数；将所述首层卷积层排列成宽度为第一因数个卷积核的第二块，在所述原始焦平面上的左上顶点开始到覆盖到右下顶点结束重复排列所述第二块使得排列后的第二块覆盖所有处理单元，具体包括：
若Na×Wk＞Wi，则在所述原始焦平面右边和底边采用伪处理单元进行填充，使得填充后的新的焦平面的宽度为Nr×Wk且填充后的新的焦平面的高度为其中，其中，Na为所述首层卷积层中卷积核的个数，Wk为所述首层卷积层中卷积核的宽度，Wi为所述原始焦平面的宽度，Hk为所述首层卷积层中卷积核的高度，Hi为所述原始焦平面的高度。
4.根据权利要求1-3中任一项所述的采用伪单元填充图像传感芯片进行首层卷积层处理的方法，其特征在于，所述采用新的焦平面对各处理单元中采集的图像的各像素值进行处理，输出对应的特征图，具体包括：
基于所述新的焦平面的大小、所述卷积核的数量和所述卷积核的大小确定首层卷积层对所述处理单位中采集的像素值进行处理时的行循环周期Cr和列循环周期Cc；
在完成(Cc-1，Cr×(Cc-1)+Cr-1)的位移和卷积计算后，输出Na个特征图，Na为所述首层卷积层中卷积核的个数。
5.根据权利要求4所述的采用伪单元填充图像传感芯片进行首层卷积层处理的方法，其特征在于，所述基于所述新的焦平面的大小、所述卷积核的数量和所述卷积核的大小确定首层卷积层对所述处理单位中采集的像素值进行处理时的行循环周期Cr和列循环周期Cc，具体包括：
当Na×Wk≤Wi时，
通过如下公式确定对所述处理单位中采集的像素值进行处理时的行循环周期Cr和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。