卷积神经网络特征提取图像传感器制造技术

卷积神经网络特征提取图像传感器是在普通图像传感器之后增加基于深度学习的卷积神经网络用于提取图像特征。一个完整的卷积神经网络可以在卷积神经网络特征提取图像传感器上部署，也可以部分在卷积神经网络特征提取图像传感器上部署。该卷积神经网络可以针对特定图像监控需求训练，通过分类对场景及其变化给出监控结果，通过回归对场景特定目标实现追踪。这种卷积神经网络特征提取图像传感器在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

【技术实现步骤摘要】
卷积神经网络特征提取图像传感器
本专利技术涉及图像处理、深度学习、卷积神经网络领域，特别是明涉及卷积神经网络特征提取图像传感器。
技术介绍
图像监控通过图像来监控目标，在视频安防监控、电力、交通、金融、电信等行业实施大范围、远距离的集中监控服务方面已经得到了广泛的应用。但是，在某些应用场合，直接监控图像，涉及到隐私暴露和泄密的问题。例如，对居家养老老人活动的监控，对病人的呼吸监控、情绪监控等，都不希望看到清晰图像。而对于这些应用，只需要监控图像的特征变化就可以起到特定的监控效果。另一方面，直接传输图像原始数据，文件太大，收到数据网络传输带宽的限制。如果不需要原始图像，只需要图像特征的场合，可以之传输图像特征，从而节省大量的带宽。为解决以上问题，本专利技术提出了卷积神经网络特征提取图像传感器，经过卷积神经网络处理的信号，是图像特征而不是原始图像，可以用这些图像特征完成监控任务。
技术实现思路
本专利技术公开一种特征提取图像传感器。所述卷积神经网络特征提取图像传感器是在普通图像传感器之后增加基于深度学习的卷积神经网络用于提取图像特征。一个完整的卷积神经网络可以在卷积神经网络特征提取图像传感器上部署，也可以部分在卷积神经网络特征提取图像传感器上部署。该卷积神经网络可以针对特定图像监控需求训练，通过分类对场景及其变化给出监控结果，通过回归对场景特定目标实现追踪。这种卷积神经网络特征提取图像传感器在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。作为优选方案之一，所述的特征提取图像传感器由通用图像传感器、深度学习特征提取单元和输出单元组成。优选地，所述的通用图像传感器是目前市面上普遍使用的CCD和CMOS图像传感器。优选地，所述的深度学习特征提取单元是一个卷积神经网络（CNN），该CNN可以通过大数据训练，完成图像特定特征提取，满足特定图像监控需求。作为优选方案之二，所述的卷积神经网络（CNN）至少有一个图像输入层、一个隐藏层和一个输出层组成。优选地，所述的图像输入层用来接受由通用图像传感器采集的原始图像，其数字图像是一个二维矩阵。数字图像数据用矩阵来表示，例如，灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高（单位为像素），矩阵的列对应图像的宽（单位为像素），矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。优选地，输出可以是隐藏层输出的图像特征值，也可以是分类结果。作为优选方案之三，所述神经网络的隐藏层为深度层卷积层，包括至少一个(convolution,conv)，包括至少一个池化层(pooling,pool)。优选地，多个卷积层与池化层配合，组成多个卷积组，逐层提取特征，CNN通过卷积来模拟特征区分，池化层主要是用于降低数据维度。优选地，所述神经网络的隐藏层还可以包括激活层和全连接层等，分类问题最后通过输出层softmax完成分类等任务。优选地，所述卷积神经网络的隐藏层可以采用其它的各种卷积神经网络结构，便于适应各种应用场景下的特征提取和分类。作为优选方案之四，所述的卷积神经网络图像特征提取单元，可以是一个完整的深度学习卷积神经网络，也可以是一个深度学习卷积神经网络的一部分，而另一部分则放在云前端完成。优选地，在所述的卷积神经网络图像特征提取单元上仅部署完整深度学习卷积神经网络的一部分时，所述的这一部分至少要包括一层卷积层和至少有一层池化层，前者用来提取图像特征，后者用来降低输出数据维数。而部署在前端的另一部分，可以是一个复杂的卷积神经网络的另一部分，用于处理复杂的目标分类和目标跟踪任务。由于其部署在前端，可以视为云服务系统，供所有在卷积神经网络特征提取图像传感器上部署了同样一部分卷积神经网络的设备共同使用，数据的传输通过网络实现。优选地，在所述的卷积神经网络图像特征提取单元上仅部署完整的深度学习卷积神经网络的一部分时，输出的是图像特征值。优选地，所述输出的图像特征值，作为整个卷积神经网络的图像特征值提取中间结果，将通过网络送给前端的另一部分卷积神经网络，作为其输入特征，做进一步处理，完成图像分类和目标跟踪任务。本专利技术的有益效果是：提供一种卷积神经网络特征提取图像传感器，通过训练的卷积神经网络，从原始图像采集信号中提取特定的图像特征，从而减少传输、存储整幅图像的带宽和存储空间。对于不愿意暴露隐私，或不愿意被看到清晰图像的特殊监控需求，提供了一种特殊的图像特征监控方式。满足了特定图像监控的特殊需求。提出了将一个完整复杂的深度学习卷积神经网络分为两个部分，一部分部署在卷积神经网络特征提取图像传感器上，另一部分部署在云端，为所有部署了所述卷积神经网络一部分的卷积神经网络特征提取图像传感器提供公共处理服务，大大简化了卷积神经网络特征提取图像传感器的实施难度。附图说明图1是本专利技术优选实施例的特征提取图像传感器结构；图2是本专利技术优选实施例的部署的简单卷积神经网络；图3是本专利技术优选实施例的将Alex-Net卷积神经网络分两部分部署；图4是本专利技术优选实施例的将复杂卷积神经网络后处理部分部署在云端。具体实施方式现在结合附图和优选实施例对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。图1是本专利技术优选实施例的卷积神经网络特征提取图像传感器结构，所述的图像传感器有101通用图像采集单元模组，102图像特征提取单元和103输出接口组成。101可以选通用图像传感器中的CCD传感器或CMOS传感器，在本专利技术优选实施例中，我们优选CMOS传感器，被采集的图像经过11处理成为MxN维数字图像，数字图像被送入102卷积神经网络图像特征提取单元做图像的特征提取。在本专利技术优选实施例中，103是输出接口，可以采用原通用图像传感器已有的输出接口，也可以根据需要定制专门的数据接口，比如，特征滤波器串行输出接口。图2是本专利技术优选实施例的部署的简单卷积神经网络（CNN），卷积神经网络由信息共享的人工互联“神经元”构成，每个互联神经元的数字权重都通过反复训练而得到持续优化。一个简单的卷积神经网络至少包括输入层201，至少一层卷积层和一层池化层202，输出是一个特征层203。由MⅹN个像素单元表示的图像201，例如，202作一个卷积核大小为kⅹk的（滤波器），步长为S的卷积处理（在这里取卷积核大小k=11，S=4是为了表述方便），在202中，紧接着卷积层之后有一个池化层，用来减少特征提取后的图像维数。假设201的图像大小是M=N=227，即227ⅹ227，k=11，S=4，经过96个大小为11ⅹ11的滤波器作卷积层处理后获得96个，特征大小为55ⅹ55的特征图；再假设池化层采用3ⅹ3，步长S=2的滤波器，得到96个，大小为27ⅹ27的特征图输出，实现了特征图降维输出的目的。该特征图通过输出单元203输出。图3是本专利技术优选实施例的将Alex-Net卷积神经网络分两部分部署实例，我们从310点将一个典型的Alex-Net卷积神经网络分为两部分，左边部分，301、302部署在所述的特征提取图像传感器上，右边部分，303、304、305、306、307、308、309部署在云前端。301是输入尺寸大小为227ⅹ227ⅹ3输入图像；用11ⅹ11本文档来自技高网...

【技术保护点】
1.一种卷积神经网络特征提取图像传感器，其特征在于，在通用图像传感器之后增加了图像特征提取单元，被提取的图像特征替代原始图像输出。

【技术特征摘要】
1.一种卷积神经网络特征提取图像传感器，其特征在于，在通用图像传感器之后增加了图像特征提取单元，被提取的图像特征替代原始图像输出。2.如权利要求1所述的图像特征提取单元，其特征在于，用卷积神经网络作为图像特征提取方法，所述的卷积神经网络可以通过大数据按照所监测图像或检测目标进行训练。3.如权利要求2所述的卷积神经网络，其特征在于，可以全部或部分部署在所述的特征提取图像传感器的特征提取单元内。4.如权利要求3所述的部分部署，其特征在于，在图像特征提取单元内只部署所述卷积神经网络的一部分，而另一部分部署在前端，所述的两部分构成完整的深度学习卷积神经网络。5.如权利要求4所述的两部分卷积神经网络，其特征在于，部署完成后，可以作为一个整体进行训练。6.如权利要求4所述的两...

【专利技术属性】
技术研发人员：秦绮玲，刘亚平，
申请(专利权)人：苏州米特希赛尔人工智能有限公司，
类型：发明
国别省市：江苏,32