一种神经形态视觉采样方法及装置制造方法及图纸

本发明专利技术公开了一种神经形态视觉采样方法及装置，方法包括：采集当前场景中不同位置点的光信号并转化为亮度信号；将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。本发明专利技术不使用动态视觉传感器或积分视觉传感器获取脉冲阵列信号，而是通过神经网络进行神经形态的视觉采样，并将视觉分析计算任务与采样一体化，从而可以灵活定制多种视觉采样模型，以适应多场景，多任务的应用需求，提升自使用感知性能。

【技术实现步骤摘要】
一种神经形态视觉采样方法及装置
本专利技术涉及计算机视觉
，具体涉及一种神经形态视觉采样方法及装置。
技术介绍
神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势，在自动驾驶、无人机视觉导航等领域具有广阔的应用前景。目前常用的神经形态视觉传感器有DVS(dynamicvisionsensor，动态视觉传感器)和IVS(IntelligentVisionsensor，积分视觉传感器)。在利用神经形态视觉传感器进行各类视觉任务(如识别、重构、分类)的现有方法中，一种是将神经形态视觉传感器输出的脉冲阵列信号转化为一帧帧的图片，并在此基础上应用传统视觉算法进行分析；另一种是通过深度网络提取脉冲阵列信号的时空特征，并执行后续视觉任务。无论采用哪种方法，都需要先通过神经形态视觉传感器对场景进行拍摄，再根据已有的神经形态表征设计网络并训练，采样模型固定，并不能适应多场景、多任务的应用需求。
技术实现思路
本专利技术的目的是针对上述现有技术的不足提出的一种神经形态视觉采样方法及装置，该目的是通过以下技术方案实现的。本专利技术的第一方面提出了一种神经形态视觉采样方法，所述方法包括：采集当前场景中不同位置点的光信号并转化为亮度信号；将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。本专利技术的第二方面提出了一种神经形态视觉采样装置，所述装置包括：光电转换模块，用于采集当前场景中不同位置点的光信号并转化为亮度信号；脉冲采样编码模块，用于将所述光电转换模块转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；视觉任务模块，用于将所述脉冲采样编码模块得到的脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。基于上述第一方面及第二方面所述的神经形态视觉采样方法及装置，本申请具有如下有益效果：本专利技术不使用动态视觉传感器或积分视觉传感器获取脉冲阵列信号，而是通过神经网络进行神经形态的视觉采样，并将视觉分析计算任务与采样一体化，从而可以灵活定制多种视觉采样模型，以适应多场景，多任务的应用需求，提升自使用感知性能。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术根据一示例性实施例示出的一种神经形态视觉采样方法的实施例流程图；图2为本专利技术根据一示例性实施例示出的一种脉冲采样模型的结构示意图；图3为本专利技术示出的一种积分型脉冲阵列信号的示意图；图4为本专利技术示出的一种差分型脉冲阵列信号的示意图；图5为本专利技术根据一示例性实施例示出的一种视觉任务模型在目标识别场景中的结构示意图；图6为本专利技术根据一示例性实施例示出的一种视觉任务模型在图像重构场景中的结构示意图；图7为本专利技术根据一示例性实施例示出的一种神经形态视觉采样装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。现有的神经形态视觉传感器中，动态视觉传感器也称为事件相机，与传统相机相比，其并未使用固定帧频的采样方式，而是异步将局部强度对比度编码为时间戳事件，其时间分辨率为10Mevent/s，可将高速运动事件记录为时空稀疏事件点阵，即差分型脉冲阵列，因此其适用于动态物体场景的应用，不适用于运动少的场景。而积分视觉传感器是将局部强度积分编码，并通过设定帧率同步发放得到的积分型脉冲阵列信号，其时间分辨率最高可达40KHz，可将高速运动编码为只包括0和1的脉冲三维时空阵列，其适用于静态物体场景的应用，不适用于运动多的场景。由此可见，两种类型的视觉传感器适用场景单一、采样模型固定，并不能适应多场景、多任务的应用需求。为解决上述技术问题，本专利技术不使用动态视觉传感器或积分视觉传感器获取脉冲阵列信号，而是提出一种由神经网络定义的神经形态视觉采样方案，并将视觉分析计算任务与采样一体化，从而可以灵活定制多种视觉采样模型，以适应多场景，多任务的应用需求，提升自使用感知性能。下面以具体实施例对本专利技术提出的神经形态视觉采样方案进行详细阐述。图1为本专利技术根据一示例性实施例示出的一种神经形态视觉采样方法的实施例流程图，该神经形态视觉采样方法应用在采样芯片上，如图1所示，该神经形态视觉采样方法包括如下步骤：步骤101：采集当前场景中不同位置点的光信号并转化为亮度信号。在一些实施例中，通过实时采集当前场景中不同位置点的光信号，并将采集到的光信号转换为电信号，并对电信号进行对数编码以得到亮度信号。其中，对于同一时刻采集的各个位置点的光信号经过光电转换后都会得到一个亮度信号，因此针对当前场景转化得到的亮度信号为时间上连续且具有空间邻域关系的亮度信号。也就是说，针对同一时刻，由不同位置点的亮度信号可以根据位置点的空间邻域光绪组成一个有序排列的亮度矩阵。步骤102：将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号。在一些实施例中，参见图2所示的脉冲采样模型的详细结构，通过本脉冲采样模型中的卷积神经网络对所述亮度信号进行去噪处理和亮度自适应处理得到处理后的亮度信号，并输出到本脉冲采样模型中的循环神经网络中，进而由循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号。进一步地，对于卷积神经网络的具体处理流程包括：通过卷积神经网络中的特征提取模块对同一时间不同位置点亮度信号组成的阵列进行特征提取并输出到卷积神经网络中的去噪模块本文档来自技高网...

【技术保护点】
1.一种神经形态视觉采样方法，其特征在于，所述方法包括：/n采集当前场景中不同位置点的光信号并转化为亮度信号；/n将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；/n将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。/n

【技术特征摘要】
1.一种神经形态视觉采样方法，其特征在于，所述方法包括：
采集当前场景中不同位置点的光信号并转化为亮度信号；
将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；
将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。


2.根据权利要求1所述的方法，其特征在于，所述采集当前场景中的不同位置点的光信号并转化为亮度信号，包括：
实时采集当前场景中不同位置点的光信号；
将采集到的光信号转换为电信号，并对电信号进行对数编码以得到亮度信号；
其中，针对当前场景转化得到的亮度信号为时间上连续且具有空间邻域关系的亮度信号。


3.根据权利要求1所述的方法，其特征在于，所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号，包括：
通过本脉冲采样模型中的卷积神经网络对所述亮度信号进行去噪处理和亮度自适应处理得到处理后的亮度信号，并输出到本脉冲采样模型中的循环神经网络中；
通过所述循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号。


4.根据权利要求3所述的方法，其特征在于，所述通过本脉冲采样模型中的卷积神经网络对所述亮度信号进行去噪处理和亮度自适应处理得到处理后的亮度信号，包括：
通过所述卷积神经网络中的特征提取模块对同一时间不同位置点亮度信号组成的阵列进行特征提取并输出到卷积神经网络中的去噪模块和亮度自适应模块；
通过所述去噪模块对提取到的特征阵列进行去噪处理，得到去噪后的阵列并输出到卷积神经网络中的融合模块；
通过所述亮度自适应模块对提取到的特征进行亮度自适应处理，得到自适应处理后的阵列并输出到所述融合模块；
通过所述融合模块将同一时间不同位置点亮度信号组成的阵列、去噪后的阵列和自适应处理后的阵列进行融合，得到处理后的亮度信号。


5.根据权利要求3所述的方法，其特征在于，所述通过所述循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号，包括：
通过所述循环神经网络中的积分编码网络对处理后的亮度信号...

【专利技术属性】
技术研发人员：田永鸿，康照东，李家宁，周晖晖，张伟，朱林，昌毅，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11