【技术实现步骤摘要】
基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统
[0001]本公开涉及脉冲视觉成像及脉冲视觉处理
，尤其涉及一种基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统。
技术介绍
[0002]脉冲神经网络作为第三代神经网络，因其仿生性和低功耗的特性受到科研界和工业界的关注，目前对脉冲图像处理系统的研究处于发展阶段。现有的脉冲图像处理系统包括分立在不同片上的脉冲传感器和脉冲图像处理器，脉冲传感器用于完成对脉冲图像数据的获取，脉冲图像处理器用于加速脉冲神经网络的处理过程。脉冲传感器可以包括灰度脉冲传感器和动态视觉传感器，两者的图像信号都是脉冲数据，符合脉冲神经网络和脉冲图像处理器对输入数据的要求。现有的脉冲图像处理系统存在的问题有：脉冲传感器和脉冲图像处理器之间存在严重的带宽限制；灰度脉冲传感器的读出方式与动态视觉传感器的读出方式不兼容。
技术实现思路
[0003]有鉴于此，本公开的主要目的在于提供一种基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统，以期部分地解决上述提及的技术问题中的至少之一。
[0004]为了实现上述目的，本公开提供了一种基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统，包括：
[0005]片内外数据交互模块，用于获取来自片外存储器的数据；系统微控制模块，用于响应上述来自片外存储器的数据来生成控制信号；传感模块，用于响应上述控制信号和外界环境的光的强度量生成动态视觉像素数据和灰度脉冲像素数据，上述动态视觉像素数据以地址事件表示方式表示，上述灰度脉冲像素数据以...
【技术保护点】
【技术特征摘要】
1.一种基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统，包括：片内外数据交互模块，用于获取来自片外存储器的数据；系统微控制模块，用于响应所述来自片外存储器的数据来生成控制信号；传感模块，用于响应所述控制信号和外界环境的光的强度量生成动态视觉像素数据和灰度脉冲像素数据，所述动态视觉像素数据以地址事件表示方式表示，所述灰度脉冲像素数据以帧方式表示；脉冲图像预处理模块，用于响应所述控制信号将所述动态视觉像素数据恢复为以帧方式表示的动态视觉像素数据帧，还用于响应所述控制信号对所述灰度脉冲像素数据和/或所述动态视觉像素数据帧进行预处理，生成脉冲图像数据；脉冲图像处理模块，用于响应所述控制信号和所述脉冲图像数据，完成脉冲神经网络处理任务，得到识别结果，以便所述片内外数据交互模块输出所述识别结果。2.如权利要求1所述的处理系统，其中，所述传感模块包括：N
×
N像素阵列、动态视觉成像控制模块、灰度脉冲成像控制模块、动态视觉读出模块和灰度脉冲读出模块，其中，N为正整数；其中，所述灰度脉冲成像控制模块用于响应所述控制信号生成灰度脉冲成像控制信号；所述N
×
N像素阵列用于响应所述灰度脉冲成像控制信号和光的强度量生成所述灰度脉冲像素数据，还用于响应光的强度量得到光的强度变化量，以便根据光的强度变化量生成动态视觉像素请求信号；所述动态视觉成像控制模块用于响应所述动态视觉像素请求信号和所述控制信号生成动态视觉像素应答信号，以便所述N
×
N像素阵列响应所述动态视觉像素应答信号产生动态视觉像素信号；所述灰度脉冲读出模块用于响应所述控制信号将所述灰度脉冲像素数据发送到所述脉冲图像预处理模块；所述动态视觉读出模块用于响应所述动态视觉像素信号和所述控制信号生成动态视觉像素数据并发送到所述脉冲图像预处理模块。3.如权利要求2所述的处理系统，其中，所述N
×
N像素阵列包括N
×
N个像素单元，每个像素单元包括：灰度脉冲成像电路、电流镜、动态视觉成像电路和感光二极管；其中，所述感光二极管用于响应光的强度量产生光电流；所述电流镜用于复制所述光电流产生第一路光电流和第二路光电流；所述灰度脉冲成像电路用于响应灰度脉冲成像控制信号，基于所述第一路光电流生成所述灰度脉冲像素数据；所述动态视觉成像电路用于响应所述第二路光电流获得所述光的强度量，根据所述光的强度量得到所述光的强度变化量，并当所述光的强度变化量超过预设阈值时生成所述动态视觉像素请求信号。4.如权利要求1或3所述的处理系统，其中，所述脉冲图像预处理模块包括：动态视觉图像帧恢复模块、亚采样模块、感兴趣区域裁切模块、第一选择器和第二选择器；其中，所述动态视觉图像帧恢复模块用于响应所述控制信号，基于所述动态视觉像素数据生成所述动态视觉像素数据帧；所述第一选择器用于响应所述控制信号，选择将所述动态视觉像素数据帧或灰度脉冲
像素数据输入到所述亚采样模块和/或感兴趣区域裁切模块；所述亚采样模块用于响应所述控制信号，基于所述动态视觉像素数据帧或灰度脉冲像素数据生成N/K
×
N/K个脉冲图像，其中，N/K、N和K为均正整数；所述感兴趣区域裁切模块用于响应所述控制信号，基于所述动态视觉像素数据帧或灰度脉冲像素数据，生成包括H
×
V个感兴趣区域的脉冲图像，其中，H和V为正整数且H和V均小于等于N；以及所述第二选择器用于响应所述控制信号，选择输出所述N/K
×
N/K个脉冲图像和/或所述H
×
V个感兴趣区域的脉冲图像。5.如权利要求4所述的处理系统，其中，所述动态视觉图像帧恢复模块包括：事件组帧恢复模块和时间间隔帧恢复模块；其中，所述事件组帧恢复模块用于将预设数量个所述动态视觉像素数据恢复为一帧所述动态视觉像素数据帧；所述时间间隔帧恢复模块用于基于预设时间间隔，将所述动态视觉像素数据恢复为一帧所述动态视觉像素数据帧；以及所述动态视觉图像帧恢复模块响应所述控制信号，选择通过所述事件组帧恢复模块或时间间隔帧恢复模块得到的动态视觉像素数据帧。6.如...
【专利技术属性】
技术研发人员：康磊，刘力源，杨旭，章宦慧，张弛，于双铭，吴南健，李文昌，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。