本发明专利技术提出一种自适应脉冲生成方法、装置、类脑芯片和电子设备。为了解决现有图像转脉冲方法功耗高、灵活性差及不够合理的问题，本发明专利技术基于对差帧后的各像素坐标对应的差帧像素值或/和脉冲事件数量，判断是否调整帧率或差帧频率，进一步地判断是否及时终止不合理的进程，本发明专利技术的自适应调整方法灵活性高，既能保证在长时间没有变化的环境中低功耗运行，又能在需要的时候迅速捕捉运动变化，还能及时终止不合理的进程，有效消除噪声，具有低功耗、低成本和易实现的特点。本发明专利技术适用于人工智能、类脑芯片、边缘计算领域。边缘计算领域。边缘计算领域。
【技术实现步骤摘要】
自适应脉冲生成方法、装置、类脑芯片和电子设备
[0001]本专利技术涉及一种自适应脉冲生成方法、装置、类脑芯片和电子设备，并具体涉及一种将帧图像转换为目标脉冲序列的方法、装置、类脑芯片和电子设备。
技术介绍
[0002]脉冲神经网络（Spiking Neural Network，SNN），因其丰富的神经动力学特性和脉冲事件的通信方式，在高效处理复杂、稀疏和嘈杂的时空信息方面取得了卓越的性能，是当前最贴近人脑工作模式的神经网络。因其超低功耗、高级智能的前景希望，成为人工智能领域新的研究热点。
[0003]当前，在计算机视觉领域出现一种新型的仿生传感器——事件相机，其异步地测量每像素的亮度变化，并输出一系列脉冲事件，具有超高时间分辨率、低功耗的优点，但该技术尚不成熟，在实际应用中仍有诸多不足。而传统的帧图像传感器成像质量好、信噪比高、技术成熟，其以固定的速率捕捉图像，但不能生成脉冲事件（简称脉冲或事件）。
[0004]因此需要一种具有高信噪比、低功耗、低成本且易实现的脉冲生成技术以满足SNN处理器的应用需求。将帧图像传感器采集的图像转换为脉冲事件的现有技术，具体可以参考：现有技术1：CN111898737A；现有技术2：CN111860786A；现有技术3：EP3789909A1；现有技术4 ：CN112464807A。
[0005]现有技术1
‑
2为将数值/图像转换为脉冲序列，但其仅着眼于将单个像素值或数值转换成随机脉冲序列，并没有完整的图像转脉冲序列方案，尤其是转换成适于SNN处理器的脉冲序列。
[0006]现有技术3
‑
4基于差帧技术，比较两帧不同图像之间的区别生成脉冲事件序列，然而其存在功耗大、实时性不足的问题，且不能排除明显噪声，导致网络性能不佳。
[0007]基于此，本专利技术提出一种自适应脉冲生成方法、装置、类脑芯片和电子设备。
技术实现思路
[0008]为了解决或缓解上述部分或全部技术问题，本专利技术是通过如下技术方案实现的：一种自适应脉冲生成方法，所述自适应脉冲生成方法包括如下步骤：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。
[0009]在某类实施例中，基于脉冲事件数量，生成随机化的目标脉冲序列。
[0010]在某类实施例中，预处理步骤，用于对帧图像进行预处理；所述预处理包括尺寸重塑或/和灰度化。
[0011]在某类实施例中，当差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率；或者，当差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率。
[0012]在某类实施例中，在降低所述帧率或差帧频率第一时间间隔后，恢复帧率或差帧频率至默认值；或/和，当在第二时间间隔内，差帧像素值的总和或/和脉冲事件数量的总和均小于第一阈值，则降低所述帧率或差帧频率。
[0013]在某类实施例中，判断差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值，是否大于第三阈值，若是则不再执行：基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；或者，判断差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值是否大于第三阈值，若是则不再执行：基于脉冲事件数量，生成经过随机化的目标脉冲序列。
[0014]一种自适应脉冲生成装置，用于生成目标脉冲序列，所述自适应脉冲生成装置包括：差帧模块：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；脉冲事件数量生成模块：基于所述差帧像素值生成与像素坐标对应的脉冲事件数量；随机化模块：基于所述脉冲事件数量，生成随机化的目标脉冲序列；第一判断模块：至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。
[0015]在某类实施例中，第二判断模块，判断所述差帧像素值的总和或/和脉冲事件数量的总和，是否大于第三阈值，若是则终止对脉冲事件的随机化操作。
[0016]一种类脑芯片，所述类脑芯片使用如前任意一项所述的自适应脉冲生成方法，或者包括如前任意一项所述的自适应脉冲生成装置。
[0017]在某类实施例中，所述自适应脉冲生成方法或自适应脉冲生成装置，被应用于类脑芯片的帧图像传感器接口中。
[0018]一种电子设备，该电子设备包括如前任一项所述的自适应脉冲生成装置；或者，该电子设备包括如前任一项所述的类脑芯片。
[0019]本专利技术的部分或全部实施例，具有如下有益技术效果：1.本专利技术在生成目标脉冲序列的过程中，可以自适应调整帧率或差帧频率，灵活性高。既能保证在长时间没有变化的环境中低功耗运行，又能在需要的时候迅速捕捉运动变化。
[0020]2.本专利技术可以及时终止不合理的进程（总差帧像素值或总脉冲事件数量过大），有效消除噪声的同时节省功耗。本专利技术通过控制目标脉冲序列中的脉冲数量，保证SNN处理器实时、高效和稳定地运行。
[0021]3.本专利技术硬件实现友好、成本低，与DVS相比，可直接使用电子设备中的已有摄像头，而不必安装一套新的成像模组和传感器。
[0022]4.本专利技术多个步骤可并行处理，节省资源的同时进一步降低功耗。
[0023]更多的有益效果将在优选实施例中作进一步的介绍。
[0024]以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本专利技术文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
[0025]本专利技术任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
[0026]图1为本专利技术某优选实施例中自适应脉冲生成方法的流程图；图2为某实施例中预处理操作包括尺寸重塑和灰度化操作的示意图；图3为本专利技术某实施例中自适应脉冲生成方法的示意图；图4为本专利技术另一优选实施例中自适应脉冲生成方法的流程图；图5为本专利技术某实施例的自适应脉冲生成装置；图6为本专利技术某实施例的自适应脉冲生成及处理系统框图；图7为本专利技术另一实施例的自适应脉冲生成及处理系统框图。
具体实施方式
[0027]由于不能穷尽描述各种替代方案，下面将结合本专利技术实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法包括如下步骤：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。2.根据权利要求1所述的自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法还包括如下步骤：预处理步骤，用于对帧图像进行预处理；所述预处理包括尺寸重塑或/和灰度化。3.根据权利要求1所述的自适应脉冲生成方法，其特征在于：当差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率；或者，当差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率。4.根据权利要求1所述的自适应脉冲生成方法，其特征在于：在降低所述帧率或差帧频率第一时间间隔后，恢复帧率或差帧频率至默认值；或/和，当在第二时间间隔内，差帧像素值的总和或/和脉冲事件数量的总和均小于第一阈值，则降低所述帧率或差帧频率。5.根据权利要求1所述的自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法还包括：判断差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值，是否大于第三阈值，若是则不再执行：基于所述差帧像...
【专利技术属性】
技术研发人员：柯凌云，邢雁南，白鑫，乔宁，
申请(专利权)人：上海时识科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。