一种仿视网膜中央凹与外周的联合采样方法及装置制造方法及图纸

本发明专利技术公开了一种仿视网膜中央凹与外周的联合采样方法、装置、计算机设备和存储介质。所述方法包括：通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样方法，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。

【技术实现步骤摘要】
一种仿视网膜中央凹与外周的联合采样方法及装置
本专利技术涉及通信
，特别涉及一种仿视网膜中央凹与外周的联合采样方法及装置。
技术介绍
神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势，在自动驾驶、无人机视觉导航等多个领域(尤其是在高速运动或极端光照场景下)具有广阔的应用前景；其对应的研究方向，神经形态视觉，也是计算神经科学与计算机视觉领域的交叉学科与研究热点。在现有的各类神经形态相机中，大部分设计均只基于一种神经形态视觉传感器的原理，只感知物体运动信息或纹理信息，无法做到同时感知；而通过DVS与传统图像相结合的DAVIS系列相机存在帧率不匹配、无法对齐等问题；通过DVS触发积分型传感器的ATIS系列相机存在动态事件丢失、低光照区域过长时间积分等问题，无论何种设计，均无法匹配人眼感知动态与纹理的生物学特征。
技术实现思路
本专利技术实施例的目的在于提供一种仿视网膜中央凹与外周的联合采样方法、装置、计算机设备和存储介质，以解决上述技术问题。第一方面，本申请实施例提供了一种仿视网膜中央凹与外周的联合采样方法，所述方法包括：获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；通过解码模块对所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。在一种实施方式中，所述方法还包括：以脉冲的形式采样并记录光强动态变化以及纹理特征信息；或者，通过生物视觉采样模型对所述异步脉冲信号进行表征，所述异步脉冲阵列信号为时空稀疏的离散点阵。在一种实施方式中，所述生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，所述通过生物视觉采样模型对所述异步脉冲信号进行表征包括：根据所述仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，根据所述仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理结构的编码表征；或者，根据所述仿视网膜外周生理结构与功能模型和所述仿视网膜中央凹生理结构与功能模型，通过所述控制模块在所述动态感知模式和所述纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与纹理信息的融合编码表征。在一种实施方式中，所述方法还包括：对感受野邻域内的光强信息进行采样与编码，得到对应的采样结果和编码结果。在一种实施方式中，所述方法还包括：在每个感受野内获取对应的光强动态变化和纹理信息，并根据所述光强动态变化和所述纹理信息生成动态信息流与纹理信息流，所述动态信息流和所述纹理信息流均采用事件编码格式，所述事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码；通过所述控制模块对所述动态信息流和所述纹理信息流进行控制处理，生成对应的混合编码流，所述混合编码流采用所述事件编码格式。在一种实施方式中，所述方法还包括：获取所述混合编码流；根据同一位置两个事件四元组之间的时间间隔，判断所述混合编码流的类型，得到所述混合编码流的类型；根据所述混合编码流的类型，对所述混合编码流采用对应的预设处理方式进行处理，所述预设处理方式包括对所述混合编码流进行混合编码流分离处理和对所述混合编码流进行场景重构处理。在一种实施方式中，所述方法还包括：获取当前感受野的第一光强值，以及获取用于进行联合采样的采样装置中的电路所记录的第二光强值；将所述第一光强值和所述第二光强值进行比较，若所述第一光强值和所述第二光强值之间差值的绝对值超过预设阈值，则发放该事件，并通过所述采样装置中的所述电路记录当前感受野的当前光强值。第二方面，本申请实施例提供了一种仿视网膜中央凹与外周的联合采样装置，所述装置包括：获取模块，用于获取当前场景中不同空间位置的光强变化信息和物体纹理信息；编码模块，用于根据预设编码方式对所述获取模块获取的所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；以及在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；解码模块，用于对所述编码模块编码出的所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；分析模块，用于根据所述解码模块分离出的所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。第四方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样方法，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本公开实施例提供的一种仿视网膜中央凹与外周的联合采样方法的流程示意图；图2是本专利技术实施例提供的一种动态视觉脉冲信号采样编码与解码的处理流程图；图3是本专利技术实施例提供的一种对信号进行动态感知与纹理感知的处理流程图；图4是本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种仿视网膜中央凹与外周的联合采样方法，其特征在于，所述方法包括：/n获取当前场景中不同空间位置的光强变化信息和物体纹理信息；/n根据预设编码方式对所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；/n在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；/n通过解码模块对所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；/n根据所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。/n

【技术特征摘要】
1.一种仿视网膜中央凹与外周的联合采样方法，其特征在于，所述方法包括：
获取当前场景中不同空间位置的光强变化信息和物体纹理信息；
根据预设编码方式对所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；
在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；
通过解码模块对所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
根据所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
以脉冲的形式采样并记录光强动态变化以及纹理特征信息；或者，
通过生物视觉采样模型对所述异步脉冲信号进行表征，所述异步脉冲阵列信号为时空稀疏的离散点阵。


3.根据权利要求2所述的方法，其特征在于，所述生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，所述通过生物视觉采样模型对所述异步脉冲信号进行表征包括：
根据所述仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据所述仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理结构的编码表征；或者，
根据所述仿视网膜外周生理结构与功能模型和所述仿视网膜中央凹生理结构与功能模型，通过所述控制模块在所述动态感知模式和所述纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与纹理信息的融合编码表征。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对感受野邻域内的光强信息进行采样与编码，得到对应的采样结果和编码结果。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在每个感受野内获取对应的光强动态变化和纹理信息，并根据所述光强动态变化和所述纹理信息生成动态信息流与纹理信息流，所述动态信息流和所述纹理信息流均采用事件编码格式，所述事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码；

【专利技术属性】
技术研发人员：田永鸿，康照东，李家宁，周晖晖，张伟，朱林，昌毅，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11