一种基于微透镜阵列的高维光场事件相机及提取方法技术

本发明专利技术公开了一种基于微透镜阵列的高维光场事件相机及提取方法。该相机包括主镜头、微透镜阵列和动态视觉传感器，微透镜阵列放置在主镜头与动态视觉传感器之间；微透镜阵列位于主镜头的成像空间之后，其阵列中的每个微透镜都能够对主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过主镜头和微透镜阵列两次光学成像后投射至动态视觉传感器，动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。利用本发明专利技术能够基于微透镜阵列结合动态视觉传感器实现高维光场事件采集和处理，充分扩展了事件相机的应用场景。应用场景。应用场景。

【技术实现步骤摘要】
一种基于微透镜阵列的高维光场事件相机及提取方法


[0001]本专利技术涉及计算视觉领域，尤其涉及一种基于微透镜阵列的单镜头高维光场事件相机及相应的高维光场事件提取算法。

技术介绍

[0002]传统相机通常以帧的形式进行图像采集和显示，比如传统电影的标准就是以24帧每秒标准进行拍摄和播放。这样的采集形式使得连续帧之间通常存在大量相同的冗余信息，在一些如异常检测、运动追踪等计算机视觉算法应用场景中，这样的冗余往往会带来较大的延迟和额外计算功耗。此外，这种同步采集的方式也会导致采集的数据量和采集成本随着帧率的增加而增加，从而使得高帧率视频拍摄和分析的相关成本变得十分巨大。
[0003]与传统相机的同步采集方式不同，自然界的各种生物视觉系统中，各视觉神经都能够独立产生响应的异步采集方式是一种更加普遍的视觉机制。动态视觉传感器正是受这一异步视觉机制的启发而产生。
[0004]相比于传统相机上以固定帧率的方式进行各像素同步采集的方式，基于动态视觉传感器构建的事件相机的每个像素都能够检测亮度变化并独立的产生响应输出，以异步的方式描述场景内的亮度变化趋势。各个像素检测到的亮度变化响应会被编码为事件流进行输出，对亮度变化的位置、时间和极性进行编码，如事件(x,y,p,t)为典型的事件描述形式，其中x，y表示当前事件在动态视觉传感器上的二维坐标，p表示当前事件的极性，t表示事件的时间戳。事件相机能够提供微秒级的时间分辨率、更大的动态范围、更低的功耗和更高的像素读出带宽，这些特性使得事件相机能够在低延迟、高速、高动态的场景中更具优势。因此，事件相机在计算机视觉领域的应用极具潜力。目前事件相机在特征提取和追踪、高动态图像重建、运动检测等领域的应用研究已经形成了一定的积累，但仍有巨大的潜力亟待挖掘。
[0005]光场相机的出现则突破了传统相机以平面二维坐标描述位置的局限性，以牺牲部分空间分辨率的代价，完成对空间中完整光辐射分布的捕捉；光场成像能够提供光线的角度和空间信息，从而相比于传统相机能够提供更大的景深。光场相机所拍摄的数据经过相位变换和投影积分等后续处理后能够提供如图像的深度和不同深度的重聚焦结果这样的高维度信息。早期的光场数据采集方法存在阵列体积大、同步控制复杂等限制，而基于简化版的四维光线函数构建的手持式光场相机利用微透镜阵列降低了光场图像的采集成本，扩展了采集场景，从而提供了更加丰富的光场应用。同时，光场相机的数据采集也对后续处理的算法提出了更高的要求。基于光场图像的三维重建、运动测速、粒子显微和目标识别等应用都是较为热门的研究方向。
[0006]事件相机和光场相机的发展已经充分说明了计算机视觉任务需要更强大的信息采集方式来挖掘潜力。随着软硬件技术的发展，手持光场相机和事件相机的制作使用成本正在逐渐降低，越来越多的计算机视觉算法应用都以光场相机或者事件相机的拍摄数据作为输入，来获取比传统成像数据更丰富的信息。基于这样的趋势，设计一款将手持式光场相
机和事件相机相结合优势的采集设备，将能够充分结合光场数据的高维度和事件数据的高时间分辨率、高动态特性，对于充分挖掘这两种成像设备的潜力，提升相关视觉任务的算法性能具有十分重要的意义。
[0007]但目前能够基于动态视觉传感器提供类光场的多视角高维度输出的相关研究都需要利用多台事件相机搭建，硬件成本高且同步方法复杂。手持式光场相机的单镜头结合微透镜阵列的结构能够提供一定启发，但仍需要克服动态视觉传感器在光场应用场景下的特性问题。目前关于事件相机的噪声描述模型仍然处在较为初步的研究分析阶段，而事件相机的异步响应也导致光场事件相机无法采用传统光场相机的帧内特征匹配算法来匹配多视角特征点。对于这些问题，较为复杂的算法处理则会引入较大的延迟而消弭。因此能够构建出基于单镜头结合微透镜阵列的光场事件相机及其高维光场事件提取算法成为一个十分重要的课题。

技术实现思路

[0008]针对以上现有技术的变化和特点，本专利技术的目的在于提出一种基于单镜头结合微透镜阵列的光场事件相机及其高维光场事件匹配提取方法。本专利技术能够结合光场相机和事件相机的优势，并充分降低了算法复杂度，避免引入较大的延迟和功耗，在大噪声和标定不准确的情况下仍有极好的鲁棒性。
[0009]本专利技术利用在动态视觉传感器前放置微透镜阵列，并利用光场的几何特性事件相机的异步响应特性构建高效率算法从连续输出的事件流中提取多视角高维光场事件。
[0010]本专利技术的相机具体采用的技术方案如下：
[0011]一种基于微透镜阵列的高维光场事件相机，包括主镜头、微透镜阵列和动态视觉传感器，所述微透镜阵列放置在主镜头与动态视觉传感器之间，其中，所述微透镜阵列位于所述主镜头的成像空间之后，阵列中的每个微透镜都能够对所述主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过所述主镜头和所述微透镜阵列两次光学成像后投射至所述动态视觉传感器，所述动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。
[0012]本专利技术还提供一种利用上述相机进行高维光场事件提取的方法，该方法包括如下步骤：
[0013]步骤1，设所述微透镜阵列为N行M列，共计N*M个视角的子图像，初始化N*M个对应的事件缓冲区用于后续的事件管理；
[0014]步骤2，将所述动态视觉传感器的输出事件e
i
(x
i
,y
i
,p
i
,t
i
)读出后，根据其坐标存储到对应视角的缓冲区，其中i表示读出的第i个事件，x
i
,y
i
表示当前事件在动态视觉传感器上的二维坐标，p
i
表示当前事件的极性，t
i
表示事件的时间戳；
[0015]步骤3，对已经进入缓冲区内存储的事件进行检查，若缓冲区内的事件超过最大队列长度，则根据超出的长度清理缓冲区内最早存储的事件；
[0016]步骤4，判断当前事件进入缓冲区后，是否能够激活限定领域范围内的缓冲区多视角事件组合覆盖达到预设阈值的视角数量，若能够满足阈值限定条件，则进行步骤5，否则进行步骤2；
[0017]步骤5，将最新进入缓冲区的事件所激活的多视角组合涉及到的所有事件取出，在
根据应用场景构建的世界坐标系中，基于对应视角的微透镜中心坐标构建多视角三角投票测量方法的几何空间，即将动态视觉传感器的各响应像素的坐标和对应的微透镜中心连接，在空间中形成多条直线，每条直线都对应采集到的一条光线；
[0018]步骤6，在每一条光线上引入弥散权重机制，即以直线上每个点为中心，k个单位长度为限定范围，将在范围内的直线周围的点都赋予权重；
[0019]步骤7，根据阈值筛选本次多视角三角投票测量空间中的点权重，若存在超过预设阈值的空间点，则判定该空间点涉及的相关光线对应的事件构成了一个高维光场事件，能够从多个视角描述真实空间中的亮度变化；
[0020]步骤8，若动态视觉传感器仍有输出，则返回步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微透镜阵列的高维光场事件相机，其特征在于，该相机包括主镜头、微透镜阵列和动态视觉传感器，所述微透镜阵列放置在主镜头与动态视觉传感器之间，其中，所述微透镜阵列位于所述主镜头之后，阵列中的每个微透镜都能够对所述主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过所述主镜头和所述微透镜阵列两次光学成像后投射至所述动态视觉传感器，所述动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。2.利用如权1所述一种基于微透镜阵列的高维光场事件相机的提取方法，其特征在于，该方法包括如下步骤：步骤1，设所述微透镜阵列为N行M列，共计N*M个视角的子图像，初始化N*M个对应的事件缓冲区用于后续的事件管理；步骤2，将所述动态视觉传感器的输出事件e
i
(x
i
,y
i
,p
i
,t
i
)读出后，根据其坐标存储到对应视角的缓冲区，其中i表示读出的第i个事件，x
i
,y
i
表示当前事件在动态视觉传感器上的二维坐标，p
i
...

【专利技术属性】
技术研发人员：岳涛，孟宇，胡雪梅，包镘超，
申请(专利权)人：南京大学，
类型：发明
国别省市：