前置楔形棱镜的事件相机制造技术

本发明专利技术公开了一种前置楔形棱镜的事件相机，包括光偏转模块、执行器模块、相机模块和微型计算单元，所述光偏转模块为楔形棱镜，用于使进入的光线产生偏转角度；所述执行器模块用于驱动所述光偏转模块旋转，所述相机模块为事件相机；所述微型计算单元用于控制所述光偏转模块的旋转速度、接收所述执行器模块位置反馈并在所述事件相机和执行器模块的编码器之间同步时间戳。本申请通过在事件相机镜头前方增加一个可控的微动装置，使入射光线不断改变其运动模式。通过这种方式，入射光线可以不断地产生事件。由于圆状轨迹包含所有方向的运动，输出的事件流包含环境的所有边界信息。输出的事件流包含环境的所有边界信息。输出的事件流包含环境的所有边界信息。

【技术实现步骤摘要】
前置楔形棱镜的事件相机


[0001]本专利技术属于事件相机设计
，尤其涉及前置楔形棱镜的事件相机。

技术介绍

[0002]事件相机，是一种生物启发的视觉传感器，可以只捕捉强度变化信息。在一般情况下，场景的强度分布是近似恒定的，视图中的强度变化是由于物体或相机的运动造成的，为此，事件相机一般用于需要捕捉运动信息的应用。除了用于捕捉运动信息外，事件相机还因其在异步低延迟响应和高动态范围方面的独特功能，最近引起了研究和应用的关注。
[0003]尽管只捕捉运动信息（假设光照恒定）对许多应用场景是有益的，但它也使事件相机产生的事件依赖于运动（相机的自我运动或物体运动）。这种对运动的依赖会使生成的事件中的特征随着物体或摄像机的运动而不断变化，我们把这种影响称为 "不稳定的事件特征"。举个例子，如果一个正方形物体在静态摄像机下进行水平平移，我们会看到它的顶部和底部的水平边缘在水平平移过程中不会产生任何事件，现在假设这个正方形将其平移运动从水平方向改为垂直方向，水平边缘的事件会显示出来，但之前可见的垂直边缘的事件会消失。这种 "不稳定的事件特征 "的普遍现象会给特征跟踪等应用带来问题。
[0004]在过去的十年中，有许多研究试图通过算法或后处理方法来消除这个问题。他们要么将事件与之前维护的数据联系起来，要么将事件相机与标准相机相结合。前者通常使用二维/三维事件图或重建的强度图像来保持更多的信息，并尽量减少重射误差以优化事件之间的对应关系。然而，这些方法也会受到噪声的影响，当事件相机缓慢移动或保持静止时，这种情况很常见。后者虽然通过引入标准相机使纹理更加稳定，但由于标准相机在HDR、运动模糊和黑暗场景中的表现不佳，也导致了许多鲁棒性问题。
[0005]上述所有方法都试图在软件方面解决问题，然而，问题从根本上说是由传感器的特性而不是算法的不完善引起的。因此，这些工作并没有从根本上解决问题，完成或恢复丢失信息的难度在理论上是未知的。
[0006]参考文献：
[0007][1]Prophesee, High
‑
speed counting unlocked by event
‑
based vision (2020).
[0008][2]S. Kodors, Point distribution as true quality of lidar point cloud, Baltic Journal of Modern Computing 5, 362
–
378 (2017).
[0009][3]R. Madaan, D. Maturana, S. Scherer, Wire detection using synthetic data and dilated convolutional networks for unmanned aerial vehicles, 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (IEEE, 2017), pp. 3487
–
3494.
[0010][4]P. Arbelaez, M. Maire, C. Fowlkes, J. Malik, Contour detection and hierarchical image segmentation, IEEE transactions on pattern analysis and machine intelligence 33, 898
–ꢀ
916 (2010).
[0011][5]H. Rebecq, R. Ranftl, V. Koltun, D. Scaramuzza, High speed and high dynamic range video with an event camera, IEEE transactions on pattern analysis and machine intelligence 43, 1964
–
1980 (2019).
[0012][6]S. Kreiss, L. Bertoni, A. Alahi, Openpifpaf: Composite fields for semantic keypoint detection and spatio
‑
temporal association, IEEE Transactions on Intelligent Transportation Systems 23, 13498
–
13511 (2021).

技术实现思路

[0013]针对现有技术存在的问题，本申请实施例的目的是提供一种前置楔形棱镜的事件相机，在物理上给事件相机增加一个可控的、可观察的和全方向的微动。
[0014]本申请实施例提供一种前置楔形棱镜的事件相机，包括光偏转模块、执行器模块、相机模块和微型计算单元，所述光偏转模块为楔形棱镜，用于使进入的光线产生偏转角度；所述执行器模块用于驱动所述光偏转模块旋转，所述相机模块为事件相机；所述微型计算单元用于控制所述光偏转模块的旋转速度、接收所述执行器模块位置反馈并在所述事件相机和执行器模块的编码器之间同步时间戳。
[0015]进一步地，所述执行器模块包括一个能提供绝对位置反馈的伺服执行器、一个传动机构以及对应的编码器，所述伺服执行器接收运动指令进行旋转，由所述传动机构带动所述楔形棱镜进行对应旋转，由所述编码器将旋转位置传回所述微型计算单元。
[0016]进一步地，所述执行器模块驱动所述楔形棱镜沿楔形棱镜Z轴旋转，使入射光线不断改变，从而使得所述事件相机输出的事件流包含环境的所有边界信息。
[0017]进一步地，通过外部计算机对所述事件相机输出的事件流中由所述楔形棱镜运动产生的模糊边缘进行补偿。
[0018]进一步地，通过校准偏转角度和初始相位进行补偿：
[0019]为和赋初始值，分别记作和；
[0020]在一段时间内收集一批事件和编码器数据，；
[0021]将事件从空时域转移到域；
[0022]将转移到域的所有事件向后扭曲到以补偿旋转，得到扭曲事件；
[0023]基于事件和扭曲事件构建形封装事件影像，利用所述形封装事件影像构建成本函数，以评估和的质量；
[0024]通过最小化所述成本函数，得到质量最高的和。
[0025]进一步地，设为楔形棱镜的折射角度，通过零位编码器确定。
[0026]进一步地，通过将事件时间戳与楔形棱镜的角度位置同步以实现将事件从空时域转移到域。
[0027]进一步地，扭曲函数为：
[0028][0029]其中，为映射空间，和分别为扭曲前后图像平面上的事件位置，K为相机内参，g函数代表棱镜对入射光的折射函数，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种前置楔形棱镜的事件相机，其特征在于，包括光偏转模块、执行器模块、相机模块和微型计算单元，所述光偏转模块为楔形棱镜，用于使进入的光线产生偏转角度；所述执行器模块用于驱动所述光偏转模块旋转，所述相机模块为事件相机；所述微型计算单元用于控制所述光偏转模块的旋转速度、接收所述执行器模块位置反馈并在所述事件相机和执行器模块的编码器之间同步时间戳。2.根据权利要求1所述的前置楔形棱镜的事件相机，其特征在于，所述执行器模块包括一个能提供绝对位置反馈的伺服执行器、一个传动机构以及对应的编码器，所述伺服执行器接收运动指令进行旋转，由所述传动机构带动所述楔形棱镜进行对应旋转，由所述编码器将旋转位置传回所述微型计算单元。3.根据权利要求1所述的前置楔形棱镜的事件相机，其特征在于，所述执行器模块驱动所述楔形棱镜沿楔形棱镜Z轴旋转，使入射光线不断改变，从而使得所述事件相机输出的事件流包含环境的所有边界信息。4.根据权利要求3所述的前置楔形棱镜的事件相机，其特征在于，通过外部计算机对所述事件相机输出的事件流中由所述楔形棱镜运动产生的模糊边缘进行补偿。5.根据权利要求4所述的前置楔形棱镜的事件相机，其特征在于，通过校准偏转角度和初始相位进行补偿：为和赋初始值，分别记作和；在一段时间内收集一批事件和...

【专利技术属性】
技术研发人员：高飞，何博涛，王泽，周缘，
申请(专利权)人：浙江大学，
类型：发明
国别省市：