具有静态捕捉模式的动态视觉传感系统技术方案

一种动态视觉传感系统，包括动态视觉传感器、与动态视觉传感器相连的AI识别模块、以及与AI识别模块相连的静态模式触发模块。静态模式触发模块适合于触发动态视觉传感器捕获的环境中的强度变化，以观察感兴趣的静态对象，这是传统动态视觉传感器未能捕获的特性。运动识别模块在检测到环境中的运动变化后，适于向静态模式触发模块发送命令以触发强度变化。因此，提出了一种人工智能控制的电子光学系统，通过在传感端触发静态对象的有效强度变化来捕捉感兴趣对象，从而消除现有DVS系统的盲点。从而消除现有DVS系统的盲点。从而消除现有DVS系统的盲点。

【技术实现步骤摘要】
【国外来华专利技术】具有静态捕捉模式的动态视觉传感系统


[0001]本专利技术涉及动态视觉传感器(DVS)相机，利用AI(人工智能)算法检测和识别对象的预定义动作，特别是通过AI控制的电光元件消除检测感兴趣的静态对象的盲点。

技术介绍

[0002]近年来，DVS相机获得了广泛的关注，因为它们可以将视觉动态信号编码成异步的微秒级精度的事件流，然后通过事件流生成帧来跟踪快速移动的对象。与标准的基于帧的摄像机相比，DVS相机具有显著的优势，例如，动态范围非常大、没有运动模糊、延迟属于微秒量级、并且由于没有捕获静态环境信息等冗余信息，其功耗更低。
[0003]然而，大多数DVS相机无法捕捉静态对象，而静态对象在某些应用中是至关重要的，包括人类跟踪和SLAM(同步定位和绘图)，在这些应用中，相对于传感器而言，缓慢移动或静止的对象的状态可能会丢失。因此，现有的DVS系统在对象识别和捕捉方面存在盲点。

技术实现思路

[0004]因此，在一个方面本专利技术提供了一种动态视觉传感系统，其包括动态视觉传感器、与动态视觉传感器相连的AI识别模块、以及与AI识别模块相连的静态模式触发模块。该静态模式触发模块适于在由动态视觉传感器捕获的环境中触发强度变化，以观察静态对象。AI识别模块适于在检测到环境中没有运动变化时，向静态模式触发模块发送命令以触发强度变化。
[0005]在一些实施例中，基于AI的运动识别模块包括对象检测模块，以及与对象检测模块相连的动作分类模块。对象检测模块适于识别环境中的感兴趣对象。动作分类模块适于从检测到的感兴趣对象中检测任何已分类动作。
[0006]在一些实施例中，静态模式触发模块适于在检测到感兴趣动作时触发强度变化。
[0007]在一些实施例中，对象检测模块基于深度学习，并包括瓶颈CSP(Cross Stage Partial，跨阶段局部网络)层；以及添加到瓶颈CSP层的长短期存储器。瓶颈CSP层采用增加的记忆元件，以获得对时空数据的强化学习能力。
[0008]在一些实施例中，动作分类模块适于从对象检测模块接收输入数据流、对输入数据流进行时间转移、并对感兴趣对象的感兴趣动作进行分类。
[0009]在一些实施例中，如果感兴趣对象在动作分类模块检测到感兴趣动作后从环境中消失，则动作识别模块适于向静态模式触发模块发送命令。
[0010]在一些实施例中，静态模式触发模块进一步包括在光路上位于所述动态视觉传感器之前的光学模块、以及连接到光学模块的控制模块。控制模块适于在接收到来自运动识别模块的命令后向光学模块输出控制信号，以便触发强度变化。
[0011]在一些实施例中，光学模块选自液体透镜电光机械模块、微机械模块和偏振控制非机械模块组成的组。在液体透镜电光机械模块的情况下，液体透镜电光机械模块例如可以包含放置在透镜模块之前的最前端位置的液体透镜。液体透镜的聚焦能力被定期改变，
以建立小的聚焦移动，从而在透镜模块后面的动态视觉传感器传感器上诱发静态景物的强度变化。通过散焦和聚焦之间的反复切换，在DVS传感器捕获的数据流中，特别是在对象和图像的边缘，强度会发生变化。
[0012]根据本专利技术的另一个方面，提供了一种偏振控制的光学模块，它包括圆偏振器，适于从以预定的手性进入该圆偏振器的进入光线中，过滤偏振；以及在光路上位于圆偏振器之后的GPA(几何相位轴)模块。GPA模块适于在由控制信号驱动时，改变输入到圆偏振器的环境场景的聚焦。
[0013]在一些实施例中，GPA模块包括第一偏振选择器(Polarization Selector，简称PS)、第一GPA、第二偏振选择器和第二GPA。第一偏振选择器、第一GPA、第二偏振选择器和第二GPA依次排列在光路上。第一偏振选择器适于通过第一电压信号控制滤波偏振的手性。第二偏振选择器适合于通过第二电压信号控制第一GPA的输出手性。第二电压信号与第一电压信号无关。
[0014]在一些实施例中，第一电压信号和第二电压信号被配置为相互颠倒，以便改变由第二GPA输出的环境场景的聚焦。
[0015]在一些实施例中，第一和第二偏振选择器中的每一个都是一个电子控制的双折射液晶半波板(LC
‑
HWP)，它可以逆转在LC
‑
HWP上接收到的光线的偏振状态。
[0016]在一些实施例中，第一和第二偏振选择器中的每一个都包括夹在两个四分之一波板(QWP)之间的铁电液晶半波板(FLC
‑
HWP)。FLC
‑
HWP与电子驱动电路相连。
[0017]在一些实施例中，当电子驱动电路施加给FLC
‑
HWP的电压从负电压变为正电压时，FLC
‑
HWP的光轴在FLC
‑
HWP的基底平面内旋转，或反之亦然。
[0018]在一些实施例中，GPA模块包含有源几何相位轴(AGPA)。AGPA适于控制由控制信号驱动的环境场景的聚焦。
[0019]在一些实施方案中，GPA模块被配置为周期性地改变环境场景的聚焦，以触发环境场景中静态对象的强度变化。
[0020]根据本专利技术的另一个方面，提供了一种使用动态视觉传感器捕捉静态对象的方法。该方法包括以下步骤：在动态视觉传感器捕获的环境中触发强度变化，并观察环境中的静态对象。
[0021]在一些实施例中，该方法进一步包括使用基于AI的算法检测和识别环境中的感兴趣对象的步骤，以及使用动作分类模块检测感兴趣行动的步骤。如果任何感兴趣对象在检测到某种已分类动作后因为成为静态而消失，则触发静态模式，并开始重建感兴趣的静态对象的状态和特征。
[0022]在一些实施例中，对象检测步骤进一步包括卷积神经网络(CNN)骨干，以从图像中提取特征。瓶颈模块生成特征金字塔，其中加入了长短时记忆(LSTM)的记忆元件，以检测对象的不同大小和比例。最后，头部模块提供带有标签的最终检测。检测到的感兴趣对象的序列被输入到动作分类模块中。基础模型使用CNN来计算特征，而时间移动模块沿着时间维度移动特征图，以捕捉时间关系，进行准确的动作分类。
[0023]在一些实施例中，触发步骤包括微电子机械系统(MEMS)，以在环境场景被捕获时振动传感器，从而在振动运动下建立每个DVS像素的强度变化。
[0024]可以看出，本专利技术的实施例大大扩展了DVS相机的功能，不仅可以像DVS相机原来
设计的功能那样跟踪快速移动的对象，而且在需要识别和捕捉一个或多个静态对象的情况下，可以将包括DVS相机在内的动态视觉传感系统切换到静态捕捉模式，在静态对象的边界处，可以捕捉静态对象的强度变化。因此，本专利技术的实施方案所提出的动态视觉传感系统和方法克服了DVS相机只对动态对象敏感的缺点。
[0025]此外，在人工智能，特别是深度学习的帮助下，根据本专利技术的一些实施例的动态视觉传感系统实现了运动识别，并可以识别各种感兴趣动作(例如，一个人无意识地倒在地上)。通过用更多的数据训练人工智能引擎，可以增加可以识本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种动态视觉传感系统，包括：动态视觉传感器；与所述动态视觉传感器相连的AI识别模块；以及与所述AI识别模块相连的静态模式触发模块；其中，所述静态模式触发模块适于在由所述动态视觉传感器捕获的环境中触发强度变化，以观察静态对象；所述AI识别模块适于在检测到所述环境中没有运动变化时，向所述静态模式触发模块发送命令以触发所述强度变化。2.根据权利要求1所述的动态视觉传感系统，其中，其中所述AI识别模块进一步包括：对象检测模块；以及与所述对象检测模块相连的动作分类模块。其中，所述对象检测模块适于识别所述环境中的感兴趣对象；所述动作分类模块适于从检测到的所述感兴趣对象中检测已分类动作。3.根据权利要求2所述的动态视觉传感系统，其中所述静态模式触发模块适于在特定动作被分类，且所述感兴趣对象无法被捕获时，触发所述强度变化。4.根据权利要求2所述的动态视觉传感系统，其中所述对象检测模块基于深度学习，并包括：瓶颈CSP层；和添加到所述瓶颈CSP层的长短期存储器；其中，所述瓶颈CSP层采用了增加的记忆元件，以获得对时空数据的强化学习能力。5.根据权利要求2所述的动态视觉传感系统，其中，所述动作分类模块适于从所述对象检测模块接收输入数据流、对该输入数据流进行时间转移、并对所述感兴趣对象的感兴趣动作进行分类。6.根据权利要求2所述的动态视觉传感系统，其中，如果所述感兴趣对象在所述动作分类模块检测到所述感兴趣动作后从所述环境中消失，则所述AI识别模块适于向所述静态模式触发模块发送所述命令。7.根据权利要求1所述的动态视觉传感系统，其中所述静态模式触发模块进一步包括：光学模块，其在光路上位于所述动态视觉传感器之前；和与所述光学模块相连的控制模块。其中，所述控制模块适于在收到来自所述AI识别模块的所述命令后，向所述光学模块输出控制信号，以触发所述强度变化。8.根据权利要求7所述的动态视觉传感系统，其中所述光学模块选自由液体透镜电光机械模块、微机械模块和偏振控制非机械模块组成的组。9.一种偏振控制的光学模块，包括：圆偏振器，其适合于从以预定的手性进入该圆偏振器的进入光线中，过滤偏振；GPA模块，其在光路上位于所述圆偏振器之后；其中，所述GPA模块适于在由控制信号驱动时，改变输入到所述圆偏振器的环境场景的聚焦。10.根据权利要求9所述的偏振控制的光学模块，其中所述GPA模块包括：第一偏振选择器；
第一GPA；第二偏振选...

【专利技术属性】
技术研发人员：谈铭威，马利克，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：