从事件相机中的局部补块联合学习视觉运动和置信度制造技术

一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件确定该组像素的一组电压；基于该组像素的该组电压产生一组图像；将该组图像输入到配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入到第一神经网络和第二神经网络中，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和所述置信度分数。估计和所述置信度分数。估计和所述置信度分数。

【技术实现步骤摘要】
【国外来华专利技术】从事件相机中的局部补块联合学习视觉运动和置信度


[0001]本公开涉及使用诸如动态视觉传感器的基于事件的相机(DVS)来执行运动估计。

技术介绍

[0002]仅当在其视场中的对数光强度存在超过阈值的变化时，在基于事件的相机中的各个像素才报告。这种操作可以非常快速地执行，而不受相邻像素的影响，并且具有最小绝对光强度的影响。这产生了无需高功率或者限制为统一和良好照明环境的、例如低延迟视觉的固有优点。以这种方式，基于事件的相机对于需要精确定时以及在照明条件的极端变化下理想不变的基于运动的任务是有吸引力的。随着新的数据处理技术的发展，可以实现基于事件视觉的其它优点，例如由于其稀疏的、异步的输出而用于具有低计算成本的视觉的潜力。

技术实现思路

[0003]技术方案
[0004]一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件，确定该组像素的一组电压；基于该组像素的一组电压，产生一组图像；将该组图像输入到配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入至配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入至第一神经网络和第二神经网络，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和置信度分数。
附图说明
[0005]从以下结合附图的描述中，本公开的实施方式的上述和其它方面、特征和方面将变得更加明显，其中：
[0006]图1是根据实施方式的使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的示例系统的示意图；
[0007]图2是根据一个实施方式的用于使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的系统的装置的示意图；
[0008]图3是根据实施方式的图2的装置的部件的示意图；
[0009]图4是根据实施方式的视觉运动估计装置的部件的示意图；
[0010]图5是使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的方法的流程图；以及
[0011]图6是用于使用神经网络确定要用于生成一组图像的一组像素的尺寸的方法的流程图。
具体实施方式
[0012]最佳模式
[0013]根据示例性实施方式的一方面，一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件，确定该组像素的一组电压；基于该组像素的一组电压，产生一组图像；将该组图像输入至配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入至配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入到第一神经网络和第二神经网络，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和置信度分数。
[0014]根据示例性实施方式的一方面，一种装置可以包括配置为存储指令的存储器；以及处理器，配置为执行所述指令以：获得与对象相关联的动态视觉传感器的一组像素的一组事件，基于该组事件确定该组像素的一组电压，基于该组像素的一组电压产生一组图像，将该组图像输入至配置为输出所述对象的视觉运动估计的第一神经网络中，将该组图像输入至配置为输出所述第一神经网络输出的视觉运动估计的置信度分数的第二神经网络，基于将该组图像输入到第一神经网络和第二神经网络中，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数，提供对象的视觉运动估计和置信度分数。
[0015]根据示例性实施方式的一方面，非暂时性计算机可读介质可以存储一条或多条指令，所述一条或多条指令在由装置的一个或多个处理器执行时，使得所述一个或多个处理器：获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件确定该组像素的一组电压；基于该组像素的一组电压产生一组图像；将该组图像输入到配置为输出所述对象的视觉运动估计的第一神经网络中；将该组图像输入配置为输出所述第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入到第一神经网络和第二神经网络中，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和置信度分数。
[0016]其他方面将部分地在随后的描述中阐述，并且将部分地从描述中显而易见，或者可以通过本公开所公开的实施方式的实践来获知。
[0017]专利技术模式
[0018]以下对示例性实施方式的详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元件。
[0019]本公开的示例性实施方式涉及用于使用一组神经网络获得对象的视觉运动估计和对象的视觉运动估计的置信度分数的方法和系统。示例性实施方式使用动态视觉传感器的像素阵列的像素子集，来获得视觉运动估计，并针对像素阵列的每个子集获得的各自的视觉运动估计值和置信度分数。以这种方式，示例实施方式允许以低计算成本进行更快和更精确的视觉运动估计，从而减少等待时间，并节省视觉运动估计装置的处理器和存储器资源。
[0020]图1是根据实施方式的使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的示例系统的示意图。
[0021]如图1所示，视觉运动估计装置可以基于动态视觉传感器的一组像素的一组电压生成一组图像110。此外，视觉运动估计装置可以将该组图像110输入到第一神经网络120中，该第一神经网络120配置为输出由动态视觉传感器检测的对象的视觉运动估计130，并
且可以将该组图像110输入到第二神经网络140中，该第二神经网络140配置为输出由第一神经网络120输出的视觉运动估计130的置信度分数150。视觉运动估计装置可以基于将该组图像110输入到第一神经网络120和第二神经网络140，来获得对象的视觉运动估计130和对象的视觉运动估计130的置信度分数150。此外，视觉运动估计装置可以提供对象的视觉运动估计130和置信度分数150。
[0022]与动态视觉传感器通信的装置可以使用视觉运动估计和置信度分数。例如，无人驾驶车辆的装置可以利用视觉运动估计和置信度分数来控制无人驾驶车辆的轨迹，以避免碰撞、输出警告等。作为另一示例，监视系统可以利用视觉运动估计和置信度分数来监视特定区域、通知授权机构等。作为另一示例，机器人可以利用视觉运动估计和置信度分数来操纵部件，以避免冲突、路线计划等。以此方式，本文的一些实现允许与基于事件的相机相关联的装置更准确且快速地确定装置和/或周围对象的运动，而且这样做的同时基于本文的一些实现的降低的计算复杂度节省处理器和/或存储器资源。
[0023]图2是根据一个实施方式的用于使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的系统的装置的示意图。图2包括DVS 210、视觉运动估计装置220、服务器230和网络240。DVS 210、视觉运动估计装置220和服务器230可以经由有线连接、无线连接或有线和无线连接的组合互连。
[0024]DVS 210包括配置为基于对象相对于DVS 210的运动来检测光本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：获取与对象相关联的、动态视觉传感器的一组像素的一组事件；基于所述一组事件，确定所述一组像素的一组电压；基于所述一组像素的所述一组电压，产生一组图像；将所述一组图像输入第一神经网络，所述第一神经网络配置为输出所述对象的视觉运动估计；将所述一组图像输入第二神经网络，所述第二神经网络配置为输出所述第一神经网络输出的所述视觉运动估计的置信度分数；基于将所述一组图像输入到所述第一神经网络和所述第二神经网络中，获得所述对象的所述视觉运动估计和所述对象的所述视觉运动估计的所述置信度分数；以及提供所述对象的所述视觉运动估计和所述置信度分数。2.根据权利要求1所述的方法，其中，所述一组事件包括所述一组像素的坐标值、所述一组像素的极性值、以及所述一组事件的时间。3.如权利要求1所述的方法，还包括：基于第一时间常数，确定第一组电压值；基于不同于所述第一时间常数的第二时间常数，确定第二组电压值；以及基于所述第一组电压值和所述第二组电压值，生成所述一组图像。4.如权利要求1所述的方法，还包括：使用第三神经网络，确定要用于生成所述一组图像的所述一组像素的尺寸。5.如权利要求4所述的方法，还包括：基于所述对象的类型，确定所述一组像素的所述尺寸。6.如权利要求4所述的方法，还包括：基于所述对象的尺寸，确定所述一组像素的所述尺寸。7.如权利要求4所述的方法，还包括：基于所述动态视觉传感器要检测的对象的数目，确定所述一组像素的所述尺寸。8.一种装置，包括：存储器，配置为存储指令；以及处理器，配置为执行所述指令以：获取与对象相关联的、动态视觉传感器的一组像素的一组事件；基于所述一组事件，确定所述一组像素的一组电压；基于所述一组...

【专利技术属性】
技术研发人员：丹尼尔，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：