图像配准、图像采集时间配准方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种图像配准、图像采集时间配准方法、装置、设备及介质。该图像配准方法包括：对动态视觉传感器和图像传感器进行图像采集时间配准；根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。上述技术方案实现了动态视觉传感器和图像传感器间的图像配准，配准后动态视觉传感器图像对物体的感知能力更强。

【技术实现步骤摘要】
图像配准、图像采集时间配准方法、装置、设备及介质
本专利技术实施例涉及图像处理
，尤其涉及一种图像配准、图像采集时间配准方法、装置、设备及介质。
技术介绍
动态视觉传感器(DynamicVisionSensor，DVS)擅长捕获运动物体的时域信息，具有很强的时间灵敏度，但对静态图像的捕获能力不足。相关技术中，动态视觉传感器可同时输出事件流和可见光图像，相当于是一种内部配准的机制，但输出的可见光图像为黑白图，分辨率较低，且输出可见光图像会影响事件流的输出速度，使此方案具有一定的局限性。因此，如何提升动态视觉传感器的物体感知能力(例如物体颜色、物体轮廓灯)是亟待解决的问题。
技术实现思路
本专利技术实施例提供一种图像配准、图像采集时间配准方法、装置、设备及介质，以提升动态视觉传感器的物体感知能力。第一方面，本专利技术实施例还提供了一种图像配准方法，包括：对动态视觉传感器和图像传感器进行图像采集时间配准；根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。第二方面，本专利技术实施例还提供了一种图像采集时间配准方法，包括：响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。第三方面，本专利技术实施例还提供了一种图像配准装置，包括：传感器间图像采集时间配准模块，设置为对动态视觉传感器和图像传感器进行图像采集时间配准；传感器间图像空间配准模块，设置为根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；图像配准模块，设置为基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。第四方面，本专利技术实施例还提供了一种图像采集时间配准装置，包括：传感器图像采集时序信息获取模块，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；传感器间图像采集时间配准模块，设置为根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。第五方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任意实施例所述的图像配准方法，或者实现如本专利技术任意实施例所述的图像采集时间配准方法。第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的图像配准方法，或者实现如本专利技术任意实施例所述的图像采集时间配准方法。本专利技术实施例提供的技术方案，针对动态视觉传感器和图像传感器，首先进行图像采集时间配准，然后基于图像采集时间配准结果进行图像空间配准，进而可以基于动态视觉传感器和图像传感器之间的图像采集时间配准结果和图像空间配准结果，使用图像传感器输出的图像帧对由动态视觉传感器输出的数据进行图像配准，以此实现了动态视觉传感器和图像传感器之间的图像配准，配准后动态视觉传感器图像的物体感知能力更强。附图说明图1是本专利技术实施例一中的一种图像配准方法的流程图；图2是本专利技术实施例二中的一种图像配准方法的流程图；图3是本专利技术实施例二中的一种基于特征的图像配准方法的流程图；图4是本专利技术实施例三中的一种图像配准方法的流程图；图5是本专利技术实施例四中的一种图像采集时间配准方法的流程图；图6是本专利技术实施例五中的一种图像配准装置的结构示意图；图7是本专利技术实施例六中的一种图像采集时间配准装置的结构示意图；图8是本专利技术实施例七中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。为了便于理解，将本专利技术实施例的主要专利技术构思进行简述。动态视觉传感器是一种事件驱动型光电传感器，根据每个像素单元独立感受的光电变化，将激活像素点的位置、事件(ON/OFF)、时间戳等信息编码输出，输出的是事件数据，如<xd,yd,t,c>所示，其中，xd,yd代表光强变化的像素的空间位置，t代表时间戳，c代表光强增强或减弱的变化量。动态视觉传感器具有高灵敏度的特点，仅捕捉运动变化的目标，不记录背景信息，减少了生成的数据量，从而降低了对数据存储、数据算力和传输带宽的要求。传统图像传感器擅长捕获以帧为单位的图像信息，以COMS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)图像传感器为例，其具有很高的图像分辨率，但时间分辨率比较低，容易造成运动模糊，且生成的数据量大。其中，传统的图像传感器采用全幅触发机制，以点为单位，按帧输出图像，所有像素单元曝光固定时长，并全部一次性输出，具有高分辨率(像素数)、成像质量高的特点，但由于信息量大，所以对数据存储、数据算力和传输带宽要求高。动态视觉传感器与传统图像传感器结合可以有效地实现高静态空间分辨率和高动态时间分辨率的双高感知。然而，由于两种传感器在焦距、视野范围、光学器件、曝光原理、数据传输方式等各方面均存在不同，导致两种传感器采集的数据很难在像素级别进行精确对应，影响了二者协同工作时对物体空时感知的精确性。因此，如何实现动态视觉传感器和传统图像传感器之间的图像配准是亟待解决的问题，在完成二者之间的图像配准之后，即可根据传统图像传感器输出的图像帧对动态视觉传感器图像进行配准，进而提升动态视觉传感器图像的物体感知能力。基于上述思考，专利技术人创造性地提出了一种图像配准方法，该方法包括：对动态视觉传感器和图像传感器进行图像采集时间配准；根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传本文档来自技高网...

【技术保护点】
1.一种图像配准方法，其特征在于，包括：/n对动态视觉传感器和图像传感器进行图像采集时间配准；/n根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；/n基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。/n

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：
对动态视觉传感器和图像传感器进行图像采集时间配准；
根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。


2.根据权利要求1所述的方法，其特征在于，根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准，包括：
根据图像采集时间配准结果，获取所述动态视觉传感器在目标配准时间域内输出的目标事件数据，以及所述图像传感器在所述目标配准时间域内输出的目标图像帧；
根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准。


3.根据权利要求1所述的方法，其特征在于，对动态视觉传感器和图像传感器进行图像采集时间配准，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的所述动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的所述图像传感器输出的一组图像帧的帧序号；
根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述图像采集时间配准结果。


4.根据权利要求3所述的方法，其特征在于，根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数，包括：
分别确定每个所述事件序列的事件序号均值；
根据各个所述事件序列的事件序号均值以及各组所述图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将所述各个对应比例的均值作为所述图像采集时间配准参数。


5.根据权利要求2所述的方法，其特征在于，根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准，包括：
根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；
确定所述至少一个目标图像帧对应的特征描述子图像帧；
对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果。


6.根据权利要求1所...

【专利技术属性】
技术研发人员：吴臻志，徐茂轩，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：北京;11