事件帧生成方法及装置、电子设备、计算机可读介质制造方法及图纸

本公开提供了一种事件帧生成方法，该方法包括：利用生成网络，生成与待处理的视频数据所对应的事件帧数据；其中，所述事件帧数据的时序与所述视频数据的时序对应，所述事件帧数据包括与所述视频数据中每帧图像对应的事件帧，所述生成网络为预先训练好的包含时序特征的神经网络。本公开还提供了一种生成对抗网络的训练方法、事件流处理方法、事件帧生成装置、训练装置、事件流处理装置、电子设备及计算机可读介质。可读介质。可读介质。

【技术实现步骤摘要】
事件帧生成方法及装置、电子设备、计算机可读介质


[0001]本公开涉及计算机
，特别涉及一种事件帧生成方法、生成对抗网络的训练方法、事件流处理方法、事件帧生成装置、训练装置、事件流处理装置、电子设备及计算机可读介质。

技术介绍

[0002]目前，事件相机(DVS)数据获取方法主要是通过DVS相机直接拍摄得到。相关技术中，缺少快速生成高质量DVS数据的方法。

技术实现思路

[0003]本公开提供一种事件帧生成方法、生成对抗网络的训练方法、事件流处理方法、事件帧生成装置、训练装置、事件流处理装置、电子设备及计算机可读介质。
[0004]根据本公开的第一方面，本公开实施例提供了一种事件帧生成方法，该事件帧生成方法包括：利用生成网络，生成与待处理的视频数据所对应的事件帧数据；其中，所述事件帧数据的时序与所述视频数据的时序对应，所述事件帧数据包括与所述视频数据中每帧图像对应的事件帧，所述生成网络为预先训练好的包含时序特征的神经网络。
[0005]在一些实施例中，在所述生成与待处理的视频数据所对应的事件帧数据之后，所述方法还包括：根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，生成当前事件帧对应的事件流。
[0006]在一些实施例中，所述根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，生成当前事件帧对应的事件流，包括：根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，确定当前事件帧中发生变化的目标事件点；根据所述目标事件点的位置坐标、极性信息以及当前时刻对应的时间戳，生成所述目标事件点对应的事件信息；其中，所述极性信息是根据变化信息确定的，所述事件流包括至少一个所述事件信息。
[0007]在一些实施例中，在所述利用生成网络，生成与待处理的视频数据所对应的事件帧数据之前，还包括：基于生成对抗网络训练得到所述生成网络。
[0008]在一些实施例中，所述生成对抗网络包括生成网络和判别网络；所述基于生成对抗网络训练得到所述生成网络，包括：基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络；基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络；交替迭代进行所述判别网络的训练步骤和所述生成网络的训练步骤，直至迭代次数达到阈值，得到最终的所述生成网络和最终的所述判别网络。
[0009]在一些实施例中，所述基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络，包括：利用当前的所述生成网络，生成与当前的视频数据样本对应的待判别的当前事件帧数据；将所述当前事件帧数据和标准事件帧数据依次输入
当前的所述判别网络，得到当前事件帧数据的判别结果和所述标准事件帧数据的判别结果；根据所述当前事件帧数据的判别结果与所述当前事件帧数据对应的第一标注结果之间的误差，以及所述标准事件帧数据的判别结果与所述标准事件帧数据对应的第二标注结果之间的误差，更新当前的所述判别网络的网络参数；根据更新后的所述网络参数更新当前的所述判别网络；重复进行所述判别网络的网络更新过程，直至误差收敛，从而得到所述优化后的判别网络。
[0010]在一些实施例中，所述基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络，包括：利用当前的所述生成网络，生成与当前的视频数据样本对应的待判别的当前事件帧数据；利用优化后的所述判别网络，对所述当前事件帧数据进行判别；根据判别结果和预先对所述当前事件帧数据的第二标注结果之间的误差，更新当前的所述生成网络的网络参数；根据更新后的所述网络参数更新当前的所述生成网络；重复进行上述当前的所述生成网络的网络更新过程，直至误差收敛，从而得到所述优化后的生成网络。
[0011]在一些实施例中，所述生成网络采用脉冲神经网络。
[0012]在一些实施例中，所述判别网络采用脉冲神经网络或者人工神经网络。
[0013]根据本公开的第二方面，本公开实施例提供了一种生成对抗网络的训练方法，所述生成对抗网络包括生成网络和判别网络，所述生成网络为包含时序特征的神经网络，该训练方法包括：基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络；基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络；交替迭代进行所述判别网络的训练步骤和所述生成网络的训练步骤，直至迭代次数达到阈值，得到最终的所述生成网络和最终的所述判别网络；其中，训练好的所述生成网络用于根据输入的待处理的视频数据生成相应的事件帧数据，所述事件帧数据的时序与所述视频数据的时序对应，所述事件帧数据包括与所述视频数据中每帧图像对应的事件帧。
[0014]根据本公开的第三方面，本公开实施例提供了一种事件流处理方法，基于上述的训练方法训练得到的判别网络，该事件流处理方法包括：获取待判别的目标事件流；根据所述待判别的目标事件流，生成对应的目标事件帧；将所述目标事件帧输入训练好的所述判别网络，得到所述目标事件帧的判别结果，所述目标事件帧的判别结果，用于对所述目标事件流进行数据质量判别。
[0015]根据本公开的第四方面，本公开实施例提供了一种事件帧生成装置，该事件帧生成装置包括：事件帧生成模块，其被配置为利用生成网络，生成与待处理的视频数据所对应的事件帧数据；其中，所述事件帧数据的时序与所述视频数据的时序对应，所述事件帧数据包括与所述视频数据中每帧图像对应的事件帧，所述生成网络为预先训练好的包含时序特征的神经网络。
[0016]在一些实施例中，所述事件帧生成装置还包括：事件流生成模块，其被配置为：根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，生成当前事件帧对应的事件流。
[0017]在一些实施例中，所述事件帧生成装置还包括：网络训练模块，其被配置为基于生成对抗网络训练得到所述生成网络。
[0018]在一些实施例中，所述生成对抗网络包括生成网络和判别网络，所述网络训练模块包括生成网络训练模块、判别网络训练模块以及网络迭代控制模块；所述判别网络训练模块，其被配置为基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络；所述生成网络训练模块，其被配置为基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络；所述网络迭代控制模块，其被配置为控制所述判别网络训练模块和所述生成网络训练模块交替迭代进行所述判别网络的训练步骤和所述生成网络的训练步骤，直至迭代次数达到阈值，得到最终的所述生成网络和最终的所述判别网络。
[0019]在一些实施例中，所述判别网络训练模块被配置为：利用当前的所述生成网络，生成与当前的视频数据样本对应的待判别的当前事件帧数据；将所述当前事件帧数据和标准事件帧数据依次输入当前的所述判别网络，得到当前事件帧数据的判别结果和所述标准事件帧数据的判别结果；根据所述当前事件帧数据的判别结果与所述当前事件帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件帧生成方法，包括：利用生成网络，生成与待处理的视频数据所对应的事件帧数据；其中，所述事件帧数据的时序与所述视频数据的时序对应，所述事件帧数据包括与所述视频数据中每帧图像对应的事件帧，所述生成网络为预先训练好的包含时序特征的神经网络。2.根据权利要求1所述的方法，其中在所述生成与待处理的视频数据所对应的事件帧数据之后，所述方法还包括：根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，生成当前事件帧对应的事件流。3.根据权利要求2所述的方法，其中所述根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，生成当前事件帧对应的事件流，包括：根据当前时刻所对应的当前事件帧和下一时刻所对应的下一事件帧之间的差分数据，确定当前事件帧中发生变化的目标事件点；根据所述目标事件点的位置坐标、极性信息以及当前时刻对应的时间戳，生成所述目标事件点对应的事件信息；其中，所述极性信息是根据变化信息确定的，所述事件流包括至少一个所述事件信息。4.根据权利要求1所述的方法，其中在所述利用生成网络，生成与待处理的视频数据所对应的事件帧数据之前，还包括：基于生成对抗网络训练得到所述生成网络。5.根据权利要求4所述的方法，其中所述生成对抗网络包括生成网络和判别网络；所述基于生成对抗网络训练得到所述生成网络，包括：基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络；基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络；交替迭代进行所述判别网络的训练步骤和所述生成网络的训练步骤，直至迭代次数达到阈值，得到最终的所述生成网络和最终的所述判别网络。6.根据权利要求5所述的方法，其中所述基于当前的所述生成网络，对当前的所述判别网络进行网络训练，得到优化后的判别网络，包括：利用当前的所述生成网络，生成与当前的视频数据样本对应的待判别的当前事件帧数据；将所述当前事件帧数据和标准事件帧数据依次输入当前的所述判别网络，得到当前事件帧数据的判别结果和所述标准事件帧数据的判别结果；根据所述当前事件帧数据的判别结果与所述当前事件帧数据对应的第一标注结果之间的误差，以及所述标准事件帧数据的判别结果与所述标准事件帧数据对应的第二标注结果之间的误差，更新当前的所述判别网络的网络参数；根据更新后的所述网络参数更新当前的所述判别网络；重复进行所述判别网络的网络更新过程，直至误差收敛，从而得到所述优化后的判别网络。
7.根据权利要求5所述的方法，其中所述基于所述优化后的判别网络，对当前的所述生成网络进行网络训练，得到优化后的生成网络，包括：利用当前的所述生成网络，生成与当前的视频数据样本对应的待判别的当前事件帧数据；利用优化后的所述判别网络，对所述当前事件帧数据进行判别；根据判别结果和预先对所述当前事件帧数据的第二标注结果之间的误差，更新当前的所述生成网络的网络参数；根据更新后的所述网络参数更新当前的所述生成网络；重复进行上述当前的所述生成网络的网络更新过程，直至误差收敛，从而得到所述优化后的生成网络。8.根据权利要求1
‑
7任一项所述的方法，其中所述生成网络采用脉冲神经网络。9.根据权利要求5
‑
7任一项所述的方法，其中所述判别网络采...

【专利技术属性】
技术研发人员：吴臻志，高欢欢，麻瑞迪，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：