音视频识别方法、装置、电子设备及脉冲相机制造方法及图纸

技术编号:41418428 阅读:27 留言:0更新日期:2024-05-21 20:51
本申请提供一种音视频识别方法、装置、电子设备及脉冲相机,该方法包括:获取待识别音视频数据的脉冲序列,并对所述待识别音视频数据的脉冲序列进行分段,得到多个音视频脉冲片段;将所述多个音视频脉冲片段输入循环脉冲神经网络,利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理;对所述循环脉冲神经网络的输出进行脉冲解码,并依据解码结果确定所述待识别音视频数据的识别结果。该方法可以降低音视频识别的功耗,扩展音视频识别的适用场景。

【技术实现步骤摘要】

本申请涉及机器学习,尤其涉及一种音视频识别方法、装置、电子设备及脉冲相机


技术介绍

1、当前用于音频、视频等时序信号识别任务的神经网络模型可分为传统人工神经网络以及脉冲神经网络。脉冲神经网络由于采用离散量传递信息,相比传统人工神经网络的功耗较低,配合ai神经形态计算单元可实现极低功耗的运行。

2、如何采用脉冲神经网络实现音频/视频识别成为热门研究方向。


技术实现思路

1、有鉴于此,本申请提供一种音视频识别方法、装置及电子设备。

2、具体地,本申请是通过如下技术方案实现的:

3、根据本申请实施例的第一方面,提供一种音视频识别方法,包括:

4、获取待识别音视频数据的脉冲序列,并对所述待识别音视频数据的脉冲序列进行分段,得到多个音视频脉冲片段;

5、将所述多个音视频脉冲片段输入循环脉冲神经网络,利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理;其中,对于首个音视频脉冲片段之外的任一音视频脉冲片段,在利用所述循环脉冲神经网络对该音视频脉冲片段进行推本文档来自技高网...

【技术保护点】

1.一种音视频识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述依据解码结果确定所述待识别音视频数据的识别结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理,包括:

4.根据权利要求3所述的方法,其特征在于,所述利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述循环脉冲神经网络通过以下方式得到:

6.根据权利要求1所述的方法,其特征在于,所述获取待识别音视频数据的脉冲...

【技术特征摘要】

1.一种音视频识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述依据解码结果确定所述待识别音视频数据的识别结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理,包括:

4.根据权利要求3所述的方法,其特征在于,所述利用所述循环脉冲神经网络对所述多个音视频脉冲片段进行推理,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述循环脉冲神经网络通过以下方式得到:

6...

【专利技术属性】
技术研发人员:张京韧王晶晶谢迪浦世亮
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1