物体检测方法、装置及存储介质制造方法及图纸

本申请提供一种物体检测方法、装置及存储介质。该物体检测方法包括：确定目标场景的神经形态数据；输入所述神经形态数据至物体检测模型，获得物体检测结果；其中，所述物体检测模型是基于注意力机制优化脉冲神经网络模型得到的。本申请实施例提供的物体检测方法、装置及存储介质，引入时间注意力机制和通道注意力机制构建多维度注意力融合的脉冲神经网络模型，基于该脉冲神经网络模型进行物体检测，实现了动态视觉传感器获取物体的高精度识别以及低能耗检测。及低能耗检测。及低能耗检测。

【技术实现步骤摘要】
物体检测方法、装置及存储介质


[0001]本申请涉及类脑计算
，尤其涉及一种物体检测方法、装置及存储介质。

技术介绍

[0002]动态目标的检测如基于动态视觉传感器(Dynamic Vision Sensor，DVS)的物体检测在人际交互、自动驾驶等方面的应用起到重要作用。这种类脑传感器通常与神经网络算法相结合进行动态目标的检测并达到了较好的检测性能。
[0003]现有技术中，基于人工神经网络(Artifical Neural Networks,ANNs)的物体检测算法的复杂度很高，且需要大量的存储空间和计算资源，导致视觉传感器物体检测系统的能耗过高，无法满足实际应用的需求。

技术实现思路

[0004]本申请实施例提供一种物体检测方法、装置及存储介质，用以解决现有技术中动态视觉传感器获取物体的能耗高的技术问题。
[0005]第一方面，本申请实施例提供一种物体检测方法，包括：
[0006]确定目标场景的神经形态数据；
[0007]输入所述神经形态数据至物体检测模型，获得物体检测结果；
[0008]其中，所述物体检测模型是基于注意力机制优化脉冲神经网络模型得到的；所述注意力机制包括时间注意力机制和通道注意力机制。
[0009]在一些实施例中，所述输入神经形态数据至物体检测模型，获得物体检测结果，包括：
[0010]将所述神经形态数据输入至所述物体检测模型中的脉冲编码层进行脉冲编码，获得脉冲序列；
[0011]将所述脉冲序列输入至所述物体检测模型中的注意力层进行特征提取，获得物体注意力特征；
[0012]将所述物体注意力特征输入至所述物体检测模型中的分类层进行物体分类，获得物体检测结果。
[0013]在一些实施例中，所述将所述脉冲序列输入至所述物体检测模型中的注意力层进行特征提取，获得物体注意力特征，包括：
[0014]基于时间注意力机制对所述脉冲序列进行特征提取，获得时间注意力特征；
[0015]基于通道注意力机制和所述时间注意力特征确定多尺度通道特征；
[0016]基于空间注意力机制和所述多尺度通道特征确定物体注意力特征。
[0017]在一些实施例中，所述基于通道注意力机制和所述时间注意力特征确定多尺度通道特征，包括：
[0018]提取所述时间注意力特征的局部通道信息和全局通道信息；
[0019]将所述局部通道信息和全局通道信息进行融合，得到多尺度通道特征。
[0020]在一些实施例中，所述物体注意力特征的表达式为：
[0021][0022]其中，
[0023][0024]其中，H
t,n
表示在第t个时间点n个中间特征神经元动态变化后获得的物体注意力特征；表示在第t个时间点n个中间特征神经元动态变化后获得的多尺度通道特征；表示空间注意力机制的权重；H
t
‑
1,n
表示在第t
‑
1个时间点n个中间特征神经元动态变化后获得的物体注意力特征；表示在第t个时间点n个中间特征神经元动态变化后获得的时间注意力特征；表示各时间点对应的的集合；表示通道注意力机制的权重；X
n
表示网络的n个中间特征的集合；g
t
(X
n
)表示时间注意力机制的权重。
[0025]在一些实施例中，所述脉冲编码层包括参数带泄漏整合发放PLIF神经元；所述PLIF神经元的表达式为：
[0026]H
t
＝V
t
‑1+k(α)(
‑
(V
t
‑1‑
V
rest
)+X
t
)
[0027]其中，H
t
表示所述PLIF神经元在第t个时间点动态后的膜电位；V
t
‑1表示所述PLIF神经元在第t
‑
1个时间点激活脉冲后的膜电位；α表示可训练参数；表示限制函数，k(α)的取值范围为大于0且小于1，τ表示膜时间常数；V
rest
表示静息电位；X
t
表示所述PLIF神经元在第t个时间点的输入。
[0028]在一些实施例中，确定目标场景的神经形态数据，包括：
[0029]通过动态视觉传感器捕获目标场景的物体，构建神经形态数据集；所述神经形态数据集包括现场场景收集的数据集、转换数据集和生成数据集；所述现场场景收集的数据集是由动态视觉传感器捕获的用于生成未标记数据的数据集；所述转换数据集是基于动态视觉传感器拍摄的静态图像生成的数据集；所述生成数据集是基于标记数据模拟动态视觉传感器特征的算法生成的数据集；
[0030]基于所述神经形态数据集确定目标场景的神经形态数据。
[0031]第二方面，本申请实施例提供一种物体检测装置，包括：
[0032]确定模块，用于确定目标场景的神经形态数据；
[0033]获取模块，用于输入所述神经形态数据至物体检测模型，获得物体检测结果；
[0034]其中，所述物体检测模型是基于注意力机制优化脉冲神经网络模型得到的；所述注意力机制包括时间注意力机制和通道注意力机制。
[0035]在一些实施例中，所述获取模块包括：
[0036]第一输入子模块，用于将所述神经形态数据输入至所述物体检测模型中的脉冲编码层进行脉冲编码，获得脉冲序列；
[0037]第二输入子模块，用于将所述脉冲序列输入至所述物体检测模型中的注意力层进行特征提取，获得物体注意力特征；
[0038]第三输入子模块，用于将所述物体注意力特征输入至所述物体检测模型中的分类层进行物体分类，获得物体检测结果。
[0039]在一些实施例中，所述第二输入子模块包括：
[0040]特征提取单元，用于基于时间注意力机制对所述脉冲序列进行特征提取，获得时间注意力特征；
[0041]第一确定单元，用于基于通道注意力机制和所述时间注意力特征确定多尺度通道特征；
[0042]第二确定单元，用于基于空间注意力机制和所述多尺度通道特征确定物体注意力特征。
[0043]在一些实施例中，所述第一确定单元包括：
[0044]提取子单元，用于提取所述时间注意力特征的局部通道信息和全局通道信息；
[0045]融合子单元，用于将所述局部通道信息和全局通道信息进行融合，得到多尺度通道特征。
[0046]在一些实施例中，所述物体注意力特征的表达式为：
[0047][0048][0049][0050]其中，H
t,n
表示在第t个时间点n个中间特征神经元动态变化后获得的物体注意力特征；表示在第t个时间点n个中间特征神经元动态变化后获得的多尺度通道特征；表示空间注意力机制的权重；H
t
‑
1,n
表示在第t
‑
1个时间点n个中间特征神经元动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体检测方法，其特征在于，包括：确定目标场景的神经形态数据；输入所述神经形态数据至物体检测模型，获得物体检测结果；其中，所述物体检测模型是基于注意力机制优化脉冲神经网络模型得到的。2.根据权利要求1所述的物体检测方法，其特征在于，所述输入神经形态数据至物体检测模型，获得物体检测结果，包括：将所述神经形态数据输入至所述物体检测模型中的脉冲编码层进行脉冲编码，获得脉冲序列；将所述脉冲序列输入至所述物体检测模型中的注意力层进行特征提取，获得物体注意力特征；将所述物体注意力特征输入至所述物体检测模型中的分类层进行物体分类，获得物体检测结果。3.根据权利要求2所述的物体检测方法，其特征在于，所述将所述脉冲序列输入至所述物体检测模型中的注意力层进行特征提取，获得物体注意力特征，包括：基于时间注意力机制对所述脉冲序列进行特征提取，获得时间注意力特征；基于通道注意力机制和所述时间注意力特征确定多尺度通道特征；基于空间注意力机制和所述多尺度通道特征确定物体注意力特征。4.根据权利要求3所述的物体检测方法，其特征在于，所述基于通道注意力机制和所述时间注意力特征确定多尺度通道特征，包括：提取所述时间注意力特征的局部通道信息和全局通道信息；将所述局部通道信息和全局通道信息进行融合，得到多尺度通道特征。5.根据权利要求3所述的物体检测方法，其特征在于，所述物体注意力特征的表达式为：其中，其中，其中，H
t,n
表示在第t个时间点n个中间特征神经元动态变化后获得的物体注意力特征；表示在第t个时间点n个中间特征神经元动态变化后获得的多尺度通道特征；表示空间注意力机制的权重；H
t
‑
1,n
表示在第t
‑
1个时间点n个中间特征神经元动态变化后获得的物体注意力特征；表示在第t个时间点n个中间特征神经元动态变化后获得的时间注意力特征；表示各时间点对应的的集合；表示通道注意力机制的权重；X
n
表示网络的n个中间特征的集合；g
t
(X
n
)表示时间注意力机制...

【专利技术属性】
技术研发人员：李婷婷，李尧尧，陈亮，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：