特征提取器及方法技术

本发明专利技术公开了一种特征提取器及方法

【技术实现步骤摘要】
特征提取器及方法、点云处理网络和芯片


[0001]本专利技术涉及一种特征提取器及方法
、
点云处理网络和芯片，尤其涉及一种基于张量序列分解的轻量级特征提取器及方法
、
点云处理网络和芯片
。

技术介绍

[0002]与传统等时间间隔采样的帧图像传感器不同，事件相机或
DVS(
动态视觉传感器
)
基于光强的相对变化产生事件
(
也称为事件流
、
脉冲流
)
，事件输出可达到每秒百万事件，具有超低功耗
、
低延迟
、
高动态范围等优势
。
[0003]DVS
输出的事件包含坐标
、
时间和极性，没有强度
。
对于人工神经网络
ANN
来说，无法分析事件产生的原因，可能会提供错误的特征信息，此外，
ANN
通常需要将一段时间内的事件压缩成图片或体素数据进行处理，如图1所示，这种方法消耗大量的计算资源，增加数据密度和处理量，削弱事件相机数据稀疏的优势，无法适用于动作快速移动的场景
。
[0004]为了在有限的计算资源下完成处理，基于点
(Point)
的网络
(PointNet)
使得将事件数据直接作为输入成为可能，如图2所示
。
然而，现有的点云网络在准确性方面还有所欠缺，并且大多数现有技术都集中在优化网络结构上，对采样点的关注相对较少
。
由于点云网络只对
DVS
事件的一小部分
(
通常为
0.1
％至1％
)
进行采样，且
DVS
事件的点密度随时间变化，因此，现有技术中使用的随机采样可能会丢失有价值的信息并难以保持动作识别的高精度
。
此外，现有点云处理网络模型仍不够精简，难以部署在电池供电或资源受限的设备上
。
[0005]脉冲神经网络是第三代神经网络，其可以独特地处理这种稀疏和异步的信息类型，特别适合于基于事件的视觉领域，然而由于其需要基于异步电路进行设计，设计难度高，且缺乏专用于异步设计的商用
EDA
工具，硬件化实现以及测试难度大
。
[0006]鉴于现有技术中存在的上述问题，需要一种基于事件的轻量级动作识别方法，参数量和计算量小
、
功耗低，采样均匀
、
有效，具有高精度，资源需求小且容易硬件实现
。

技术实现思路

[0007]为了解决或缓解上述部分或全部技术问题，本专利技术是通过如下技术方案实现的：
[0008]一种特征提取器，应用于神经网络，包括权重压缩模块，用于使用张量序列分解方法对神经网络的权重参数进行压缩；
[0009]所述张量序列分解方法，用于将
n
维原始权重参数重构为
n
个张量核心的乘积，
n
为正整数，
l1，
l2，
...
，
l
n
为索引，
m∈[1
，
n]，其中，所述张量核心是三维张量
r
m
‑1×
l
m
×
r
m
，
r
m
为张量核心的秩
。
[0010]使用双索引向量
o
m
和
p
m
表示
l
m
：
l
m
＝
o
m
×
p
m
，其中
o
m
、p
m
分别表示突触权重前后两层神经网络的宽度
。
[0011]某类实施例中，
r
m
大于或等于第三阈值，且小于或等于第四阈值
。
[0012]某类实施例中，将所述
l
m
和双索引向量分解为高阶或高维向量
。
[0013]某类实施例中，所述
l
m
和双索引向量被分解的阶数或维数大于或等于第五阈值，且小于或等于第六阈值
。
[0014]某类实施例中，所述特征提取器包括至少一级相互耦接的局部特征提取模块和全局特征提取模块；
[0015]所述局部特征提取模块用于对所述特征提取器的输入进行分组，实现局部特征提取，随后全局特征提取模块对提取的局部特征进行综合，建立全局关系
。
[0016]某类实施例中，所述局部特征提取模块包括分组单元
、
残差局部特征提取单元以及池化单元；
[0017]所述分组单元用于将所述特征提取器的输入进行分组；
[0018]所述残差局部特征提取单元与所述分组单元耦接，所述池化单元与所述残差局部特征提取单元耦接，通过对每组数据分别进行残差特征提取和池化，获得与各组对应的局部特征；
[0019]所述全局特征提取模块，用于将各组的局部特征合并，以获得表示全局特征维度的张量
。
[0020]某类实施例中，所述池化为最大池化
、
平均池化或求和池化中的一种
。
[0021]某类实施例中，选取
S
个关键点，在各关键点周围获取至少一个数据作为同一组，由此得到
S
组数据，其中
S
为正整数
。
[0022]某类实施例中，基于随机采样或最远点采样方法选择至少
S
个关键点；
[0023]基于
K
邻近方法选择关键点周围至少一个数据作为一组，或者在关键点周围一定范围的空间域中均匀或者随机选择至少一个数据作为一组
。
[0024]某类实施例中，所述全局特征提取模块通过残差连接进行全局特征提取
。
[0025]某类实施例中，所述残差局部特征提取单元包括升维单元与残差特征提取单元；
[0026]所述升维单元用于提升维度；
[0027]所述残差特征提取单元与所述升维单元耦接，其输入和输出维度相同
。
[0028]某类实施例中，所述残差特征提取单元或
/
和所述全局特征提取模块包括：
[0029]若干神经元集群；
[0030]经第一权重矩阵加权，将所述残差特征提取单元或所述全局特征提取模块的输入投射至第一神经元集群；
[0031]经第二权重矩阵加权，将第一神经元集群的输出投射至第二神经元集群，依次类推；
[0032]第
M
‑1神经元集群的输出经第二权重矩阵加权后与所述残差特征提取单元或所述全局特征提取模块的输入求和，将所述求和结果投射至第...

【技术保护点】

【技术特征摘要】
1.
一种特征提取器，其特征在于，应用于神经网络，包括：权重压缩模块，用于使用张量序列分解方法对神经网络的权重参数进行压缩；所述张量序列分解方法，用于将
n
维原始权重参数重构为
n
个张量核心的乘积，
n
为正整数，
l1，
l2，
...
，
l
n
为索引，
m∈[1,n]
；其中，所述张量核心是三维张量
r
m
‑1×
l
m
×
r
m
，
r
m
为张量核心的秩
。2.
根据权利要求1所述的特征提取器，其特征在于，包括：所述特征提取器包括至少一级相互耦接的局部特征提取模块和全局特征提取模块；所述局部特征提取模块用于对所述特征提取器的输入进行分组，实现局部特征提取，随后全局特征提取模块对提取的局部特征进行综合，建立全局关系
。3.
根据权利要求2所述的特征提取器，其特征在于，包括：所述局部特征提取模块包括分组单元
、
残差局部特征提取单元以及池化单元；所述分组单元用于将所述特征提取器的输入进行分组；所述残差局部特征提取单元与所述分组单元耦接，所述池化单元与所述残差局部特征提取单元耦接，通过对每组数据分别进行残差特征提取和池化，获得与各组对应的局部特征；所述全局特征提取模块，用于将各组的局部特征合并，以获得表示全局特征维度的张量
。4.
根据权利要求3所述的特征提取器，其特征在于，包括：所述残差局部特征提取单元包括升维单元与残差特征提取单元；所述升维单元用于提升维度；所述残差特征提取单元与所述升维单元耦接，其输入和输出维度相同
。5.
根据权利要求4所述的特征提取器，其特征在于，包括：所述残差特征提取单元或
/
和所述全局特征提取模块包括：若干神经元集群；经第一权重矩阵加权，将所述残差特征提取单元或所述全局特征提取模块的输入投射至第一神经元集群；经第二权重矩阵加权，将第一神经元集群的输出投射至第二神经元集群，依次类推；第
M
‑1神经元集群的输出经第二权重矩阵加权后与所述残差特征提取单元或所述全局特征提取模块的输入求和，将所述求和结果投射至第
M
神经元集群，第
M
神经元集群的输出作为所述残差特征提取单元或所述全局特征提取模块的输出，其中
M
为大于或等于2的正整数
。6.
...

【专利技术属性】
技术研发人员：程伯骏，任宏伟，周悦，
申请(专利权)人：香港科技大学广州，
类型：发明
国别省市：