【技术实现步骤摘要】
本专利技术涉及手势识别，特别是涉及一种基于脉冲神经网络的动态视觉手势识别系统。
技术介绍
1、手势识别在计算机视觉任务中占据重要地位，包括人机交互、无接触界面、姿态估计、增强现实等多个应用领域。其中自然的人机交互方式，因为手势是一种自然而直观的人机交互方式。人们通过手势表达自己的意图，这种交互方式更加接近日常生活中的自然行为，能够提供更直观的用户体验，它跨越种族语言年龄性别，肢体语言，与言语交际紧密结合。而且手势识别允许用户在不触摸设备的情况下进行交互。这在某些情境中非常有用，比如在公共场合的触摸屏设备上，避免了直接接触可能引起的卫生和安全问题。手势还可以传达丰富的语义信息，从简单的手势表示基本指令，到更复杂的手势表示特定操作或意图。这使得手势识别在用户与设备之间传递复杂指令时非常有用。
2、同时低延迟是手势识别系统的一个重要因素，因为感知平滑的交互要求系统在100-200毫秒内做出响应，允许30帧/秒的相机系统只运行几帧。传统相机可能会受到各种运动相关的伪影(运动模糊、滚动快门等)的影响，这可能会影响快速手势的性能。具有挑战性的照明条件是另一个混杂变量，通常通过融合来自不同传感模式的数据来解决，这会增加功耗。
3、现有技术缺点：传统的手势识别系统往往存在实时性较差、功耗较大、手势识别性能较差等问题。
技术实现思路
1、本专利技术提供的一种基于脉冲神经网络的动态视觉手势识别系统，不仅提高了手势识别准确度，同时还具有低延时、低功耗的优点。
2、为达
3、所述dvs相机实时采集动态手势视频数据，并传递给所述异步处理器，所述异步处理器将所述动态手势视频数据转化为具有时间序列属性的神经形态手势数据x，并传递给手势识别模块，所述手势识别模块对所述神经形态手势数据x进行手势识别，输出手势识别结果y。
4、通过上述设计，所述dvs相机采用了事件驱动的工作原理，这意味着它只在感知到场景中像素值变化或亮度变化时才生成事件。相较于传统的帧传感器，它不以固定的帧率捕捉整个场景，而是在有显著亮度变化发生时立即生成事件，这种灵敏度使得dvs相机能够高效地捕捉快速运动、快速变化的场景，并且在高动态范围条件下表现出色。正是由于只有在场景发生变化时才生成事件，dvs相机通常具有较低的功耗。
5、所述手势识别模块为脉冲神经网络snn模型，所述脉冲神经网络snn模型在考虑脉冲信号的时间相关性的同时，通过卷积层捕捉了手势的空间特征，并通过脉冲神经元实现了对时间上动态变化的敏感性，从而提高了手势识别的性能。
6、作为优选：所述手势识别模块为脉冲神经网络snn模型，所述脉冲神经网络snn模型设置有输入层、特征提取单元、分类识别单元和输出层，所述输入层获取所述神经形态手势数据x，并对其进行编码，转化为脉冲序列数据a，然后将所述脉冲序列数据a传递给特征提取单元；
7、所述特征提取单元提取脉冲序列数据a中的手势特征数据b，并将所述手势特征数据b传递给分类识别单元；
8、所述分类识别单元对所述手势特征数据b进行分类识别操作，得到分类结果数据c，并将所述分类结果数据c传递给输出层；
9、所述输出层将所述分类结果数据c转化为连续信号，并输出手势识别结果y。
10、所述输入层采用泊松编码实现对神经形态手势数据x的编码与转化；所述特征提取单元中的每个神经元,可以累积其接收到的脉冲数量,从而捕捉到脉冲序列数据a的整体激活情况。
11、作为优选：所述特征提取单元设置有五层卷积神经网络，五层卷积神经网络结构一致，首尾依次连接，所述第一层卷积神经网络的输入端接所述输入层，第五层卷积神经网络的输出端接分类识别单元；
12、每层所述卷积神经网络依次设置有卷积层、脉冲神经元、池化层。
13、所述卷积层通过卷积操作可以有效地捕捉输入数据的空间结构和局部特征。对于脉冲神经网络snn模型,卷积层的滤波器通常用于检测脉冲序列中的空间模式,从而提取输入数据中的局部特征。
14、所述池化层用于下采样,减小数据的空间分辨率,同时保留重要的特征。在脉冲神经网络snn模型中,池化层有助于降低脉冲序列的时间分辨率,提取输入数据中的重要时序特征,并减少参数。
15、作为优选：所述分类识别单元设置有全连接层和输出脉冲神经元，所述全连接层的输入端接所述特征提取单元，输出端经输出脉冲神经元接所述输出层。
16、所述全连接层用于对特征提取单元输出的数据进行全连接手势特征数据d进行全连接操作。
17、作为优选：所述脉冲神经元和输出脉冲神经元均采用lif积分点火模型，所述lif积分点火模型的微分方程表达式如下：
18、
19、其中，τm表示膜电位变化的时间常数，u表示膜电位，t表示时间，vrest表示神经元的静息电位，i表示输入电流，r表示膜电阻；
20、将所述微分方程近似为差分方程，表达式如下：
21、
22、其中，δu表示膜电位u的变化量，δt表示时间t的变化量；
23、第n层第i个神经元在t+1时刻的膜电位更新方程如下：
24、
25、其中，第n层第i个神经元在t+1时刻的膜电位，表示在t时刻第n层第i个神经元的脉冲发放情况，表示第n层第i个神经元在t时刻的膜电位，表示表示膜电位的衰减，表示权重参数，j表示第n-1层神经元的个数，j表示第j个神经元，1≤j≤j；表示第n层神经元的输出。
26、作为优选：所述lif积分点火模型充电过程的微分方程表达式如下：
27、
28、
29、其中，表示经过信息积累后的膜电位，表示在t时刻第n层第i个神经元的突触前输入，表示第n-1层神经元的输出；
30、所述lif积分点火模型放电过程的微分方程表达式如下：
31、
32、其中，表示第n-1层神经元在t时刻的输出；g()表示阶跃函数，当神经元膜电位达到阈值电压时，则发放脉冲,并将膜电位重置,否者保持静默,表示经过信号积累,发放脉冲后的神经元膜电位；表示第n-1层神经元i在t时刻的膜电位，表示第n-1层神经元的膜电位阈值电压；
33、所述lif积分点火模型重置过程的微分方程表达式如下：
34、
35、其中，表示第n层神经元在t+1时刻的输出。
36、作为优选：所述手势识别结果y为由0和1组成的结果向量，所述结果向量上的每一个向量位上的数代表一种手势种类，哪一向量位上的数为1，分类结果即为该向量位所对应的手势种类；
37、每次输出的结果向量都只有一个本文档来自技高网...
【技术保护点】
1.一种基于脉冲神经网络的动态视觉手势识别系统，其特征在于：包括Speck2e开发板(1)，所述Speck2e开发板(1)上设置有DVS相机(2)和异步处理器(3)，所述DVS相机(2)的输出端与异步处理器(3)的输入端连接，所述异步处理器(3)上部署有手势识别模块(4)；
2.根据权利要求1所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述手势识别模块(4)为脉冲神经网络SNN模型，所述脉冲神经网络SNN模型设置有输入层、特征提取单元、分类识别单元和输出层，所述输入层获取所述神经形态手势数据X，并对其进行编码，转化为脉冲序列数据a，然后将所述脉冲序列数据a传递给特征提取单元；
3.根据权利要求2所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述特征提取单元设置有五层卷积神经网络，五层卷积神经网络结构一致，首尾依次连接，所述第一层卷积神经网络的输入端接所述输入层，第五层卷积神经网络的输出端接分类识别单元；
4.根据权利要求2所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述分类识别单元设置有全连接层和输出脉冲
5.根据权利要求3或4所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述脉冲神经元和输出脉冲神经元均采用LIF积分点火模型，所述LIF积分点火模型的微分方程表达式如下：
6.根据权利要求5所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述LIF积分点火模型充电过程的微分方程表达式如下：
7.根据权利要求1所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述手势识别结果Y为由0和1组成的结果向量，所述结果向量上的每一个向量位上的数代表一种手势种类，哪一向量位上的数为1，分类结果即为该向量位所对应的手势种类；
8.根据权利要求1所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述Speck2e开发板(1)为具有类脑视觉处理器的开发板。
9.根据权利要求1所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述神经形态手势数据X为流式的event型事件数据，即流式数据，其数据格式为四维向量[t,x,y,p]，其中，t表示事件发生的时间点，p表示极性，(x,y)表示发生变化的像素点的位置坐标。
...【技术特征摘要】
1.一种基于脉冲神经网络的动态视觉手势识别系统，其特征在于：包括speck2e开发板(1)，所述speck2e开发板(1)上设置有dvs相机(2)和异步处理器(3)，所述dvs相机(2)的输出端与异步处理器(3)的输入端连接，所述异步处理器(3)上部署有手势识别模块(4)；
2.根据权利要求1所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述手势识别模块(4)为脉冲神经网络snn模型，所述脉冲神经网络snn模型设置有输入层、特征提取单元、分类识别单元和输出层，所述输入层获取所述神经形态手势数据x，并对其进行编码，转化为脉冲序列数据a，然后将所述脉冲序列数据a传递给特征提取单元；
3.根据权利要求2所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述特征提取单元设置有五层卷积神经网络，五层卷积神经网络结构一致，首尾依次连接，所述第一层卷积神经网络的输入端接所述输入层，第五层卷积神经网络的输出端接分类识别单元；
4.根据权利要求2所述的基于脉冲神经网络的动态视觉手势识别系统，其特征在于：所述分类识别单元设置有全连接层和输出脉冲神经元，所述全连接层的输入端接所述特征提取单元，输...
【专利技术属性】
技术研发人员：段书凯，陈艾，王姝，杨斌，王丽丹，
申请(专利权)人：西南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。