一种基于改进CNN网络的空中手写动作识别制造技术

技术编号:20655373 阅读:22 留言:0更新日期:2019-03-23 06:59
本发明专利技术公开了一种改进的卷积神经网络的空中手写动作识别方法,该方法利用多时间序列和部分权重共享技术的CNN对特征进行提取,解决了传统方法需手工设计特征等缺点。该方法主要包括以下内容:1、对传感器数据的预处理以及动作片段提取;2、利用改进的CNN提取动作特征,改进包括引入多时间序列作为输入,在卷积层利用部分权重共享技术一定程度上解决了因传统特征提取导致局部差异性削弱而带来的精度下降问题,使特征更具代表性,在池化层和反向传播上结合部分权重共享做出了相应改进,使网络能进行正确的训练。本发明专利技术通过改进的CNN提高了空中手写动作的识别精度,可用于模式识别系统中,为基于智能腕带的手部动作识别做技术支撑。

【技术实现步骤摘要】
一种基于改进CNN网络的空中手写动作识别
本专利技术属于通信电子技术和模式识别领域,具体涉及一种基于改进CNN网络的空中手写动作识别方法。
技术介绍
近年来随着微电子技术和物联网发展,微型芯片的普及和可穿戴设备的应用,利用智能移动设备内置传感器对人体行为识别具有十分重要的研究和应用价值,很多研究和机构都进行应用开发和科学研究。其中,可穿戴设备因与用户日常生活实时相关,且具有随时随地感知、感知内容丰富、隐私侵入性小等优点,由可穿戴的传感器节点来获取传感信息已经成为有效获取人体运动信息的手段。对于基于可穿戴设备的空中手写动作识别,其关键在于特征的提取,整个过程主要分以下几个阶段:传感器数据采集、数据预处理、动作片段提取、特征提取和分类识别。其中,特征提取的优劣程度对分类精度有着最直接的影响。对于空中手写动作的识别,现有的方案大多是基于传统的手段,需消除空中手写时产生的连笔和人为的设计提取特征,且某些动作易出现识别混淆的情况。而某些不用单独设计提取特征的方法,则较难适应不同动作难易程度不同所导致的传感器数据长度不同的问题。并且,现有的绝大多数深度学习网络模型庞大并不适用于智能腕带端。为此本专利技术提出了一种基于改进CNN网络的空中手写动作识别方法,解决了时序传感器信号数据需人工设计提取特征的缺点。在深度学习网络中,通过传入数据的格式化处理,解决了同时利用多传感器的时间序列作为多通道网络输入以及部分权重共享技术的应用,增加了有效特征维度,同时增强了局部区域的特征提取能力,从而达到提高分类识别的精度。同时,设计了数据格式化模块,解决了输入数据大小不同对全连接层的影响
技术实现思路
本专利技术的目的在于设计一种能应用到智能腕带等设备上的基于深度学习网络,能自动提取空中手写动作传感器特征,对空中手写动作进行识别,同时避开如消除连笔等复杂的数据预处理步骤。为实现上述目的,解决需手工设计特征难以适应不同长度数据,识别易产生混淆等问题。本专利技术提出了一种基于改进CNN网络的空中手写动作识别方法,其主要包括以下步骤:1)数据的采集以及预处理。利用智能手表等可穿戴设备内置三轴加速度传感器和陀螺仪采集空中手写动作的传感器数据,为构建训练数据集首先对采集到的动作传感器数据打上相应动作标签。对采集到的两类传感器数据进行预处理,过滤掉原始传感器数据中的噪音等,得到有效的传感器数据;2)动作片段提取和数据格式化。对预处理过后的传感器数据进行动作片段提取切割,结合人体手部在不发生动作处于相对自然静止的状态下的合传感器数据阈值、传感器数据曲线平滑程度、曲线变化程度等等特征阈值过滤掉一些无效传感器数据(过渡动作数据);对不同尺寸的传感器数据片段进行格式化处理,形成大小尺寸相同的网络输入数据;3)特征提取与分类。对CNN网络做出改进,加入多时间序列和部分权重共享技术,并相应的对max_pooling和反向传播做出改进调整,以适应部分权重共享技术的应用;应用格式化过后的空中手写动作传感器数据对模型进行训练,建立分类识别模型。附图说明图1是本专利技术中系统整体结构流程图的示意图图2是本专利技术中空中手写动作示意图图3是本专利技术中数据格式化示意图图4是本专利技术中改进的CNN网络结构示意图图5是本专利技术中部分权重共享(分块)示意图图6是本专利技术中改进的maxpooling窗口内数据混合示意图具体实施方法下面结合附图对本专利技术的具体实施方式进行描述,以便本领域的技术人员更好的理解本专利技术,并使本专利技术的上述目的、特征和优点能够更加明显易懂。需要特别提醒注意的是,在以下描述中,当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时,这些描述在这里将被忽略。在本专利技术中,包含数据采集与预处理,动作片段提取与数据格式化以及对CNN网络(分类模型)的改进几个步骤。其中对CNN的改进包括多时间序列的应用、部分权重共享技术的应用、max_pooling层和反向传播算法的改进,系统整体结构流程图如图1所示。下面将分别进行详细介绍:1)空中手写动作数据采集与预处理a)传感器数据采集本方法的空中手写动作传感器数据,主要通过佩戴在人体手腕上智能手表(以右手为例)进行采集,其中传感器数据包括加速度传感器数据和陀螺仪。当佩戴了智能手表的手在空中书写特定的动作时,智能手表内置的三轴加速度传感器和三轴陀螺仪分别产生x、y、z三个轴上的运动数据,此处采用相对于人体肩部的绝对坐标系。为便于说明本方法,实验中选择的空中手写动作如图2所示,图中所识别动作分别是空中手画圆、三角形、数字1-9,以及汉字“上”。b)传感器数据预处理对于采集到的加速度传感器数据和陀螺仪传感器数据不可避免的受到噪声的影响。其中加速度传感器噪声主要有两类,一是受重力影响,二是人不自主的一些轻微抖动所带来的高斯白噪声;而陀螺仪数据的噪声主要来自于人不自主的轻微抖动。除此之外,由于数据来自多个不同人,因为相同动作数据之间幅度存在差异性,会对识别精度带来一定影响。因此需对采集到的传感器数据做预处理,其中包括低通滤波、滑动均值滤波以及归一化处理。i.低通滤波剔除重力如上所述,采集到的空中手写动作加速度传感器数据包含了重力加速度,为了得到实际的加速度传感器真实值,需要将其剔除。因此,本方案采用低通滤波算法,剔除重力加速度的影响,得到真实加速度传感器数据,其公式如下所示:gravity=alpha*gravity+(1-alpha)*acc_valuesmotion=acc_values–gravity其中,alpha为常量参数本方案中取值为0.9,gravity为重力加速度值,初始化为0,acc_values为采集到的加速度传感器数据,motion为最后得到的加速度真实值。ii.滑动均值滤波消除噪声如上所述,采集到的加速度传感器数据和陀螺仪数据都包含了噪声。为消除噪声得到更为纯净的传感器数据,本方案采用滑动均值滤波消除噪声影响。首先分别计算加速度和陀螺仪数据三轴平方和分别得到平方和Acc和Gyr,再对两个平方和数据(加速度和陀螺仪)和6个单轴传感器数据(加速度传感器x、y、z轴和陀螺仪x、y、z轴)应用滑动均值滤波,滑动窗口大小设置为8个数据点。2)动作片段提取与数据格式化a)动作片段提取对于采集到的传感器数据,除了包含空中手写动作数据以外还包含了一些过渡动作数据(无效数据),这些无效数据对识别结果将带来很大影响,因此,需要对传感器数据进行动作片段提取,去除掉无效数据,在数据支撑层面上提高识别精度。动作片段提取又分加速度传感器数据的动作片段提取和陀螺仪传感器数据的动作片段提取。i.加速度传感器数据对于加速度传感器数据的动作片段提取,本方案利用滑动窗口技术,对消除噪声过后的加速度平方和进行分割,计算每个窗口内曲线平滑程度Var(方差),并与经验阈值A相比较,判断是否丢弃该窗口内数据(小于A则丢弃),以此得到动作片段1;随后判断动作片段1长度是否小于20,若小于则丢弃,反之则保留,以此得到动作片段雏形;随后将动作片段雏形分别向前、向后延伸N个点得到动作片段2,对动作片段2利用两个滑动窗口进行最终的动作片段提取,滑动窗口1从前往后计算窗口内曲线运动趋势Diff(差分和),并与经验阈值B比较,判断是否丢弃该窗口内数据(小于B则丢弃),当遇到第一个窗口Diff本文档来自技高网
...

【技术保护点】
1.一种基于改进的CNN网络空中手写动作识别方法,其特征在于,利用智能穿戴设备内置的加速度传感器和陀螺仪采集人空中手写动作传感器数据,对数据进行预处理,利用动作片段提取算法对动作片段进行提取,对动作片段的数据格式化,对用于分类的CNN网络进行改进,引入多时间序列和部分权重共享技术,实现对空中手写动作的分类识别;所述传感器数据采集和数据预处理,利用智能手表、腕带等可穿戴设备中内置加速度传感器和陀螺仪采集人手部在空中手写动作的传感器数据,利用归一化、滑动均值滤波、低通滤波等算法对数据进行预处理,去除噪声对识别精度的影响;所述动作片段提取,包括对空中手写动作的陀螺仪数据的动作片段提取和加速度传感器的动作片段提取;所述陀螺仪动作片段提取,利用滑动窗口计算窗口内数据均值,利用经验阈值与均值进行比较,舍弃不满足条件数据,得到动作片段1,再对动作片段1利用两个滑动窗口计算曲线平滑程度以及曲线的运动趋势,与经验阈值相比较,得到最终的动作片段陀螺仪传感器数据S1;所述加速度动作片段提取,利用滑动窗口计算窗口内曲线平滑程度以及曲线运动,与经验阈值相比较,得到动作片段1,再计算动作片段1长度,与预设动作长度阈值相比较,判断是否为有效数据,得到最终的动作片段加速度传感器数据S2;所述动作片段的格式化,分别对S1和S2的X、Y、Z轴数据进行拼接,得到数组S1_1和S2_1,再利用固定尺寸的滑动窗口分别对S1_1和S2_1进行切割,分别将其填充到初始化为0的N*N的矩阵A、B中,最后填充后的矩阵A、B即为格式化后的传感器数据;所述CNN网络的改进主要利用多时间序列和部分权重共享技术,提高对空中手写动作传感器数据的特征提取精度,提高分类模型的总体识别率。...

【技术特征摘要】
1.一种基于改进的CNN网络空中手写动作识别方法,其特征在于,利用智能穿戴设备内置的加速度传感器和陀螺仪采集人空中手写动作传感器数据,对数据进行预处理,利用动作片段提取算法对动作片段进行提取,对动作片段的数据格式化,对用于分类的CNN网络进行改进,引入多时间序列和部分权重共享技术,实现对空中手写动作的分类识别;所述传感器数据采集和数据预处理,利用智能手表、腕带等可穿戴设备中内置加速度传感器和陀螺仪采集人手部在空中手写动作的传感器数据,利用归一化、滑动均值滤波、低通滤波等算法对数据进行预处理,去除噪声对识别精度的影响;所述动作片段提取,包括对空中手写动作的陀螺仪数据的动作片段提取和加速度传感器的动作片段提取;所述陀螺仪动作片段提取,利用滑动窗口计算窗口内数据均值,利用经验阈值与均值进行比较,舍弃不满足条件数据,得到动作片段1,再对动作片段1利用两个滑动窗口计算曲线平滑程度以及曲线的运动趋势,与经验阈值相比较,得到最终的动作片段陀螺仪传感器数据S1;所述加速度动作片段提取,利用滑动窗口计算窗口内曲线平滑程度以及曲线运动,与经验阈值相比较,得到动作片段1,再计算动作片段1长度,与预设动作长度阈值相比较,判断是否为有效数据,得到最终的动作片段加速度传感器数据S2;所述动作片段的格式化,分别对S1和S2的X、Y、Z轴数据进行拼接,得到数组S1_1和S2_1,再利用固定尺寸的滑动窗口分别对S1_1和S2_1...

【专利技术属性】
技术研发人员:王佳昊谢樱姿龙秋玲李亮齐秀秀
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1