本发明专利技术提供了一种神经网络模型、动作识别方法、装置及存储介质，神经网络模型包括多个卷积模块、输出模块、多个注意力子模块和分类模块，多个卷积模块和输出模块依次连接，且每个卷积模块的输出端分别连接至一个注意力子模块的输入端，每个注意力子模块的输入端还分别与输出模块的输出端连接，注意力子模块的输出端与分类模块的输入端连接；注意力子模块，用于获取各个卷积模块输出的局部特征向量和输出模块输出的全局特征向量，分别计算各个局部特征向量和全局特征向量之间的兼容性分数，根据各个局部特征向量和对应的兼容性分数生成新特征向量；分类模块，根据新特征向量确定当前人体动作。本发明专利技术的技术方案能够提高人体动作的识别精度。动作的识别精度。动作的识别精度。
【技术实现步骤摘要】
一种神经网络模型、动作识别方法、装置及存储介质
[0001]本专利技术涉及神经网络
，具体而言，涉及一种神经网络模型、动作识别方法、装置及存储介质。
技术介绍
[0002]近年来，随着移动技术的发展，基于可穿戴设备的人体动作识别(Human Activity Recognition，HAR)成为了人工智能和模式识别领域的新研究点，被广泛地应用在运动活动检测、智能家居和健康支持等领域。
[0003]目前，常采用支持向量机、主成分分析和随机森林等机器学习方法来进行识别，通过手动提取特征，将提取的特征输入到决策表、K近邻(KNN)、决策树和朴素贝叶斯、多层感知(MLP)和逻辑回归等分类器识别人体动作。但是，人工提取特征工作量大、标注困难，且上述分类器在识别类似动作方法准确度较低。
技术实现思路
[0004]本专利技术解决的问题是如何提高人体动作的识别精度。
[0005]为解决上述问题，本专利技术提供一种神经网络模型、动作识别方法、装置及存储介质。
[0006]第一方面，本专利技术提供了一种神经网络模型，包括多个卷积模块、输出模块、多个注意力子模块和分类模块，多个所述卷积模块和所述输出模块依次连接，且每个所述卷积模块的输出端分别连接至一个所述注意力子模块的输入端，每个所述注意力子模块的输入端还分别与所述输出模块的输出端连接，所述注意力子模块的输出端与所述分类模块的输入端连接；
[0007]多个所述卷积模块，用于根据获取的传感器数据逐层进行特征提取，各个所述卷积模块分别输出一个局部特征向量，其中，所述传感器数据由布设在人体上多个位置的传感器检测获得；
[0008]所述输出模块，用于对最后一个所述卷积模块的输出数据进行处理，输出全局特征向量；
[0009]所述注意力子模块，用于获取各个所述卷积模块输出的所述局部特征向量和所述输出模块输出的所述全局特征向量，分别计算各个所述局部特征向量和所述全局特征向量之间的兼容性分数，根据各个所述局部特征向量和对应的所述兼容性分数生成新特征向量；
[0010]所述分类模块，根据所述新特征向量确定当前人体动作。
[0011]可选地，所述卷积模块包括一个或多个卷积层、池化层和展平层，各个所述卷积层依次连接，且最后一个所述卷积层的输出端分别连接至所述池化层的输入端和所述展平层的输入端，所述池化层的输出端连接至另一个所述卷积模块的输入端或所述输出模块的输入端，所述展平层的输出端连接至一个所述注意力子模块的输入端；
[0012]所述卷积层，用于对输入数据进行特征提取，获得所述特征矩阵；
[0013]所述池化层，用于对所述特征矩阵进行降维，获得降维后的特征矩阵，并将所述降维后的特征矩阵传输至相连的下一个所述卷积模块或所述输出模块；
[0014]所述展平层，用于将所述特征矩阵展平成所述局部特征向量。
[0015]可选地，所述注意力子模块具体用于：
[0016]将各个所述局部特征向量分别和所述全局特征向量进行拼接，获得多个拼接向量；
[0017]根据预设的权重向量和所述拼接向量分别确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数。
[0018]可选地，所述注意力子模块具体用于：
[0019]将各个所述局部特征向量分别和所述全局特征向量进行点积运算，确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数。
[0020]可选地，所述注意力子模块具体还用于：根据所述兼容性分数确定各个所述局部特征向量的权重，根据所述权重和所述局部特征向量分别确定各个所述卷积模块对应的输出矢量，将所有所述输出矢量进行组合，获得所述新特征向量。
[0021]可选地，所述输出模块包括依次连接的第一全连接层；
[0022]所述第一全连接层，用于对输入的所述特征矩阵进行缩放，并采用线性整流函数对缩放后的特征矩阵进行激活，获得激活后的特征矩阵。
[0023]可选地，所述分类模块包括第二全连接层，所述第二全连接层用于对所述新特征向量进行分类，确定所述新特征向量对应为各个类别的人体动作的概率，输出概率最大的所述人体动作为所述当前人体动作。
[0024]第二方面，本专利技术提供了一种动作识别方法，其特征在于，包括：
[0025]获取多个传感器数据，其中，各个传感器分别布设在人体上的多个位置；
[0026]将各个所述传感器数据输入训练好的如上所述的神经网络模型，确定当前人体动作。
[0027]可选地，所述确定当前人体动作包括：
[0028]根据所述传感器数据进行多次特征提取，获得多个局部特征向量和一个全局特征向量；
[0029]分别确定各个所述局部特征向量和所述全局特征向量之间的兼容性分数；
[0030]根据所述兼容性分数分别确定各个所述全局特征向量的权重，基于所述权重，根据所述局部特征向量生成新特征向量；
[0031]根据所述新特征向量进行分类，确定所述当前人体动作。
[0032]可选地，所述分别确定各个所述局部特征向量和所述全局特征向量之间的兼容性分数包括：
[0033]将各个所述局部特征向量分别和所述全局特征向量进行拼接，获得多个拼接向量，根据预设的权重向量和所述拼接向量分别确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数；
[0034]或，将各个所述局部特征向量分别和所述全局特征向量进行点积运算，确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数。
[0035]第三方面，本专利技术提供了一种动作识别装置，包括：
[0036]获取模块，用于获取多个传感器数据，其中，传感器布设在人体的多个关节处；
[0037]识别模块，用于将各个所述传感器数据输入训练好的如上所述的神经网络模型，确定人体动作。
[0038]第四方面，本专利技术提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的动作识别方法。
[0039]本专利技术的神经网络模型、人体动作识别方法、装置及存储介质的有益效果是：获取布设在人体上多个位置的传感器检测人体动作输入的传感器数据，将传感器数据输入卷积模块进行特征提取，神经网络模型包括多个依次连接的卷积模块，多个卷积模块层层提取特征，能够提取出更高精度的特征。提取的特征组成对应的卷积模块输出的特征矩阵和局部特征向量，最后一个卷积模块输出的特征矩阵经过输出模块处理，得到整个卷积通道输出的全局特征向量。通过注意力子模块分别确定各个局部特征向量和所述全局特征向量之间的兼容性分数，兼容性分数可反应出各个卷积模块提取的特征与最终输出的特征之间的关联性，可根据兼容性分数聚焦关联性较高的卷积模块，生成新特征向量，能够放大关联性较高的卷积模块输出的局部特征向量，减弱关联性较低的卷积模块输出的局部特征向量，降低干扰，最后通过分类模块确定人体动作，提高了动作识别精度，并且能够基于若标记传感器数据进行识别，降低了工作量。...
【技术保护点】
【技术特征摘要】
1.一种神经网络模型，其特征在于，包括多个卷积模块、输出模块、多个注意力子模块和分类模块，多个所述卷积模块和所述输出模块依次连接，且每个所述卷积模块的输出端分别连接至一个所述注意力子模块的输入端，每个所述注意力子模块的输入端还分别与所述输出模块的输出端连接，所述注意力子模块的输出端与所述分类模块的输入端连接；多个所述卷积模块，用于根据获取的传感器数据逐层进行特征提取，各个所述卷积模块分别输出一个局部特征向量，其中，所述传感器数据由布设在人体上多个位置的传感器检测获得；所述输出模块，用于对最后一个所述卷积模块的输出数据进行处理，输出全局特征向量；所述注意力子模块，用于获取各个所述卷积模块输出的所述局部特征向量和所述输出模块输出的所述全局特征向量，分别计算各个所述局部特征向量和所述全局特征向量之间的兼容性分数，根据各个所述局部特征向量和对应的所述兼容性分数生成新特征向量；所述分类模块，根据所述新特征向量确定当前人体动作。2.根据权利要求1所述的神经网络模型，其特征在于，所述卷积模块包括一个或多个卷积层、池化层和展平层，各个所述卷积层依次连接，且最后一个所述卷积层的输出端分别连接至所述池化层的输入端和所述展平层的输入端，所述池化层的输出端连接至另一个所述卷积模块的输入端或所述输出模块的输入端，所述展平层的输出端连接至一个所述注意力子模块的输入端；所述卷积层，用于对输入数据进行特征提取，获得特征矩阵；所述池化层，用于对所述特征矩阵进行降维，获得降维后的特征矩阵，并将所述降维后的特征矩阵传输至相连的下一个所述卷积模块或所述输出模块；所述展平层，用于将所述特征矩阵展平成所述局部特征向量。3.根据权利要求1所述的神经网络模型，其特征在于，所述注意力子模块具体用于：将各个所述局部特征向量分别和所述全局特征向量进行拼接，获得多个拼接向量，根据预设的权重向量和所述拼接向量分别确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数；或，将各个所述局部特征向量分别和所述全局特征向量进行点积运算，确定各个所述局部特征向量与所述全局特征向量之间的所述兼容性分数。4.根据权利要求1至3任一项所述的神经网络模型，其特征在于，所述注意力子模块具体还用于：根据所述兼容性分数确定各个所述局部特征向量的权重，根据所述权重和所...
【专利技术属性】
技术研发人员：王勃然，姜京池，刘劼，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。