一种基于视觉图像的动作识别方法及系统技术方案

本发明专利技术提供一种基于视觉图像的动作识别方法及系统，涉及图像识别技术领域，所述方法获取待识别的视频信息，待识别的视频信息包括实验过程中待识别的动作；将待识别的视频信息发送至训练后的视频预测模型，得到视频序列信息，视频序列信息包括按顺序排列的视频段信息；将视频序列信息进行特征提取，得到特征向量信息，特征向量信息包括视频序列的时空特征向量；将时空特征向量进行增强，得到增强后的时空特征向量；根据增强后的时空特征向量对待识别的实验动作进行识别，本发明专利技术可以准确的识别视频序列中的时空特征信息并对其进行增强，从而有效的提高实验动作识别的准确率

【技术实现步骤摘要】
一种基于视觉图像的动作识别方法及系统


[0001]本专利技术涉及图像识别
，具体而言，涉及一种基于视觉图像的动作识别方法及系统
。

技术介绍

[0002]在现有技术中，一般将学生的视频信息直接发送至模型进行识别，但是由于进行实验操作的实验室，其背景通常为静态，没有任何的动态变化，导致模型对视频信息的特征难以准确识别，从而使动作识别的错误率较高，因此亟需一种基于视觉图像的动作识别方法能够有效的对学生的实验操作动作进行判断
。

技术实现思路

[0003]本专利技术的目的在于提供一种基于视觉图像的动作识别方法及系统，以改善上述问题
。
[0004]为了实现上述目的，本申请实施例提供了如下技术方案：
[0005]一方面，本申请实施例提供了一种基于视觉图像的动作识别方法，所述方法包括：
[0006]获取待识别的视频信息，所述待识别的视频信息包括实验过程中待识别的动作；
[0007]将所述待识别的视频信息发送至训练后的视频预测模型，得到视频序列信息，所述视频序列信息包括按顺序排列的视频段信息；
[0008]将所述视频序列信息进行特征提取，得到特征向量信息，所述特征向量信息包括视频序列的时空特征向量；
[0009]将所述时空特征向量进行增强，得到增强后的时空特征向量；
[0010]根据所述增强后的时空特征向量对待识别的实验动作进行识别
。
[0011]第二方面，本申请实施例提供了一种基于视觉图像的动作识别系统，所述系统包括：
[0012]获取模块，用于获取待识别的视频信息，所述待识别的视频信息包括实验过程中待识别的动作；
[0013]第一处理模块，用于将所述待识别的视频信息发送至训练后的视频预测模型，得到视频序列信息，所述视频序列信息包括按顺序排列的视频段信息；
[0014]第二处理模块，用于将所述视频序列信息进行特征提取，得到特征向量信息，所述特征向量信息包括视频序列的时空特征向量；
[0015]第三处理模块，用于将所述时空特征向量进行增强，得到增强后的时空特征向量；
[0016]识别模块，用于根据所述增强后的时空特征向量对待识别的实验动作进行识别
。
[0017]第三方面，本申请实施例提供了一种基于视觉图像的动作识别设备，所述设备包括存储器和处理器
。
存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述基于视觉图像的动作识别方法的步骤
。
[0018]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现上述基于视觉图像的动作识别方法的步骤
。
[0019]本专利技术的有益效果为：
[0020]本专利技术通过将待识别的视频信息发送至训练后的视频预测模型进行预测，得到视频序列信息，再对视频序列信息的特征进行提取，得到特征向量信息，通过对发送至训练后的视频预测模型进行预测可以有效的解决现有技术中，对背景为静态的视频信息的特征难以准确提取，从而导致动作识别的错误率较高的问题，此外，再对特征向量信息进行增强，通过增强后的时空特征向量对对待识别的实验动作进行识别，有效的提高了实验动作识别的准确率
。
[0021]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解
。
本专利技术的目的和其他优点可通过在所写的说明书
、
权利要求书
、
以及附图中所特别指出的结构来实现和获得
。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
[0023]图1为本专利技术实施例中所述的基于视觉图像的动作识别方法流程示意图
。
[0024]图2为本专利技术实施例中所述的基于视觉图像的动作识别系统结构示意图
。
[0025]图3为本专利技术实施例中所述的基于视觉图像的动作识别设备结构示意图
。
[0026]图中标注：
901、
获取模块；
902、
第一处理模块；
903、
第二处理模块；
904、
第三处理模块；
905、
识别模块；
9021、
第一处理单元；
9022、
第二处理单元；
9023、
第三处理单元；
9031、
第四处理单元；
9032、
第五处理单元；
9033、
第六处理单元；
9041、
第七处理单元；
9042、
第八处理单元；
9043、
第九处理单元；
9044、
第十处理单元；
9051、
获取单元；
9052、
第十一处理单元；
9053、
第十二处理单元；
9054、
第十三处理单元；
9055、
第十四处理单元；
800、
基于视觉图像的动作识别设备；
801、
处理器；
802、
存储器；
803、
多媒体组件；
804、I/O
接口；
805、
通信组件
。
具体实施方式
[0027]为使本专利技术实施例的目的
、
技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计
。
因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释
。
同时，在本专利技术的
描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性
。
[0029]实施例1：
[0030]本实施例提供了一种基于视觉图像的动作识别方法，可以理解的是，在本实施例中可以铺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于视觉图像的动作识别方法，其特征在于，包括：获取待识别的视频信息，所述待识别的视频信息包括实验过程中待识别的动作；将所述待识别的视频信息发送至训练后的视频预测模型，得到视频序列信息，所述视频序列信息包括按顺序排列的视频段信息；将所述视频序列信息进行特征提取，得到特征向量信息，所述特征向量信息包括视频序列的时空特征向量；将所述时空特征向量进行增强，得到增强后的时空特征向量；根据所述增强后的时空特征向量对待识别的实验动作进行识别
。2.
根据权利要求1所述的基于视觉图像的动作识别方法，其特征在于，将所述待识别的视频信息发送至训练后的视频预测模型，得到视频序列信息，包括：将所述待识别的视频信息进行稀疏采样得到至少两个等长的视频段信息；计算每个视频段信息的显著性值，得到每个视频段信息对应的显著性信息；根据每个所述视频段信息对应的显著性信息对所述视频段信息进行排序，得到视频序列信息
。3.
根据权利要求1所述的基于视觉图像的动作识别方法，其特征在于，将所述视频序列信息进行特征提取，得到特征向量信息，包括：将所述视频序列信息发送至卷积神经网络得到第一特征信息，所述第一特征信息包括视频序列中每一视频帧对应的特征信息；将所述第一特征信息发送至卷积层进行线性变换，得到第二特征信息；将所述第二特征信息发送至语义建模层，得到时空特征向量，所述语义建模层用于每个特征信息的全局语义信息
。4.
根据权利要求1所述的基于视觉图像的动作识别方法，其特征在于，将所述时空特征向量进行增强，得到增强后的时空特征向量，包括：将所述时空特征向量进行分解，得到第一特征向量和第二特征向量；将所述第一特征向量发送至第一全连接层和将所述第二特征向量发送至第二全连接层，得到增强后的第一特征向量；将所述第一特征向量发送至第三全连接层和将所述第二特征向量发送至第四全连接层，得到增强后的第二特征向量；将所述增强后的第一特征向量和所述增强后的第二特征向量进行融合，得到增强后的时空特征向量
。5.
根据权利要求1所述的基于视觉图像的动作识别方法，其特征在于，根据所述增强后的时空特征向量对待识别的实验动作进行识别，包括：获取预设实验动作视频信息；根据所述预设的实验动作视频信息得到预设的实验动作视频信息对应的增强后的时空特征向量；计算增强后的时空特征向量与所述预设的实验动作视频信息对应的增强后的时空特征向量之间的欧氏距离，得到距离信息；判断所述距离信息是否大于预设的阈值信息，得到判断结果；根据所述判断结果判断所述待识别的视频信息中的实验动作是否标准
。
6.
一种基于视觉图像的动作识别系统，其特征在于，包括：获取模块，用于获取待识别的视频信息，所...

【专利技术属性】
技术研发人员：余倩，
申请(专利权)人：广州吾空创意科技有限公司，
类型：发明
国别省市：