本发明专利技术提供一种视频动作自动评分方法、系统、可读存储介质及计算机，该方法包括：获取操作视频，并根据操作视频生成输出图像序列；将输出图像序列输入至深度卷积神经模型中进行图像特征提取，得到图像级特征序列；利用学习模型对图像级特征序列进行时序特征叠加，以生成单帧图像特征序列；计算出单帧图像特征序列的评分权重，并对评分权重进行加权平均处理得到视频级特征；根据视频级特征判断视频数据中的动作规范等级。本发明专利技术通过将操作视频转换成输出图像序列，并进行图像特征提取，得到图像级特征序列，通过学习模型和图像级特征序列实现对单帧图像的时序特征叠加，得到单帧图像特征序列，进而实现对该操作视频的动作规范等级评分。评分。评分。
【技术实现步骤摘要】
视频动作自动评分方法、系统、可读存储介质及计算机
[0001]
[0002]本专利技术涉及图像识别
，特别涉及一种视频动作自动评分方法、系统、可读存储介质及计算机。
[0003]
技术介绍
[0004]视频动作自动评分是图像处理和视频分析处理的一个非常重要领域，主要任务就是利用机器学习和人工智能的方法分析和评价视频文件中所包含的人类动作的规范性。目前，以运作识别、动作评分为主的视频智能处理技术在操作性教育培训、医生规范化培养、运动体操、安全健身等领域具有重要的应用价值。
[0005]对于视频和图像中特征表示，目前主流使用深度学习模型进行空间特征或时空三维特征的提取。如何有效地提取到能支持区分规范性的操作和错误操作，并对规范性进行客观评价的视频级特征，仍然是目前需要解决的问题。这种视频级特征包含操作的时间和空间维度的信息和特征，如何有效地设计计算模型从视频文件中抽取出来，是需要研究的技术问题。
[0006]
技术实现思路
[0007]基于此，本专利技术的目的是提供一种视频动作自动评分方法、系统、可读存储介质及计算机，以至少解决上述相关技术中的不足。
[0008]第一方面，本申请实施例提出一种视频动作自动评分方法，包括：步骤一：获取操作视频，并根据所述操作视频生成对应的输出图像序列；步骤二：将所述输出图像序列输入至预设的深度卷积神经模型中进行图像特征提取，得到对应的图像级特征序列；步骤三：利用预设的学习模型对所述图像级特征序列进行时序特征叠加，以生成单帧图像特征序列；步骤四：计算出所述单帧图像特征序列的评分权重，并对所述评分权重进行加权平均处理得到对应的视频级特征；步骤五：根据所述视频级特征判断所述视频数据中的动作规范等级。
[0009]在其中一些实施例中，所述步骤一包括：以第一预设帧率获取所述操作视频，并将所述操作视频按第二预设帧率提取生成对应的帧率图像序列；计算出所述帧率图像序列中每帧图像的运动中心的坐标，并以所述运动中心为中心生成对应的感兴趣区域；根据所述感兴趣区域对所述图像序列中各图像进行裁剪、缩放以及归一化处理，
以生成对应的输出图像序列。
[0010]在其中一些实施例中，所述步骤二包括：将所述输出图像序列以单帧图像的形式输入至预训练的深度卷积神经网络模型中进行图像特征提取，得到图像级特征序列以及每帧图像的动作分类标签。
[0011]在其中一些实施例中，所述步骤三包括：将所述图像级特征序列输入至预设的学习模型中，并根据前后帧图像特征进行组合及优化所述动作分类标签，以得到包含时序特征的单帧图像特征序列；其中，所述图像级特征序列和所述单帧图像特征序列的特征维度不同。
[0012]在其中一些实施例中，所述步骤四包括：根据所述单帧图像特征序列计算出每帧图像中针对动作评分的注意力权重值，并通过注意力权重加权及均匀划分为预设的多个区段；在所述区段内进行特征平均化，得到对应的视频级特征。
[0013]第二方面，本申请实施例提供了一种视频动作自动评分系统，包括：获取模块，用于获取操作视频，并根据所述操作视频生成对应的输出图像序列；特征提取模块，用于将所述输出图像序列输入至预设的深度卷积神经模型中进行图像特征提取，得到对应的图像级特征序列；处理模块，用于利用预设的学习模型对所述图像级特征序列进行时序特征叠加，以生成单帧图像特征序列；计算模块，用于计算出所述单帧图像特征序列的评分权重，并对所述评分权重进行加权平均处理得到对应的视频级特征；评分模块，用于根据所述视频级特征判断所述视频数据中的动作规范等级。
[0014]在其中一些实施例中，所述获取模块包括：获取单元，用于以第一预设帧率获取所述操作视频，并将所述操作视频按第二预设帧率提取生成对应的帧率图像序列；第一计算单元，用于计算出所述帧率图像序列中每帧图像的运动中心的坐标，并以所述运动中心为中心生成对应的感兴趣区域；第一处理单元，用于根据所述感兴趣区域对所述图像序列中各图像进行裁剪、缩放以及归一化处理，以生成对应的输出图像序列。
[0015]在其中一些实施例中，所述特征提取模块包括：特征提取单元，用于将所述输出图像序列以单帧图像的形式输入至预训练的深度卷积神经网络模型中进行图像特征提取，得到图像级特征序列以及每帧图像的动作分类标签。
[0016]在其中一些实施例中，所述处理模块包括：第二处理单元，用于将所述图像级特征序列输入至预设的学习模型中，并根据前后帧图像特征进行组合及优化所述动作分类标签，以得到包含时序特征的单帧图像特征序列；其中，所述图像级特征序列和所述单帧图像特征序列的特征维度不同。
[0017]在其中一些实施例中，所述计算单元包括：第二计算单元，用于根据所述单帧图像特征序列计算出每帧图像中针对动作评分的注意力权重值，并通过注意力权重加权及均匀划分为预设的多个区段；
第三处理单元，用于在所述区段内进行特征平均化，得到对应的视频级特征。
[0018]第三方面，本申请实施例提供了一种可读存储介质，其上存储有计算机设备程序，该程序被处理器执行时实现如上述第一方面所述的视频动作自动评分方法。
[0019]第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机设备程序，所述处理器执行所述计算机设备程序时实现如上述第一方面所述的视频动作自动评分方法。
[0020]相比于相关技术，本申请实施例提供的视频动作自动评分方法、系统、可读存储介质及计算机，通过将操作视频转换成对应的输出图像序列，并对输出图像序列进行图像特征提取，以得到对应的图像级特征序列，通过学习模型和图像级特征序列实现对该输出图像序列中单帧图像的时序特征叠加，得到单帧图像特征序列，进而通过单帧图像特征序列实现对该操作视频的动作规范等级评分，只需要获取操作视频，即可实现自动评价该操作视频的动作规范性。
[0021]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
[0022]附图说明
[0023]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术第一实施例中视频动作自动评分方法的流程图；图2为图1中步骤S101的详细流程图；图3为图1中步骤S102的详细流程图；图4为图1中步骤S103的详细流程图；图5为图1中步骤S104的详细流程图；图6是本专利技术第二实施例中视频动作自动评分系统的结构框图；图7是本专利技术第三实施例中计算机的结构框图。
[0024]主要元件符号说明：存储器10特征提取模块12处理器20处理模块13计算机程序30计算模块14获取模块11评分模块15如下具体实施方式将结合上述附图进一步说明本专利技术。
[0025]具体实施方式
[0026]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频动作自动评分方法，其特征在于，包括：步骤一：获取操作视频，并根据所述操作视频生成对应的输出图像序列；步骤二：将所述输出图像序列输入至预设的深度卷积神经模型中进行图像特征提取，得到对应的图像级特征序列；步骤三：利用预设的学习模型对所述图像级特征序列进行时序特征叠加，以生成单帧图像特征序列；步骤四：计算出所述单帧图像特征序列的评分权重，并对所述评分权重进行加权平均处理得到对应的视频级特征；步骤五：根据所述视频级特征判断所述视频数据中的动作规范等级。2.根据权利要求1所述的视频动作自动评分方法，其特征在于，所述步骤一包括：以第一预设帧率获取所述操作视频，并将所述操作视频按第二预设帧率提取生成对应的帧率图像序列；计算出所述帧率图像序列中每帧图像的运动中心的坐标，并以所述运动中心为中心生成对应的感兴趣区域；根据所述感兴趣区域对所述图像序列中各图像进行裁剪、缩放以及归一化处理，以生成对应的输出图像序列。3.根据权利要求1所述的视频动作自动评分方法，其特征在于，所述步骤二包括：将所述输出图像序列以单帧图像的形式输入至预训练的深度卷积神经网络模型中进行图像特征提取，得到图像级特征序列以及每帧图像的动作分类标签。4.根据权利要求3所述的视频动作自动评分方法，其特征在于，所述步骤三包括：将所述图像级特征序列输入至预设的学习模型中，并根据前后帧图像特征进行组合及优化所述动作分类标签，以得到包含时序特征的单帧图像特征序列；其中，所述图像级特征序列和所述单帧图像特征序列的特征维度不同。5.根据权利要求4所述的视频动作自动评分方法，其特征在于，所述步骤四包括：根据所述单帧图像特征序列计算出每帧图像中针对动作评分的注意力权重值，并通过注意力权重加权及均匀划分为预设的多个区段；在所述区段内进行特征平均化，得到...
【专利技术属性】
技术研发人员：段卫，阮军，
申请(专利权)人：武汉三际通数字技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。