基于计算机视觉的视频重复动作计数系统技术方案

本发明专利技术涉及一种基于计算机视觉的视频重复动作计数系统，其特征在于，采用基于时域自相关的卷积神经网络框架，包括视频特征提取器、时域自相关层、编码器及动作预测器。本发明专利技术提出了一个基于深度学习计算机视觉的重复动作计数系统，实现了视频中重复动作的检测、定位和计数，使得计算机视觉在该项任务上的应用达到了领先的水平。达到了领先的水平。达到了领先的水平。

【技术实现步骤摘要】
基于计算机视觉的视频重复动作计数系统


[0001]本专利技术涉及一种视频重复动作计数系统，主要被用于计算机视觉中的重复动作检测及计数。

技术介绍

[0002]重复/周期性运动的计数是对于视频中的人的重复动作数目进行估计的一项计数。动作的重复在人们的生活中无处不在，重复运动的检测及计数具有非常广阔的应用前景。比如在人体运动时，对体育锻炼动作的检测计数可以帮助人们进行健身状况的监测和计划的制定。尽管人们可以使用一些人体传感器，但基于计算机视觉的方法具有便利性、非侵入性等特点。基于计算机视觉的重复动作计数可以取代过去一些低效的、人力消耗大的人工计数工作，如体育考试计数(跳绳，引体向上等)，工人做工计数，乐器弹奏等。此外，对计算机视觉重复动作计数方法的研究也可以为其他视频分析任务提供支持，例如行人检测和动作识别。
[0003]基于重复动作计数的潜在价值，许多方法应运而生。早期，人们使用了手工设计的特征通过检测的方法在视频中估计重复动作的数量。然而由于检测的这项任务本身在当时并不是一个解决的很好的问题，同时当视频中的动作出现中断、视角或距离的变换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的视频重复动作计数系统，其特征在于，采用基于时域自相关的卷积神经网络框架，包括视频特征提取器、时域自相关层、编码器及动作预测器，其中：视频特征提取器用于在多个时域尺度上对视频图像进行特征提取，将输入视频分成不同时间尺度下的视频子序列S
i
，将各个视频子序列S
i
输入视频特征提取器从而得到不同时间尺度的嵌入向量E
i
；时域自相关层使用视频特征提取器提取到的不同时间尺度的嵌入向量E
i
基于自相关机制构建不同尺度下的时域自相关矩阵后，将不同尺度下的时域自相关矩阵拼接成多维自相关矩阵；编码器对多维自相关矩阵进行特征提取；编码器输出的编码结果输入动作预测器，预测每一个重复动作发生的位置并计数；动作预测器采用神经网络回归视频的动作密度图方法，利用神经网络预测输出每一帧图像在时序上出现重复动作的概率，进而获得密度图，由密度图表征每个动作在视频时间上出现的位置。2.如权利要求1所述的一种基于计算机视觉的视频重复动作计数系统，其特征在于，所述视频特征提取器采用videoswin
‑
transformer。3.如权利要求1所述的一种基于计算机视觉的视频重...

【专利技术属性】
技术研发人员：高盛华，胡华章，董思勋，赵逸群，廉东泽，厉征鑫，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：