一种运动测试评分的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种运动测试的方法、装置、设备及存储介质，其中方法包括获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；将每个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合，确定所述每一帧图像对应的世界坐标系中所述设定动作的三维姿态特征；将所述设定动作的三维姿态特征与预设的标准姿态特征进行匹配，根据所述匹配结果确定所述设定动作的分数。本发明专利技术实施例将二维姿态特征转变为三维姿态特征进行运动测评，测试结果更准确。

A Method, Device, Equipment and Storage Medium for Motion Test Scoring

The invention discloses a method, device, device and storage medium for motion testing, in which the method includes acquiring video streams of the tested objects captured by multiple cameras to complete the set action, estimating two-dimensional attitude according to each frame image of the video stream, and determining the two-dimensional attitude characteristics of the set action in each frame image. Characterization; Fitting the internal and external parameters of each camera and the two-dimensional attitude characteristics of the set action to determine the three-dimensional attitude characteristics of the set action in the world coordinate system corresponding to each frame of the image; matching the three-dimensional attitude characteristics of the set action with the preset standard attitude characteristics, according to the set image. The result of matching determines the score of the set action. The embodiment of the invention transforms the two-dimensional attitude feature into the three-dimensional attitude feature for motion evaluation, and the test result is more accurate.

【技术实现步骤摘要】
一种运动测试评分的方法、装置、设备及存储介质
本专利技术实施例涉及机器视觉领域，尤其涉及一种运动测试评分的方法、装置、设备及存储介质。
技术介绍
人体运动分析是机器视觉领域非常重要的技术，人体运动分析如运动测试，尤其是针对儿童的运动测试的研究越来越受到关注。通过对儿童的运动测试，可以判断儿童的运动能力，以及与运动能力匹配的年龄，监测儿童的运动情况对预防儿童身体缺陷具有重大意义。目前，运动测试通常用于成年用户健身的场景，通过一个摄像头拍摄用户的运动视频，利用运动视频中的每一帧静态图片，计算每一帧静态图片与对应的每一帧预设静态图片之间的偏差，以此确定每一帧图片对应的分数值，并求和得到该运动视频的分数值。而该方法中需要设置每一帧预设静态图片，内存需求较大、计算量大。并且，采用单摄像头拍摄，拍摄到的用户运动姿态也不完整。
技术实现思路
本专利技术提供一种运动测试评分的方法、装置、设备及存储介质，可以利用世界坐标系的三维人体运动姿态进行运动测试评分，使测试结果更准确。第一方面，本专利技术实施例提供了一种运动测试评分的方法，包括：获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；将每个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合，确定所述每一帧图像对应的世界坐标系中所述设定动作的三维姿态特征；将所述设定动作的三维姿态特征与预设的标准姿态特征进行匹配，根据所述匹配结果确定所述设定动作的分数。进一步的，在将多个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合之前，还包括：获取标定板源图像的尺度不变特征变换SIFT特征；获取标定板源图像打印的标定板在测试场景中的每个相机至少10帧不同角度和/或位置下所拍摄的测试图像；根据所述测试图像，获取所述测试图像的SIFT特征；将所述标定板源图像的SIFT特征和所述测试图像的SIFT特征进行匹配，并拟合计算出所述测试图像与所述标定板源图像间的单应矩阵；根据所述单应矩阵和所述每个相机的编号，计算所述每个相机的内参和外参。进一步的，计算出所述测试图像到所述标定板源图像的单应矩阵，包括：获取第一帧全场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第一帧全场景图像的SIFT特征进行匹配，并拟合计算出所述当第一帧全场景图像与所述标定板源图像间的第一单应矩阵H1；根据第一单应矩阵H1切割第二帧全场景图像，得到切割后的第二帧小场景图像，并获取第二帧小场景图像的特征区域ROI；根据所述ROI，获取所述第二帧小场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第二帧小场景图像的SIFT特征进行匹配，并拟合计算出所述第二帧小场景图像与所述标定板源图像间的第二单应矩阵H2；根据第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H2×H1切割第三帧全场景图像，得到切割后的第三帧小场景图像，并重复第二单应矩阵H2的计算步骤，计算出所述第三帧小场景图像与所述标定板源图像间的第三单应矩阵H3；根据第三单应矩阵H3、第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H3×H2×H1切割第四帧全场景图像，获得第四单应矩阵H4，并以此类推，其中，所述乘积矩阵采用迭代相乘的方法计算。进一步的，根据所述单应矩阵和所述每个相机的编号，计算所述每个相机的内参和外参，包括：根据所述乘积矩阵和张正友相机标定公式，确定所述每个相机的内参；根据所述乘积矩阵的逆矩阵和每个相机的内参，确定所述每个相机的外参。进一步的，在根据所述匹配结果确定所述设定动作的分数之后，还包括：根据所述分数，确定所述被测对象与所述分数对应的年龄。第二方面，本专利技术实施例还提供了一种运动评分的装置，该装置包括：二维姿态特征确定模块，用于获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；三维姿态特征确定模块，用于将每个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合，确定所述每一帧图像对应的世界坐标系中所述设定动作的三维姿态特征；评分模块，用于将所述设定动作的三维姿态特征与预设的标准姿态特征进行匹配，根据所述匹配结果确定所述设定动作的分数。进一步的，所述运动测试评分的装置，还包括：标定板源图像特征获取模块，用于在将多个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合之前，获取标定板源图像的SIFT特征；测试图像获取模块，用于获取标定板源图像打印的标定板子测试场景中的每个相机至少10帧不同角度和/或位置下所拍摄的测试图像；测试图像特征获取模块，用于根据所述测试图像，获取所述测试图像的SIFT特征；单应矩阵计算模块，用于根据所述标定板源图像的SIFT特征和所述测试图像的SIFT特征进行匹配，并拟合计算出所述测试图像与所述标定板源图像间的单应矩阵；相机参数确定模块，用于根据所述单应矩阵和所述每个相机的编号，计算所述每个相机的内参和外参。进一步的，所述单应矩阵计算模块，包括：第一单应矩阵计算子模块，用于获取第一帧全场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第一帧全场景图像的SIFT特征进行匹配，并拟合计算出所述当第一帧全场景图像与所述标定板源图像间的第一单应矩阵H1；第二单应矩阵计算子模块，用于根据第一单应矩阵H1切割第二帧全场景图像，得到切割后的第二帧小场景图像，并获取第二帧小场景图像的特征区域ROI；根据所述ROI，获取所述第二帧小场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第二帧小场景图像的SIFT特征进行匹配，并拟合计算出所述第二帧小场景图像与所述标定板源图像间的第二单应矩阵H2；第三单应矩阵计算子模块，用于根据根据第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H2×H1切割第三帧全场景图像，得到切割后的第三帧小场景图像，并重复第二单应矩阵H2的计算步骤，计算出所述第三帧小场景图像与所述标定板源图像间的第三单应矩阵H3；第四单应矩阵计算子模块，用于根据第三单应矩阵H3、第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H3×H2×H1切割第四帧全场景图像，获得第四单应矩阵H4，并以此类推，其中，所述乘积矩阵采用迭代相乘的方法计算。所述三维姿态特征确定模块，包括：相机内参确定子模块，用于根据所述乘积矩阵和张正友相机标定公式，确定所述每个相机的内参；相机外参确定子模块，用于根据所述乘积矩阵的逆矩阵每个相机的内参，确定所述每个相机的外参；所述装置还包括：年龄确定模块，用于在根据所述匹配结果确定所述设定动作的分数之后，根据所述分数，确定所述被测对象与所述分数对应的年龄。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，还包括多个相机，用于采集图像和视频，其中，所述处理器执行所述程序时实现如本专利技术任意实施例所述的运动测试评分的方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的运动测试评分的方法。本专利技术实施例通过获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，本文档来自技高网...

【技术保护点】
1.一种运动测试评分的方法，其特征在于，包括：获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；将每个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合，确定所述每一帧图像对应的世界坐标系中所述设定动作的三维姿态特征；将所述设定动作的三维姿态特征与预设的标准姿态特征进行匹配，根据所述匹配结果确定所述设定动作的分数。

【技术特征摘要】
1.一种运动测试评分的方法，其特征在于，包括：获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；将每个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合，确定所述每一帧图像对应的世界坐标系中所述设定动作的三维姿态特征；将所述设定动作的三维姿态特征与预设的标准姿态特征进行匹配，根据所述匹配结果确定所述设定动作的分数。2.根据权利要求1所述的方法，其特征在于，在将多个相机的内参、外参以及所述设定动作的二维姿态特征进行拟合之前，还包括：获取标定板源图像的尺度不变特征变换SIFT特征；获取标定板源图像打印的标定板在测试场景中的每个相机的至少10帧不同角度和/或位置下所拍摄的测试图像；根据所述测试图像，获取所述测试图像的SIFT特征；将所述标定板源图像的SIFT特征和所述测试图像的SIFT特征进行匹配，并拟合计算出所述测试图像与所述标定板源图像间的单应矩阵；根据所述单应矩阵和所述每个相机的编号，计算所述每个相机的内参和外参。3.根据权利要求2所述的方法，其特征在于，计算出所述测试图像到所述标定板源图像的单应矩阵，包括：获取第一帧全场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第一帧全场景图像的SIFT特征进行匹配，并拟合计算出所述当第一帧全场景图像与所述标定板源图像间的第一单应矩阵H1；根据第一单应矩阵H1切割第二帧全场景图像，得到切割后的第二帧小场景图像，并获取第二帧小场景图像的特征区域ROI；根据所述ROI，获取所述第二帧小场景图像的SIFT特征；将所述标定板源图像的SIFT特征和所述第二帧小场景图像的SIFT特征进行匹配，并拟合计算出所述第二帧小场景图像与所述标定板源图像间的第二单应矩阵H2；根据第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H2×H1切割第三帧全场景图像，得到切割后的第三帧小场景图像，并重复第二单应矩阵H2的计算步骤，计算出所述第三帧小场景图像与所述标定板源图像间的第三单应矩阵H3；根据第三单应矩阵H3、第二单应矩阵H2与第一单应矩阵H1的乘积矩阵H3×H2×H1切割第四帧全场景图像，获得第四单应矩阵H4，并以此类推，其中，所述乘积矩阵采用迭代相乘的方法计算。4.根据权利要求2所述的方法，其特征在于，根据所述单应矩阵和所述每个相机的编号，计算所述每个相机的内参和外参，包括：根据所述乘积矩阵和张正友相机标定公式，确定所述每个相机的内参；根据所述乘积矩阵的逆矩阵和每个相机的内参，确定所述每个相机的外参。5.根据权利要求1所述的方法，其特征在于，在根据所述匹配结果确定所述设定动作的分数之后，还包括：根据所述分数，确定所述被测对象与所述分数对应的年龄。6.一种运动测试评分的装置，其特征在于，包括：二维姿态特征确定模块，用于获取多个相机拍摄的被测对象完成设定动作的视频流，根据所述视频流的每一帧图像进行二维姿态估计，确定每一帧图像中所述设定动作的二维姿态特征；三维姿态特征确定模块，用于将每个相机的内参、外参以及所述设定动作的二维姿...

【专利技术属性】
技术研发人员：刘骋，
申请(专利权)人：上海慧子视听科技有限公司，刘骋，
类型：发明
国别省市：上海,31