便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法技术方案

本发明专利技术属于图像分析和运动控制技术领域，具体涉及一种便携式的特定区域内运动辅助视觉伺服机器人系统及姿态评估方法，主要实现了对运动目标的追踪拍摄以及姿态评估的功能。它通过摄像头获取图像，利用软件算法对目标进行持续追踪，并使用舵机来调节拍摄角度，以实现对运动目标的追踪拍摄。此外，它能从拍摄画面中提取运动目标的姿态，将其与标准姿态进行比对和评估，从而实现运动训练辅助的功能。

【技术实现步骤摘要】
便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法
本设备属于图像分析和运动控制
，具体涉及一种便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法。
技术介绍
随着生活水平的提高，科学和智能的运动方式逐渐成为主流。在运动的过程中，模仿学习标准的运动姿态不仅有利于快速地掌握相关的运动技能，而且可以减少运动带来的对身体的伤害。但是，人们在运动过程中常出现运动姿态不标准且无人监督指导的问题，而相关的指导培训机构费用高昂，这对于忙碌的人们来说是一个不小的问题。因此开发一种便于携带、价格亲民的运动训练辅助设备显得很有意义。
技术实现思路
为了满足市场的现有需求，提供了一种用于特定区域的运动辅助机器人系统及配套软件，应用于体育健身中低端市场。本设备便于携带，需要设置在特定区域外，当使用者在特定区域内进行运动，如打篮球时，可以对运动目标进行跟踪拍摄，将其姿态提取并与标准姿态进行对比和评估，从而实现运动训练辅助的功能。具体功能实现如下：一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，其特征在于，包括机器人：包括至少两个协同工作用于拍摄视频画面的摄像头、用于调整机器人拍摄角度使追踪目标能时刻出现在拍摄的视频画面中的舵机、以及在视频画面上追踪运动目标并给予舵机反馈信号控制舵机运动的追踪器；姿态评估模块：设置在PC内，用于提取机器人端采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。在上述的一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，所述追踪器包括：追踪注意力单元：追踪运动目标并给予舵机反馈信号；控制单元：接受反馈信号并根据控制信号驱动舵机运动。一种便携式的特定区域内运动训练辅助视觉伺服机器人系统的姿态评估方法，其特征在于，包括：姿态采集步骤：摄像头实时采集用户的运动视频图像；姿态追踪步骤：追踪器追踪视频帧中的用户目标，并以目标的中心作为注意力焦点，保留其设定范围内的空间信息，去除其它空间信息；追踪反馈步骤：追踪器根据姿态追踪的结果提供反馈信号给舵机，并控制舵机的角度使摄像头保持拍摄到用户目标的运动视频图像；姿态评估步骤：空间注意力单元提取姿态采集步骤采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。在上述的姿态评估方法，姿态追踪步骤包括：定义一个空间阈值函数，空间阈值函数能够以注意力焦点为中心，将一定范围内的图像像素值设置为1，其它像素值则设置为0，然后将其与原图像进行逐像素相乘，进而保留注意力焦点一定范围内的空间信息，并去除其它空间信息，具体为：步骤3.1、用户选择需要进行追踪的运动目标，以完成对追踪器的初始化；步骤3.2、追踪器在摄像头获取到的视频帧中对用户选定的运动目标进行追踪，并返回运动目标中心的坐标值；步骤3.3、以运动目标中心作为注意力焦点，并以其为中心将一定范围作为注意力聚焦区域；聚焦区域内图像像素值设置为1，区域外的像素值设置为0，并返回处理后的二值图像作为注意力滤波器；步骤3.4、将注意力滤波器与其原图像进行逐像素相乘，并返回处理后的结果图像，若此时摄像头仍开启则转到步骤3.2，否则该算法结束。在上述的姿态评估方法，姿态评估步骤中，采用三维姿态估计算法，三维姿态估计算法采用了VideoPose3D算法，该算法将从二维姿态序列中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，具体包括：步骤4.1、对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，提取视频帧中的所有二维人体姿态，生成两个二维人体姿态序列；步骤4.2、使用二维姿态转换为三维姿态的算法，将二维人体姿态序列转换为三维人体姿态序列；步骤4.3、对两组三维人体姿态序列进行关键帧匹配，使进行比对的两组三维姿态的序列长度相同；步骤4.4、逐帧计算两组三维姿态序列的余弦相似度，并对所有余弦相似度取平均值，以此为依据返回最终的比对结果。在上述的姿态评估方法，所述空间阈值函数具体为：在步骤3.1中，用户在摄像头拍摄到的第一帧图像中用矩形框选择需要追踪的目标，然后系统用户选择的宽度为W，长度为H，通道数为C的目标图像输入到追踪器中，以初始化追踪器；在步骤3.2中，追踪器根据用户选择的目标图像，在摄像头后续输入的视频帧中目标所在的位置生成追踪矩形框，并返回追踪矩形框的中心点坐标值P＝(xfocus，yfocus)；中心点坐标值将在步骤3.3中用于生成注意力滤波器；在步骤3.3中，定义输入图像的左上角是像素坐标系的原点，X轴从左至右为正方向，Y轴从上到下为正方向，那么使用以下公式来定义注意力聚焦区域的四个角点：式中W′和H′分别是注意力聚焦区域的宽度和高度；这两个数值可以由用户设置，默认数值设置为输入视频帧宽度和高度的一半；接着通过一个空间阈值函数来设置滤波器M的参数：式中(i，j)表示输入图像的二维像素坐标，c表示输入图像的通道索引值；在步骤3.4中，将视频帧和步骤3.3中得到的注意力滤波器进行逐像素相乘，生成结果图像。在上述的姿态评估方法，所述步骤4.1具体包括：使用OpenPose算法对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，分别生成两个二维姿态序列和其中L2D表示需要比对的二维姿态序列，表示单个需要比对的二维姿态，R2D表示标准的二维姿态序列，表示单个标准的二维姿态。在上述的姿态评估方法，所述步骤4.2具体包括：使用VideoPose3D算法，从二维姿态序列L2D和R2D中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，将所有三维姿态帧汇总得到两个三维姿态序列和其中L3D表示需要比对的三维姿态序列，表示单个需要比对的三维姿态，R3D表示标准的三维姿态序列，表示单个标准的三维姿态。在上述的姿态评估方法，所述步骤4.3具体包括：使用动态时间规整的方法实现关键帧匹配；定义生成的关键帧匹配路径序列为W＝(w1，w2，...，wk)，将三维姿态中0号点、7号点以及8号点的欧氏距离的算术平均值索作为距离函数；L3D和R3D这两个序列的长度不相同，序列L3D和R3D在ωt＝(i，j)中的距离为d(i，j)，从(0，0)到(i，j)的累计距离为D(i，j)，则有：D(i，j)＝d(i，j)+min{D(i-1，j-1)，D(i-1，j)，D(i，j-1)}每一个关键帧均将L3D和R3D这两个序列中顺序且距离最短的三维姿态帧匹配，将所有关键帧汇总得到关键帧匹配路径本文档来自技高网...

【技术保护点】
1.一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，其特征在于，包括/n机器人：包括至少两个协同工作用于拍摄视频画面的摄像头、用于调整机器人拍摄角度使追踪目标能时刻出现在拍摄的视频画面中的舵机、以及在视频画面上追踪运动目标并给予舵机反馈信号控制舵机运动的追踪器；/n姿态评估模块：设置在PC内，用于提取机器人端采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。/n

【技术特征摘要】
1.一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，其特征在于，包括
机器人：包括至少两个协同工作用于拍摄视频画面的摄像头、用于调整机器人拍摄角度使追踪目标能时刻出现在拍摄的视频画面中的舵机、以及在视频画面上追踪运动目标并给予舵机反馈信号控制舵机运动的追踪器；
姿态评估模块：设置在PC内，用于提取机器人端采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。


2.根据权利要求1所述的一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，其特征在于，所述追踪器包括：
追踪注意力单元：追踪运动目标并给予舵机反馈信号；
控制单元：接受反馈信号并根据控制信号驱动舵机运动。


3.一种权利要求1所述机器人系统的姿态评估方法，其特征在于，包括：
姿态采集步骤：摄像头实时采集用户的运动视频图像；
姿态追踪步骤：追踪器追踪视频帧中的用户目标，并以目标的中心作为注意力焦点，保留其设定范围内的空间信息，去除其它空间信息；
追踪反馈步骤：追踪器根据姿态追踪的结果提供反馈信号给舵机，并控制舵机的角度使摄像头保持拍摄到用户目标的运动视频图像；
姿态评估步骤：空间注意力单元提取姿态采集步骤采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。


4.根据权利要求3所述的姿态评估方法，其特征在于，姿态追踪步骤包括：定义一个空间阈值函数，空间阈值函数能够以注意力焦点为中心，将一定范围内的图像像素值设置为1，其它像素值则设置为0，然后将其与原图像进行逐像素相乘，进而保留注意力焦点一定范围内的空间信息，并去除其它空间信息，具体为：
步骤3.1、用户选择需要进行追踪的运动目标，以完成对追踪器的初始化；
步骤3.2、追踪器在摄像头获取到的视频帧中对用户选定的运动目标进行追踪，并返回运动目标中心的坐标值；
步骤3.3、以运动目标中心作为注意力焦点，并以其为中心将一定范围作为注意力聚焦区域；聚焦区域内图像像素值设置为1，区域外的像素值设置为0，并返回处理后的二值图像作为注意力滤波器；
步骤3.4、将注意力滤波器与其原图像进行逐像素相乘，并返回处理后的结果图像，若此时摄像头仍开启则转到步骤3.2，否则该算法结束。


5.根据权利要求4所述的姿态评估方法，其特征在于，姿态评估步骤中，采用三维姿态估计算法，三维姿态估计算法采用了VideoPose3D算法，该算法将从二维姿态序列中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，具体包括：
步骤4.1、对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，提取视频帧中的所有二维人体姿态，生成两个二维人体姿态序列；
步骤4.2、使用二维姿态转换为三维姿态的算法，将二维人体姿态序列转换为三维人体姿态序列；
步骤4.3、对两组三维人体姿态序列进行关键帧匹配，使进行比对的两组三维姿态的序列长度相同；
步骤4.4、逐帧计算两组三维姿态序列的余弦相似度，并对所有余弦相似度取平均值，以此为依据返回最终的比对结果。


6.根据权利要求3所述的姿态评估方法，其特征在于，所述空间阈值函数具体为：
在步骤3.1中，用户在摄像头拍摄到的第一帧图像中用矩形框选择需要追踪的目标，然后系统用户选择的宽度为W，长度为H，通道数为C的目标图像输入到追踪器中，以初始化追踪器；
在步骤3.2中，追踪器根据用户选择的目标图像，在摄像头后...

【专利技术属性】
技术研发人员：郭迟，胡建朗，刘敏豪，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42