一种基于人体动作分析修正镜头畸变的方法、装置及设备制造方法及图纸

本文提供了一种基于人体动作分析修正镜头畸变的方法、装置及设备，在用户运动过程中，通过所述健身镜广角镜头和所述至少一个智能终端的非广角镜头分别采集用户基于时域的多帧运动数据；根据用户的每帧运动数据，分别建立基于健身镜的第一人体三维模型和基于智能终端的第二人体三维模型；将第一人体三维模型和第二人体三维模型进行比对，以确定修正参数；根据多帧运动数据，重复修正参数的获取步骤，以得到修正参数集合；当修正参数集合中修正参考点达到指定条件时，通过修正参数集合确定健身镜广角镜头的目标修正参数，本文通过健身镜和智能终端对同一个用户运动数据的比对，可以实现对健身镜广角镜头采集图像畸变的快速准确矫正。速准确矫正。速准确矫正。

【技术实现步骤摘要】
一种基于人体动作分析修正镜头畸变的方法、装置及设备


[0001]本文属于计算机
，具体涉及一种基于人体动作分析修正镜头畸变的方法、装置及设备。

技术介绍

[0002]目前主流的智能健身镜产品都配备了广角镜头用于对人体动作进行侦测分析。虽然广角镜头能在较大范围的对目标进行拍摄，但是由于广角镜头在近距离拍摄时存在较大的畸变，造成对身体动作分析的数据采集存在较大偏差。虽然当前市场上已经有针对广角镜头的畸变矫正算法，主要是针对镜头光学参数等，对拍摄照片或视频进行后期的优化以修正畸变的影响，但是在镜头组的生产、组装过程中存在的微小缺陷，造成每台设备都普遍具有独有的畸变差异无法进行修正和优化。
[0003]正因为上述问题，各厂商的产品只能运用简化的视频分析处理算法，实现低精度的简单定性分析，为此对于这类智能健身镜产品，用户总体反馈觉得所谓AI并没有想象中的这么智能。

技术实现思路

[0004]针对现有技术的上述问题，本文的目的在于，提供一种基于人体动作分析修正镜头畸变的方法、装置及设备，可以实现健身镜广角镜头的采集数据的快速矫正。
[0005]为了解决上述技术问题，本文的具体技术方案如下：
[0006]一方面，本文提供一种基于人体动作分析修正镜头畸变的方法，所述方法应用于健身镜图像畸变修正系统，所述系统包括健身镜和至少一个智能终端，所述健身镜和所述至少一个智能终端设置在用户的四周，所述方法包括：
[0007]在用户运动过程中，通过所述健身镜广角镜头和所述至少一个智能终端的非广角镜头分别采集用户基于时域的多帧运动数据；
[0008]根据所述用户的每帧运动数据，分别建立基于健身镜的第一人体三维模型和基于智能终端的第二人体三维模型；
[0009]将所述第一人体三维模型和所述第二人体三维模型进行比对，以确定所述第一人体三维模型的修正参数，所述修正参数至少包括一个修正参考点和所述修正参考点对应的修正数据；
[0010]根据多帧运动数据，重复修正参数的获取步骤，以得到修正参数集合；
[0011]当所述修正参数集合中修正参考点达到指定条件时，通过所述修正参数集合确定所述健身镜广角镜头的目标修正参数。
[0012]所述第一人体三维模型通过如下步骤建立：
[0013]根据健身镜广角镜头采集的用户的第一视频帧图像和所述健身镜广角镜头的第一硬件参数，确定所述智能健身镜与所述用户之间的第一距离；
[0014]根据所述第一视频帧图像，通过卷积神经网络识别出用户身体的各个第一关节点
信息；
[0015]根据所述用户的各个第一关节点信息，以及所述智能健身镜和所述用户之间的第一距离，确定所述用户人体关节点之间的第一实际位置参数；
[0016]根据所述用户人体关节点之间的第一实际位置参数，建立基于球坐标的第一人体三维模型。
[0017]所述第二人体三维模型通过如下步骤建立：
[0018]根据每个智能终端非广角镜头采集的用户的第二视频帧图像和所述智能终端非广角镜头的第二硬件参数，确定每个智能终端与所述用户之间的第二距离；
[0019]根据所述第二视频帧图像，通过卷积神经网络识别出用户身体的各个第二关节点信息；
[0020]根据所述用户的各个第二关节点信息，以及每个智能终端和所述用户之间的第二距离，确定所述用户人体关节点之间的第二实际位置参数；
[0021]根据所述用户人体关节点之间的第二实际位置参数，建立每个智能终端的基于球坐标的第二初始人体三维模型；
[0022]将同一时刻的全部智能终端的第二初始人体三维模型进行融合处理，得到第二人体三维模型。
[0023]进一步地，所述将同一时刻的全部智能终端的第二初始人体三维模型进行融合处理，得到第二人体三维模型，进一步包括：
[0024]获取每个智能终端对应的第二初始人体三维模型中各个关节数据，得到每个关节点对应的关节数据集合；
[0025]根据所述智能终端和所述健身镜的位置关系，对每个关节点对应的关节数据集合进行转换处理，以得到与所述健身镜采集视角一致的关节数据集合；
[0026]将所述关节数据集合中的数据进行均值处理，得到每个关节点的目标关节数据；
[0027]根据每个关节点的目标关节数据，建立第二人体三维模型。
[0028]进一步地，将所述第一人体三维模型和所述第二人体三维模型进行比对，以确定所述第一人体三维模型的修正参数，包括：
[0029]将所述第一人体三维模型和所述第二人体三维模型置于同一三维坐标系下，确定所述第一人体三维模型和所述第二人体三维模型每个像素点的坐标信息；
[0030]计算第一人体三维模型和所述第二人体三维模型中对应的像素点的位置偏差值；
[0031]将位置偏差值超过预设值的像素点进行聚类分析，以得到至少一个待修正区域；
[0032]确定每个待修正区域中包含的关节点，将该关节点确定为修正参考点；
[0033]根据所述修正参考点在所述第一人体三维模型和所述第二人体三维模型中位置关系，确定针对所述修正参考点的修正数据。
[0034]进一步地，将所述第一人体三维模型和所述第二人体三维模型进行比对，以确定所述第一人体三维模型的修正参数，还包括：
[0035]确定模型比对基准点，所述基准点为所述第一人体三维模型和所述第二人体三维模型的位置共有点；
[0036]所述第一人体三维模型和所述第二人体三维模型通过所述基准点进行三维模型重合比对，以确定第一人体三维模型中的至少一个非重合部位；
[0037]判断每个非重合部位是否包含关节点；
[0038]若是，则提取每个非重合部位的关节点，并所述关节点作为修正参考点；
[0039]根据所述修正参考点在所述第一人体三维模型和所述第二人体三维模型中位置关系，确定针对所述修正参考点的修正数据。
[0040]进一步地，当所述修正参数集合中修正参考点数量达到指定条件时，通过所述修正参数集合确定所述健身镜广角镜头的目标修正参数，包括：
[0041]当所述修正参数集合中修正参考点的数量超过预设数量时，按照预设规则处理所述修正参数集合中同一修正参考点对应的多个修正数据，以使调整后的修正参数集合中每个修正参考点对应一个修正数据；
[0042]通过调整后的修正参数集合确定所述健身镜广角镜头的目标修正参数。
[0043]进一步地，其特征在于，当所述修正参数集合中修正参考点数量达到指定条件时，通过所述修正参数集合确定所述健身镜广角镜头的目标修正参数，包括：
[0044]当所述修正参数集合中修正参考点分布在人体的指定部位时，确定每个所述指定部位中修正参考点的分散程度，指定部位至少包括人体腿部、手臂、腹部和头部；
[0045]当全部指定部位中修正参考点的分散程度超过预设分散值时，通过所述修正参数集合确定所述健身镜广角镜头的目标修正参数。
[0046]另一方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体动作分析修正镜头畸变的方法，其特征在于，所述方法应用于健身镜图像畸变修正系统，所述系统包括健身镜和至少一个智能终端，所述健身镜和所述至少一个智能终端设置在用户的四周，所述方法包括：在用户运动过程中，通过所述健身镜广角镜头和所述至少一个智能终端的非广角镜头分别采集用户基于时域的多帧运动数据；根据所述用户的每帧运动数据，分别建立基于健身镜的第一人体三维模型和基于智能终端的第二人体三维模型；将所述第一人体三维模型和所述第二人体三维模型进行比对，以确定所述第一人体三维模型的修正参数，所述修正参数至少包括一个修正参考点和所述修正参考点对应的修正数据；根据多帧运动数据，重复修正参数的获取步骤，以得到修正参数集合；当所述修正参数集合中修正参考点达到指定条件时，通过所述修正参数集合确定所述健身镜广角镜头的目标修正参数。2.根据权利要求1所述的方法，其特征在于，所述第一人体三维模型通过如下步骤建立：根据健身镜广角镜头采集的用户的第一视频帧图像和所述健身镜广角镜头的第一硬件参数，确定所述健身镜与所述用户之间的第一距离；根据所述第一视频帧图像，通过卷积神经网络识别出用户身体的各个第一关节点信息；根据所述用户的各个第一关节点信息，以及所述健身镜和所述用户之间的第一距离，确定所述用户人体关节点之间的第一实际位置参数；根据所述用户人体关节点之间的第一实际位置参数，建立基于球坐标的第一人体三维模型。3.根据权利要求1所述的方法，其特征在于，所述第二人体三维模型通过如下步骤建立：根据每个智能终端非广角镜头采集的用户的第二视频帧图像和所述智能终端非广角镜头的第二硬件参数，确定每个智能终端与所述用户之间的第二距离；根据所述第二视频帧图像，通过卷积神经网络识别出用户身体的各个第二关节点信息；根据所述用户的各个第二关节点信息，以及每个智能终端和所述用户之间的第二距离，确定所述用户人体关节点之间的第二实际位置参数；根据所述用户人体关节点之间的第二实际位置参数，建立每个智能终端的基于球坐标的第二初始人体三维模型；将同一时刻的全部智能终端的第二初始人体三维模型进行融合处理，得到第二人体三维模型。4.根据权利要求3所述的方法，其特征在于，所述将同一时刻的全部智能终端的第二初始人体三维模型进行融合处理，得到第二人体三维模型，进一步包括：获取每个智能终端对应的第二初始人体三维模型中各个关节数据，得到每个关节点对应的关节数据集合；
根据所述智能终端和所述健身镜的位置关系，对每个关节点对应的关节数据集合进行转换处理，以得到与所述健身镜采集视角一致的关节数据集合；将所述关节数据集合中的数据进行均值处理，得到每个关节点的目标关节数据；根据每个关节点的目标关节数据，建立第二人体三维模型。5.根据权利要求1所述的方法，其特征在于，将所述第一人体三维模型和所述第二人体三维模型进行比对，以确定所述第一人体三维模型的修正参数，包括：将所述第一人体三维模型和所述第二人体三维模型置于同一三维坐标系下，确定所述第一人体三维模型和所述第二人体三维模型每个像素点的坐标信息；计算第一人体三维模型和所述第二人体三维模型中对应的像素点的位置偏差值；将位置偏差值超过预...

【专利技术属性】
技术研发人员：王俊，张亮，陈国润，徐玉清，郑荣，
申请(专利权)人：上海理想信息产业集团有限公司，
类型：发明
国别省市：