一种基于人工智能的单相机实时三维动作捕捉算法制造技术

本发明专利技术公开了一种基于人工智能的单相机实时三维动作捕捉算法，本发明专利技术提出的算法实现了对特定物体和人体的三维运动进行实时捕捉；与现有技术和算法相比，本发明专利技术提出的基于人工智能中的深度卷积神经网络算法具备现有最先进移动端人体动作捕捉方法的精准度和效率；与现阶段常用的三维动作捕捉方法中使用的专业、昂贵的硬件设施相比，本申请提出的算法只需要单个移动端相机即可实现实时三维动作捕捉；本发明专利技术还提出了基于人工智能中机器学习的算法，实现了在捕捉、分析、积累数据的同时更新现有的深度卷积神经网络算法，从而实现了算法本身在应用中的持续自优化和自更新，解决了开发和更新算法的难点。更新算法的难点。更新算法的难点。

【技术实现步骤摘要】
一种基于人工智能的单相机实时三维动作捕捉算法


[0001]本专利技术属于人工智能、动作捕捉、宏观刚体力学、人体生物力学
，具体涉及一种基于人工智能的单相机实时三维动作捕捉算法。

技术介绍

[0002]物体和人体运动捕捉是人工智能研究领域的一个重要方向。精准三维动作捕捉一般采用多个(3个以上)专业红外线摄像机，或多个(6个以上)惯性传感器，或至少2个RGB
‑
D深度摄像机。为了准确的捕捉特定物体和人体的运动数据，上述方法所需硬件设施昂贵，且对数据采集现场具有较高要求，如采集现场空间大小、是否具备给电设施、以及天气及其他环境因素。同时，应用红外摄像机和惯性传感器的动作捕捉方法另还需要在被测试物体上设置标记物或传感器，需要被测试人穿戴设置有标记物或传感器的特制服饰。相比之下，现有的移动端动作捕捉方法(即使用手机或便携式摄像机)在只应用一个相机的情况下只能实时捕捉特定物体或人体在二维平面中的运动。
[0003]针对现有技术的缺陷，本专利技术提出了一种基于人工智能算法的、使用移动端设备的(手机或便携式摄像机)、且受环境影响较小的针对特定物体(如健身器材中的杠铃、哑铃等)和人体的实时的三维动作捕捉方法，另通过机器学习算法，以实现对现有动作捕捉算法的持续自更新和自优化。

技术实现思路

[0004]本专利技术的目的在于提供一种基于人工智能的单相机实时三维动作捕捉算法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于人工智能的单相机实时三维动作捕捉算法，包括实施该方法所需的连接和驱动移动端视频录制设备的计算机端软件和移动端APP；
[0006]S1：所述计算机端软件或移动端APP利用本地计算资源，在拍摄和录制视频的同时对特定物体进行实时识别和标记，并实时记录和存储特定物体在二维视频图像中的运动轨迹；
[0007]S2：所述计算机端软件或移动端APP利用本地计算资源对单个被测试人的躯干和主要关节进行实时识别和标记，并实时记录和存储被测试人的躯干和主要关节在二维视频图像中的运动轨迹；
[0008]S3：所述计算机端软件或移动端APP在完成录制、存储、识别、标记运动视频后，生成完成标记的视频；
[0009]S4：所述计算机端软件或移动端APP将原视频、完成标记的视频、二维运动轨迹数据上传至局域网或互联网云端服务器。
[0010]优选的，利用人工智能的算法平台在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试物的二维运动轨迹数据；所述算法平台集成人工智能
计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理，将被测试物的二维运动轨迹数据转换为三维运动轨迹数据。
[0011]优选的，所述算法平台在计算机软件和移动端APP中集成，根据所标记的被测试物体在每帧视频中的位置、形状、大小，并结合每帧视频所拍摄的空间的大小、相机与被测试物体之间的实际距离，应用深度视觉卷积算法，实时预测被测试物体在录制的每帧视频中在三维空间中的位置；所述算法平台实时整合被测试物体在每帧视频中的三维位置，实时计算得出被测试物体在所有前序帧和当前帧中的三维运动轨迹，同时将被测试物的三维运动轨迹实时储存于本地计算机和手机端。
[0012]优选的，在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试人人体躯干和四肢关节的二维运动轨迹数据；所述算法平台集成本专利技术研发的人工智能计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理、人体生物力学中人体关节结构数据，将被测试人人体躯干和四肢关节的二维运动轨迹数据转换为三维运动轨迹数据；
[0013]所述算法平台根据所标记的被测试人的躯干和四肢关节在每帧视频中的位置、形状，并结合每帧视频所拍摄的空间的大小、相机与被测试人之间的实际距离，应用深度视觉卷积算法，实时预测被测试人的躯干和四肢关节在录制的每帧视频中在三维空间中的位置。
[0014]优选的，融合人体生物力学中三维关节节律算法，利用本地计算机端和移动端的计算资源，利用被测试人的躯干在录制的每帧视频中在三维空间中的位置，实时计算被测试人脊柱中主要锥体分段的三维关节节律；
[0015]所述算法平台利用被测试人躯干的三维位移、形状数据，实时计算被测试人在实时录制视频中的三维脊柱曲度；
[0016]所述算法平台依据人体生物力学中脊柱中主要锥体分段之间节律的相互关联以及协同特性，融合深度卷积神经网络算法，利用被测试人在实时录制视频中的三维脊柱曲度数据，实时计算被测试人颈椎、胸椎、腰椎的在实时录制视频中的三维关节节律。
[0017]优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和下肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人髋关节的三维关节节律、膝关节的屈伸节律；
[0018]所述算法平台依据人体生物力学中髋关节与膝关节节律的相互关联、协同特性，融合了深度卷积神经网络算法,应用所述髋关节三维关节节律和膝关节屈伸节律数据，实时计算膝关节的内外旋节律。
[0019]优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和下肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人的腰骶关节的三维关节节律；
[0020]所述算法平台依据人体生物力学中腰椎与髋关节节律的相互关联、协同特性，融合了深度卷积神经网络算法，应用所述腰椎和髋关节节律数据，实时计算腰骶关节的三维节律。
[0021]优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和上肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人肩关节的三维关节节律、肘关节的屈伸节律；
[0022]所述算法平台依据人体生物力学中肩关节与肘关节节律的相互关联、协同特性，融合了深度游卷积神经网络算法,应用所述肩关节三维关节节律和肘关节屈伸节律数据，实现了计算肘关节的内外旋节律。
[0023]优选的，利用本地计算机端和移动端的计算资源，利用被测试人的躯干和上肢在录制的每帧视频中在三维空间中的位置，实时计算被测试人肩盂肱骨关节和肩胛骨的三维节律；
[0024]所述算法平台依据人体生物力学中肩关节中肱骨和肩胛骨，以及肩胛骨和胸椎的相互关联以及协同特性，融合了深度卷积神经网络算法,胸椎三维关节节律，肩关节三维关节节律，实时计算被测试人的肩盂肱骨关节和肩胛骨三维节律。
[0025]优选的，利用对算法平台所得数据进行人工校准数据，实现算法平台的持续自优化和自更新；所述算法平台将所述现有算法平台所得结果与人工校准数据进行对比和误差分析，应用机器学习算法对现有算法平台的深度卷积神经网络算法进行优化，以减小现有深度卷积神经网络算法所得结果和人工校准结果之间的误差；所述算法平台应用深度机器学习算法的优化结果，对现有算法平台的深度卷积神经网络算法进行更新，从而实现深度卷积神经网络算法的持续更新。
[0026]与现有技术相比，本专利技术的有益效果是：本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：包括实施该方法所需的连接和驱动移动端视频录制设备的计算机端软件和移动端APP；S1：所述计算机端软件或移动端APP利用本地计算资源，在拍摄和录制视频的同时对特定物体进行实时识别和标记，并实时记录和存储特定物体在二维视频图像中的运动轨迹；S2：所述计算机端软件或移动端APP利用本地计算资源对单个被测试人的躯干和主要关节进行实时识别和标记，并实时记录和存储被测试人的躯干和主要关节在二维视频图像中的运动轨迹；S3：所述计算机端软件或移动端APP在完成录制、存储、识别、标记运动视频后，生成完成标记的视频；S4：所述计算机端软件或移动端APP将原视频、完成标记的视频、二维运动轨迹数据上传至局域网或互联网云端服务器。2.根据权利要求1所述的一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：利用人工智能的算法平台在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试物的二维运动轨迹数据；所述算法平台集成人工智能计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理，将被测试物的二维运动轨迹数据转换为三维运动轨迹数据。3.根据权利要求2所述的一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：所述算法平台在计算机软件和移动端APP中集成，根据所标记的被测试物体在每帧视频中的位置、形状、大小，并结合每帧视频所拍摄的空间的大小、相机与被测试物体之间的实际距离，应用深度视觉卷积算法，实时预测被测试物体在录制的每帧视频中在三维空间中的位置；所述算法平台实时整合被测试物体在每帧视频中的三维位置，实时计算得出被测试物体在所有前序帧和当前帧中的三维运动轨迹，同时将被测试物的三维运动轨迹实时储存于本地计算机和手机端。4.根据权利要求2所述的一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：在本地计算机端和移动端上整合和处理录制的运动原视频、完成标记的视频、被测试人人体躯干和四肢关节的二维运动轨迹数据；所述算法平台集成本发明研发的人工智能计算机视觉算法、深度卷积神经网络算法，融合宏观刚体力学原理、人体生物力学中人体关节结构数据，将被测试人人体躯干和四肢关节的二维运动轨迹数据转换为三维运动轨迹数据；所述算法平台根据所标记的被测试人的躯干和四肢关节在每帧视频中的位置、形状，并结合每帧视频所拍摄的空间的大小、相机与被测试人之间的实际距离，应用深度视觉卷积算法，实时预测被测试人的躯干和四肢关节在录制的每帧视频中在三维空间中的位置。5.根据权利要求4所述的一种基于人工智能的单相机实时三维动作捕捉算法，其特征在于：融合人体生物力学中三维关节节律算法，利用本地计算机端和移动端的计算资源，利用被测试人的躯干在录制的每帧视频中在三维空间中的位置，实时计算被测试人脊柱中主要锥体分段的三维关节节律；所述算法平台利用被测试人躯干的三维位...

【专利技术属性】
技术研发人员：陈翔，
申请(专利权)人：陈翔，
类型：发明
国别省市：