用于基于来自移动终端的视频的姿态序列的系统和方法技术方案

公开了用于基于来自移动终端的视频的姿态序列的系统和方法。本发明专利技术的实施方式提供了用于姿态估计的系统和方法，包括：通过移动终端捕获视频序列，该视频序列包括多个帧；提取视频序列中对象的多个卷积特征；根据视频序列估计对象的姿势；根据估计的姿势构建多个特征的模型；根据多个特征估计对象的姿态。该系统还根据无约束视频确定关键姿态序列，其中，移动终端捕获视频序列；追踪器估计参考对象；姿态估计器根据多个特征估计对象的姿态；姿态解析单元评估估计的姿态；姿态重建单元将姿态重建到三维空间中；估算单元确定应该被添加到关键姿态序列中的估计姿态。

【技术实现步骤摘要】
用于基于来自移动终端的视频的姿态序列的系统和方法
本专利技术涉及机器视觉，特别地涉及对象的基于机器的姿势估计和姿态辨识，以根据从移动终端获得的视频产生关键姿态序列。
技术介绍
在最近的十年中，无论是在算法还是在计算能力上都取得了许多突破，为人工智能(AI)发展创造了良好的环境。计算机视觉——AI最关键的子域之一——受到了这一浪潮的深刻影响。利用深度学习的力量，最先进的计算机视觉算法可以执行几乎等同于或者很快超过人类的检测和分类任务。为了使计算机能够像人类一样执行任务，或者甚至进一步分析情况，这要求AI理解我们的实体世界。计算机视觉对于AI至关重要，因为它在通过提供视觉信息来帮助AI与我们的世界连接方面做出了巨大贡献。视觉是人类最重要的感觉，在其他所有感官中，人们最不能忍受失去视觉。根据视觉图像、心理图像或视频序列，计算机有多种方法分析和追踪对象的姿态。一些方法是检测对象的组成部分的自下而上的方法；其他则相反，是检测整个对象的自上而下。为了检测不同水平的对象特征，检测系统可能需要许多连锁算法。但是，一些方法倾向于使用端到端算法。哪本文档来自技高网...

【技术保护点】
1.一种用于估计对象的姿势和姿态信息的系统，所述系统包括：/n移动捕获设备，所述移动捕获设备用于连续捕获位于虚拟空间内或在虚拟空间内自由移动的所述对象的图像和/或视频数据；/n一个或多个处理单元，所述一个或多个处理单元用于从所述移动捕获设备获得所述图像和/或视频数据，并执行用于所述图像和/或视频数据的自动化处理的一个或多个机器学习算法，以：/n提取和学习所述对象的基本卷积特征，以基于学习到的基本卷积特征来识别所述对象的具体特征；/n基于所述对象的具体特征来估计所述对象的姿势，其中，估计所述对象的姿势包括根据所述对象的给定图像来估计身体部位信息，并且其中，所述姿势包括：身体部位类型、关于所述给定...

【技术特征摘要】
20190107 US 62/789,4531.一种用于估计对象的姿势和姿态信息的系统，所述系统包括：
移动捕获设备，所述移动捕获设备用于连续捕获位于虚拟空间内或在虚拟空间内自由移动的所述对象的图像和/或视频数据；
一个或多个处理单元，所述一个或多个处理单元用于从所述移动捕获设备获得所述图像和/或视频数据，并执行用于所述图像和/或视频数据的自动化处理的一个或多个机器学习算法，以：
提取和学习所述对象的基本卷积特征，以基于学习到的基本卷积特征来识别所述对象的具体特征；
基于所述对象的具体特征来估计所述对象的姿势，其中，估计所述对象的姿势包括根据所述对象的给定图像来估计身体部位信息，并且其中，所述姿势包括：身体部位类型、关于所述给定图像上的位置的x轴和y轴坐标；
基于所估计的姿势，生成所述对象的所述具体特征的抽象人体模型；并且
根据所述抽象人体模型中包括的所述具体特征，估计所述对象的姿态；其中，生成所述对象的所述抽象人体模型包括：
将每个身体部位与预定义的抽象身体部位耦合；
基于所耦合的身体部位，增补所述对象的多个缺失的单个身体部位和耦合身体部位；并且
通过将所增补的缺失部位与所耦合的身体部位连接，构建表示所述对象的估计姿态的所述对象的骨架表示；并且
其中，所捕获的视频数据是无约束视频数据，并且所述视频数据包括多个帧；并且
其中，所述抽象人体模型包括每个身体部位的信息，连同每个帧中身体部位之间的空间约束，以及贯穿多个帧的时间一致性。


2.根据权利要求1所述的系统，其中，提取所述基本卷积特征是实时执行的，并且其中，对记录的视频序列和/或实况视频序列执行所述基本卷积特征的提取，并且其中，所述一个或多个处理单元实施包括深度卷积神经网络的一个或多个机器学习算法以提取所述基本卷积特征。


3.根据权利要求2所述的系统，其中，捕获的视频数据是不受约束的，其中，所述视频数据是作为基线的RGB图像，并且与包括深度图像或热图像或磁图像或超声图像、惯性图像的一个或多个图像追踪维度相组合。


4.根据权利要求1所述的系统，其中，所述移动捕获设备是具有至少一个数码相机的移动终端，并且所述一个或多个处理单元包括在执行用于所述图像和/或视频数据的自动化处理的所述一个或多个机器学习算法的移动捕获设备中。


5.根据权利要求4所述的系统，还包括与所述移动捕获设备连接的远程计算设备，并且其中，所述远程计算设备包括一个或多个处理单元，并且其中，所述图像和/或视频数据的所述自动化处理部分地在所述移动捕获设备中包括的一个或多个处理单元中执行，部分地在所述远程计算设备中包括的一个或多个处理单元中执行。


6.根据权利要求1所述的系统，其中，所估计的姿势包括所述对象的位置与定向的结合，并且其中，所估计的姿势还包括关于所述对象在给定图像上的位置的z轴坐标。


7.根据权利要求1所述的系统，其中，所述多个缺失的单个身体部位和耦合身体部位的所述增补还包括分析特定身体部位的先前位置和/或预设自由度，所述自由度是指刚性体在三维空间中运动的自由度。


8.根据权利要求1所述的系统，其中，所述基本卷积特征包括：基本特征，所述基本特征包括所述对象在所述虚拟空间中的点、线和圆；或者是平面区块或复合特征；并且其中，身体部位选自鼻部、颈部、右肩部、右肘部、右腕部、左肩部、左肘部、左腕部、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝或腹股沟。


9.根据权利要求1所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以编译包括在所述对象的所述骨架表示中的姿势信息，以形成所述骨架表示的2D表示。


10.根据权利要求9所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以通过下述来分析所述估计姿态的所述骨架表示：生成包括关节角度在内的复杂解析特征进行度量比较，以指示所述对象在所述虚拟空间中移动时的特定估计姿态的阶段。


11.根据权利要求10所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以通过下述来估算所述对象的所述估计姿态：使用N-最佳推理算法生成多个最佳姿态假设，并相对于先前的特征对应关系确定最佳姿态。


12.根据权利要求11所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以通过将所述最佳姿态与所述对象在所述虚拟空间中的地面真实姿态进行比较以针对误差分析来估算所述最佳姿态。


13.根据权利要求11所述的...

【专利技术属性】
技术研发人员：曾俊谚，
申请(专利权)人：一元精灵有限公司，
类型：发明
国别省市：中国香港;81