一种基于人工智能跑步肢体遮挡姿态识别方法技术

本发明专利技术公开了一种基于人工智能跑步肢体遮挡姿态识别方法，包括如下步骤：S1、图像数据采集：根据带采集数据的现场(跑步场景)要求，在多个角度设定图像采集装置，对人体在跑步状态下的姿态进行采集，将人物的肢体姿态图像数据与主控制器存储的对比信息比较后，以获取人物的肢体姿态信息所对应的数据信息，其中主控制器包括图像处理模块和对比模块；S2、数据处理；S3、肢体坐标追踪；S4、坐标纠正；S5、动画绘制；在检测过程中，因为人物的遮挡或摄像头边缘区域画面的不完整导致模型人物动作无法检测时，项目通过比较当前画面及其之前画面的人数与位置关系，将上一帧的人物动作补到当前画面中，避免了人物突然消失出现的问题。

【技术实现步骤摘要】
一种基于人工智能跑步肢体遮挡姿态识别方法
本专利技术属于姿态识别
，更具体地说，尤其涉及一种基于人工智能跑步肢体遮挡姿态识别方法。
技术介绍
目前已有不少研究涉及利用手势信号来控制家电等智能设备的方案。现有的手势识别设备比如kinect，通常采用摄像头或者其他的深度传感器捕捉人物。针对现有的一种基于kinect的运动人体姿态识别方法，它包括以下步骤:定义姿态的行为模式、训练姿态序列样本采集、样本姿态序列的特征提取和归一化、样本姿态特征的降维、训练多类姿态分类机、对新的姿态序列进行识别。这款产品提供了实时地表示人体姿态的方法，能够比较准确的检测到人体的空间位置，并用三维链式骨骼系统对检测到的人体姿态进行表示。针对目前国内已有的产品实现对肢体遮挡姿态识别的方法，存在以下几点问题：1、没有针对跑步场景的处理；2、没有对缺失部位进行填补。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于人工智能跑步肢体遮挡姿态识别方法，在检测过程中，因为人物的遮挡或摄像头边缘区域画面的不完整导致模型人物动作无法检测时，项目通过比较当前画面及其之前画面的人数与位置关系，将上一帧的人物动作补到当前画面中，避免了人物突然消失出现的问题；跑步监测采用部件检测的方法，把人体分为头肩，躯干，四肢等部分，对这些部分分别进行检测，然后将结果组合起来；当有遮挡物时，人物检测返回的结果便是不完整的坐标点信息，其中会缺失几个人体部位的点坐标(返回结果为[0，0])，这时我们调用人物追踪模块存储的上一帧人物肢体坐标信息，进行平移旋转，计算出缺失部位的坐标，对其进行填补。为实现上述目的，本专利技术提供如下技术方案：一种基于人工智能跑步肢体遮挡姿态识别方法，包括如下步骤：S1、图像数据采集：根据带采集数据的现场(跑步场景)要求，在多个角度设定图像采集装置，对人体在跑步状态下的姿态进行采集，将人物的肢体姿态图像数据与主控制器存储的对比信息比较后，以获取人物的肢体姿态信息所对应的数据信息，其中主控制器包括图像处理模块和对比模块；S2、数据处理：利用所述图像处理模块，对获取人物的肢体姿态信息所对应的数据信息进行转换，使其在数据对比模块的作用下，形成人物肢体采集的坐标信息；S3、肢体坐标追踪：所述主控制器还包括肢体坐标追踪模块，所述肢体坐标追踪的目标包括三大主要数据：上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向，主控制器会将采集装置所采集的上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向这三大数据进行处理，同时也需要检测连续画面中是否是同一人物，当出现人物完全遮挡情况时，结合人物追踪模块记录的人物信息，判断缺失的人物情况，当之后的画面又出现该人物时，还是会先根据位置和方向判断是否为同一人物，如果是同一人物则继续进行追踪，并存储每个跑步人员的相关信息，比如人物编号、肢体关键点坐标、上一个肢体关键点坐标、移动距离、移动方向、所处摄像头编号等；S4、坐标纠正：所述主控制器还包括坐标纠正模块，所述坐标纠正模块能够在部分遮挡的情况下识别出人物特质，检测出能看的见的人体部位坐标，然后先判断当前画面中缺失的部位，再通过之前的检测结果计算出缺失部分的坐标；S5、动画绘制：所述主控制器还包括动画绘制模块，所述动画绘制模块用于将人体关键点坐标绘制成动画并使用opencv存储到视频画面中。优选的，所述主控制器还包括接收模块，所述数据处理模块与所述接收模块相连且另一端与所述数据对比模块相连，可同时用于处理多个用户分别对应的肢体姿态信息。优选的，所述图像采集装置设置为摄像头，由于所述摄像头的鱼眼画面及人物跑动位置不统一，所以需要对整体的画面和人物进行缩放和旋转，使人物处于直立姿态并位于画面中央，缺失点坐标的计算，同时还包括一些手脚位置的异常处理。优选的，对于手脚位置的异常的情况有手脚位置过高或比例不对等，所述坐标纠正模块会将数据反馈给肢体坐标追踪模块，经由肢体坐标追踪模块再次对人体在跑步状态下的姿态进行采集后，获取正确的姿态坐标，再次传递给坐标纠正模块。优选的，所述OpenCV用C++语言编写，它具有C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和MacOS，OpenCV主要倾向于实时视觉应用，并在可用时利用MMX和SSE指令，也提供对于C#、Ch、Ruby，GO的支持。优选的，所述步骤S3中，在对肢体坐标追踪时，会出现人物被局部遮挡的情况，可通过OpenPose人体姿态识别项目执行具体追踪流程。本专利技术的技术效果和优点：本专利技术提供的一种基于人工智能跑步肢体遮挡姿态识别方法，在检测过程中，因为人物的遮挡或摄像头边缘区域画面的不完整导致模型人物动作无法检测时，项目通过比较当前画面及其之前画面的人数与位置关系，将上一帧的人物动作补到当前画面中，避免了人物突然消失出现的问题；跑步监测采用部件检测的方法，把人体分为头肩，躯干，四肢等部分，对这些部分分别进行检测，然后将结果组合起来；当有遮挡物时，人物检测返回的结果便是不完整的坐标点信息，其中会缺失几个人体部位的点坐标(返回结果为[0，0])，这时我们调用人物追踪模块存储的上一帧人物肢体坐标信息，进行平移旋转，计算出缺失部位的坐标，对其进行填补。附图说明图1为本专利技术的肢体坐标追踪和坐标纠正模块处理流程框图；图2为本专利技术的肢体部位缺失处理流程框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于人工智能跑步肢体遮挡姿态识别方法，包括如下步骤：S1、图像数据采集：根据带采集数据的现场(跑步场景)要求，在多个角度设定图像采集装置，对人体在跑步状态下的姿态进行采集，将人物的肢体姿态图像数据与主控制器存储的对比信息比较后，以获取人物的肢体姿态信息所对应的数据信息，其中主控制器包括图像处理模块和对比模块；S2、数据处理：利用所述图像处理模块，对获取人物的肢体姿态信息所对应的数据信息进行转换，使其在数据对比模块的作用下，形成人物肢体采集的坐标信息；S3、肢体坐标追踪：所述主控制器还包括肢体坐标追踪模块，所述肢体坐标追踪的目标包括三大主要数据：上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向，主控制器会将采集装置所采集的上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向这三大数据进行处理，同时也需要检测连续画面中是否是同一人物，当出现人物完全遮挡情况时，结合人物追踪模块记录的人物信息，判断缺失的人物情况，当之后的画面又出现该人物时，还是会先根据位置和方向判断是否为同一人物，如本文档来自技高网...

【技术保护点】
1.一种基于人工智能跑步肢体遮挡姿态识别方法，其特征在于：包括如下步骤：/nS1、图像数据采集：/n根据带采集数据的现场(跑步场景)要求，在多个角度设定图像采集装置，对人体在跑步状态下的姿态进行采集，将人物的肢体姿态图像数据与主控制器存储的对比信息比较后，以获取人物的肢体姿态信息所对应的数据信息，其中主控制器包括图像处理模块和对比模块；/nS2、数据处理：/n利用所述图像处理模块，对获取人物的肢体姿态信息所对应的数据信息进行转换，使其在数据对比模块的作用下，形成人物肢体采集的坐标信息；/nS3、肢体坐标追踪：/n所述主控制器还包括肢体坐标追踪模块，所述肢体坐标追踪的目标包括三大主要数据：上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向，主控制器会将采集装置所采集的上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向这三大数据进行处理，同时也需要检测连续画面中是否是同一人物，当出现人物完全遮挡情况时，结合人物追踪模块记录的人物信息，判断缺失的人物情况，当之后的画面又出现该人物时，还是会先根据位置和方向判断是否为同一人物，如果是同一人物则继续进行追踪，并存储每个跑步人员的相关信息，比如人物编号、肢体关键点坐标、上一个肢体关键点坐标、移动距离、移动方向、所处摄像头编号等；/nS4、坐标纠正：/n所述主控制器还包括坐标纠正模块，所述坐标纠正模块能够在部分遮挡的情况下识别出人物特质，检测出能看的见的人体部位坐标，然后先判断当前画面中缺失的部位，再通过之前的检测结果计算出缺失部分的坐标；/nS5、动画绘制：/n所述主控制器还包括动画绘制模块，所述动画绘制模块用于将人体关键点坐标绘制成动画并使用opencv存储到视频画面中。/n...

【技术特征摘要】
1.一种基于人工智能跑步肢体遮挡姿态识别方法，其特征在于：包括如下步骤：
S1、图像数据采集：
根据带采集数据的现场(跑步场景)要求，在多个角度设定图像采集装置，对人体在跑步状态下的姿态进行采集，将人物的肢体姿态图像数据与主控制器存储的对比信息比较后，以获取人物的肢体姿态信息所对应的数据信息，其中主控制器包括图像处理模块和对比模块；
S2、数据处理：
利用所述图像处理模块，对获取人物的肢体姿态信息所对应的数据信息进行转换，使其在数据对比模块的作用下，形成人物肢体采集的坐标信息；
S3、肢体坐标追踪：
所述主控制器还包括肢体坐标追踪模块，所述肢体坐标追踪的目标包括三大主要数据：上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向，主控制器会将采集装置所采集的上一帧肢体关键点坐标值、当前画面的检测结构和人物的运动方向这三大数据进行处理，同时也需要检测连续画面中是否是同一人物，当出现人物完全遮挡情况时，结合人物追踪模块记录的人物信息，判断缺失的人物情况，当之后的画面又出现该人物时，还是会先根据位置和方向判断是否为同一人物，如果是同一人物则继续进行追踪，并存储每个跑步人员的相关信息，比如人物编号、肢体关键点坐标、上一个肢体关键点坐标、移动距离、移动方向、所处摄像头编号等；
S4、坐标纠正：
所述主控制器还包括坐标纠正模块，所述坐标纠正模块能够在部分遮挡的情况下识别出人物特质，检测出能看的见的人体部位坐标，然后先判断当前画面中缺失的部位，再通过之前的检测结果计算出缺失部分的坐标；
S5、动画绘制：
所述主控制器还包括动画绘制模块，所述动画绘制模块用于将人体关键点坐标绘制成动画并使用ope...

【专利技术属性】
技术研发人员：孔奕仁，李玲，张威，
申请(专利权)人：上海盛奕数字科技有限公司，
类型：发明
国别省市：上海;31