一种人体坐姿的监督方法技术

本发明专利技术实施例公开一种人体坐姿的监督方法。该人体坐姿的监督方法包括初始阶段和实时监督阶段，初始阶段通过多幅图像在人体关键点计算网络计算确定初始关键点位置，实时监督阶段在初始关键点位置的基础上实时检测每帧图像中关键点的位置，并通过各个关键点之间的位置关系及前后帧之间的同一关键点之间的关系判断人体坐姿是否符合标准。本发明专利技术实施例提供的人体坐姿的监督方法不仅简单方便使用、且具有一定地跟踪功能，能提供更为精准的坐姿判断结果。

【技术实现步骤摘要】
一种人体坐姿的监督方法
本专利技术涉及计算机视觉及人机交互的
，具体涉及一种可支持移动终端的人体坐姿的监督方法。
技术介绍
目前，市场上现有的坐姿监督方法主要包括穿戴式正姿法、隔挡倚靠正姿法和红外距离传感正姿法。穿戴式正姿法通过约束穿戴者的坐姿以达到形体矫正的目标，这种方法不仅使用起来麻烦，长期穿戴还会对人体、尤其是处于生长发育期的人体造成不利影响。隔挡倚靠正姿法需要介入方式进行正姿的设备，该设备不但占用空间且使用起来不舒服。红外距离传感正姿法虽然方便小巧，但是仅能对用户单方面距离进行监督，不能很好地监督歪头等不良坐姿。因此，针对现有的监督人体坐姿方法所存在的问题，需要提供一种简单且能够多方面监督人体坐姿的方法。
技术实现思路
针对现有的针对现有的监督人体坐姿方法所存在的问题，本专利技术实施例提供一种监督人体坐姿的方法。该方法基于2D普通摄像头进行人体坐姿的图像采集，具有低计算量、低功耗、简单易用且能够多方面监督人体的坐姿。本专利技术实施例所提供的一种人体坐姿的监督方法的具体方案如下：一种人体坐姿的监督方法，包括步骤：利用移动终端的2D摄像头采集包括人体坐姿的图像；将图像的尺寸缩放至预设大小，所述预设大小满足人体关键点计算网络的需求尺寸；将缩放后的图像输入人体关键点计算网络进行计算，所述人体关键点计算网络计算后输出图像的各个关键点的坐标及相应关键点的置信度；选取多幅图像并针对所述多幅图像的关键点得到的若干次置信度结果，取超过指定阈值的结果的平均位置作为当前人体的关键点；针对所述多幅图像之后的每一帧图像，计算上一帧图像所有关键点位置在图像中的最小邻近框；将所述最小邻近框像外分别扩展并与获取的原始图像帧有交集的区域图像缩放至预设大小，并输入人体关键点计算网络进行计算；根据计算得到的关键点位置坐标计算各个关键点之间的位置关系以及前后图像帧之间的相应关键点的位置关系，判断当前人体坐姿是否符合标准。优选地，所述最小邻近框为在所述关键点位置在图像中上下左右最小矩形框。优选地，所述关键点的总个数为8个。优选地，所述关键点包括头部关键点、颈部关键点、第一肩部关键点、第二肩部关键点、第一肘部关键点、第二肘部关键点、第一腕部关键点和第二腕部关键点。优选地，所述人体关键点计算网络为一种用于单人人体关键点检测的深度学习网络。优选地，所述人体关键点计算网络包括卷积网络模块、深度组卷积残差模块以及多个二层沙漏网络子模块。优选地，所述深度组卷积的残差模块包括多次不同步长卷积的第一单元和单次步长为1卷积的第二单元。优选地，所述二层沙漏网络子模块包括多次降采样、多次深度组卷积和多次升采样。优选地，所述指定阈值为0.5。优选地，所述移动终端包括手机、平板电脑、手提电脑。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例提供一种人体坐姿的监督方法用于计算关键点的神经网络是经过改进的可运行于移动终端的关键点检测的二层沙漏网络并添加了坐姿图像数据进行训练，从而增强了人体关键点计算网络对坐姿关键点的敏感程度，在保证精度的情况下达到关键点的实时检测。进一步地，本专利技术实施例提供一种人体坐姿的监督方法通过初始阶段若干图像关键点计算结果的位置评估，精确了送入人体关键点计算网络的人体的矩形图像；并在后续图像帧每次送入人体关键点计算网络前，都根据前一帧的人体矩形框位置进行评估，使方法具有一定的跟踪功能，从而能更精确的计算人体关键点的位置。进一步地，本专利技术实施例提供一种人体坐姿的监督方法只需要采用具有摄像头的移动终端进行图像的实时采集，使用方便简单。附图说明图1为本专利技术实施例中提供的人体坐姿的监督方法的流程步骤示意图；图2为本专利技术实施例中人体关键点的示意图；图3为图1所示实施例中所采用的人体关键点计算网络的结构示意图；图4为图3中沙漏网络子模块的结构示意图。附图标记说明：100、移动终端200、人体10、头部关键点11、颈部关键点12、第一肩部关键点13、第二肩部关键点14、第一肘部关键点15、第二肘部关键点16、第一腕部关键点17、第二腕部关键点具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。如图1所示，本专利技术实施例中提供的一种人体坐姿的监督方法。在该实施例中，人体坐姿的监督方法包括7个步骤，具体阐述如下。步骤S1：利用移动终端的2D摄像头采集包括人体坐姿的图像。如图2所示，本专利技术实施例中人体关键点的示意图。在该实施例中，移动终端100放置于桌面上，移动终端100的2D摄像头的摄像角度朝向人体200，确保人体200的上半身处于2D摄像头的摄像视野内。在该实施例中，人体关键点的个数为8个，分别包括头部关键点10、颈部关键点11、第一肩部关键点12、第二肩部关键点13、第一肘部关键点14、第二肘部关键点15、第一腕部关键点16和第二腕部关键点17。移动终端100具体可以为手机、平板电脑、手提电脑等带有2D摄像头的移动设备。在该实施例中，移动终端100为手机，手机的2D摄像头实时地采集人体坐姿的RGB三通道彩色图像，图像的尺寸为640*480。关键点的个数及具体的关键点，也可根据需求作适应性地变化，此处不再赘述。步骤S2：将图像的尺寸缩放至预设大小，所述预设大小满足人体关键点计算网络的需求尺寸。在该具体实施例中，将采集到的图像尺寸为640*480的原始图像利用图像处理方法变换成256*256的RGB三通道图像，被缩放后的图像可作为人体关键点计算网络的输入端。步骤S3：将缩放后的图像输入人体关键点计算网络进行计算，所述人体关键点计算网络计算后输出图像的各个关键点的坐标及相应关键点的置信度。步骤S4：选取多幅图像并针对所述多幅图像的关键点得到的若干次置信度结果，取超过指定阈值的结果的平均位置作为当前人体的关键点。步骤S3和步骤S4可以统称为开始阶段，主要通过初次计算确定关键点的位置。在开始阶段，在保证人体坐姿不变的情况下，移动终端100采集1本文档来自技高网...

【技术保护点】
1.一种人体坐姿的监督方法，其特征在于，所述方法包括步骤：/n利用移动终端的2D摄像头采集包括人体坐姿的图像；/n将图像的尺寸缩放至预设大小，所述预设大小满足人体关键点计算网络的需求尺寸；/n将缩放后的图像输入人体关键点计算网络进行计算，所述人体关键点计算网络计算后输出图像的各个关键点的坐标及相应关键点的置信度；/n选取多幅图像并针对所述多幅图像的关键点得到的若干次置信度结果，取超过指定阈值的结果的平均位置作为当前人体的关键点；/n针对所述多幅图像之后的每一帧图像，计算上一帧图像所有关键点位置在图像中的最小邻近框；/n将所述最小邻近框像外分别扩展并与获取的原始图像帧有交集的区域图像缩放至预设大小，并输入人体关键点计算网络进行计算；/n根据计算得到的关键点位置坐标计算各个关键点之间的位置关系以及前后图像帧之间的相应关键点的位置关系，判断当前人体坐姿是否符合标准。/n

【技术特征摘要】
1.一种人体坐姿的监督方法，其特征在于，所述方法包括步骤：
利用移动终端的2D摄像头采集包括人体坐姿的图像；
将图像的尺寸缩放至预设大小，所述预设大小满足人体关键点计算网络的需求尺寸；
将缩放后的图像输入人体关键点计算网络进行计算，所述人体关键点计算网络计算后输出图像的各个关键点的坐标及相应关键点的置信度；
选取多幅图像并针对所述多幅图像的关键点得到的若干次置信度结果，取超过指定阈值的结果的平均位置作为当前人体的关键点；
针对所述多幅图像之后的每一帧图像，计算上一帧图像所有关键点位置在图像中的最小邻近框；
将所述最小邻近框像外分别扩展并与获取的原始图像帧有交集的区域图像缩放至预设大小，并输入人体关键点计算网络进行计算；
根据计算得到的关键点位置坐标计算各个关键点之间的位置关系以及前后图像帧之间的相应关键点的位置关系，判断当前人体坐姿是否符合标准。


2.根据权利要求1所述的一种人体坐姿的监督方法，其特征在于，所述最小邻近框为在所述关键点位置在图像中上下左右最小矩形框。


3.根据权利要求1所述的一种人体坐姿的监督方法，其特征在于，所述关键点的总个数为8个。

<...

【专利技术属性】
技术研发人员：宋健，徐方，丁若修，姜楠，潘鑫，王晓东，
申请(专利权)人：沈阳新松机器人自动化股份有限公司，
类型：发明
国别省市：辽宁;21