一种基于视觉感知的健身房智能管理决策系统技术方案

本发明专利技术提出一种基于视觉感知的健身房智能管理决策系统。包括图像获取模块、三维坐标检测模块、霸占行为判断模块、密度分级模块。图像获取模块用于构建健身房的BIM，获取各个子区域的原始图像，将各子区域原始图像投影到BIM地面平面上并拼接起来；三维坐标检测模块用于检测原始图像中每个顾客的人体关键点三维坐标，输出人体关键点三维坐标序列和关键点热力图；霸占行为判断模块用于检测健身器材区域内顾客是否有霸占健身器材行为；密度分级模块用于检测各健身区域定位点叠加图对应的顾客密度等级，最后将BIM可视化，工作人员可以在Web上及时观察到霸占健身器材行为发生的地点、健身区域顾客密度等级等信息。

【技术实现步骤摘要】
一种基于视觉感知的健身房智能管理决策系统
本申请涉及机器视觉领域，具体涉及一种基于视觉感知的健身房智能管理决策系统。
技术介绍
随着科技发展和生活水平的提高，人们的健身意识得到了很大的提升，很多人会选择去健身房锻炼身体。但健身房里有的顾客霸占健身器材，造成健身资源的浪费。而且健身房会出现有些健身器材比较受顾客欢迎的情况，这时候需要增加该器材的数量。现有对霸占健身器材的检测主要靠工作人员在健身房内巡查，这种方法成本较高，且人工判断带有主观性，会出现误判的情况。
技术实现思路
针对以上问题，本专利技术提出一种基于视觉感知的健身房智能管理决策系统。包括图像获取模块、三维坐标检测模块、霸占行为判断模块、密度分级模块。图像获取模块用于构建健身房的BIM，获取各个子区域的原始图像，将各子区域原始图像投影到BIM地面平面上并拼接起来；三维坐标检测模块用于检测原始图像中每个顾客的人体关键点三维坐标，输出人体关键点三维坐标序列和关键点热力图；霸占行为判断模块用于检测健身器材区域内顾客是否有霸占健身器材行为；密度分级模块用于检测各健身区域定位点叠加图对应的顾客密度等级，最后将BIM可视化，工作人员可以在Web上及时观察到霸占健身器材行为发生的地点、健身区域顾客密度等级等信息。一种基于视觉感知的健身房智能管理决策系统，其特征在于，该系统包括：图像获取模块、三维坐标检测模块、霸占行为判断模块和密度分级模块。所述图像获取模块用于建立健身房的BIM，将健身房分为若干个子区域，设置相机获取子区域的原始图像；将各子区域原始图像投影到BIM地面平面上并拼接起来，输出健身房全景图。所述三维坐标检测模块包括关键点检测网络、肢体检测网络、关键点匹配模块和TCN网络，用于获取每个顾客的人体关键点三维坐标，输出人体关键点三维坐标序列和人体关键点热力图。所述霸占行为判断模块用于在检测周期内定时检测健身器材区域内顾客的人体关键点三维坐标序列，生成健身动作检测序列；以健身动作检测序列中一组人体关键点三维坐标序列为对比序列，分析健身动作检测序列里人体关键点三维坐标序列与对比序列的相似度，统计相似关键点三维坐标序列的时间间隔t，计算t的均值t′，并判断顾客是否为疑似健身状态；若为疑似健身状态，计算该检测周期内t的方差s，并进一步判断顾客是否为健身状态；若顾客为非健身状态，连续统计顾客处于非健身状态的时间t″，判断是否存在霸占健身器材行为。所述密度分级模块用于将人体关键点热力图中的定位点筛选出来；得到人体定位点热力图，将各子区域定位点热力图投影到BIM地面平面上并拼接起来，输出定位点全景图并基于遗忘系数叠加，得到定位点叠加图；设置健身区域，输出各健身区域的定位点叠加图；将各健身区域的定位点叠加图输入顾客密度分级网络，检测各健身区域的顾客密度等级。所述三维坐标检测模块包括：关键点检测网络，用于检测原始图像中人体关键点和定位点，输出人体关键点热力图；肢体检测网络，用于检测原始图像中的肢体，输出肢体亲和矢量场；关键点匹配模块，用于结合人体关键点热力图和肢体亲和矢量场，以最大权值匹配的方式依次对每种肢体两端的两种关键点进行匹配，得出人体关键点的最佳匹配，输出若干组人体关键点二维坐标序列；TCN网络，用于预测人体关键点的三维坐标，输出人体关键点三维坐标序列。所述关键点检测网络的训练方法包括：以相机拍摄的若干张子区域原始图像为数据集；对数据集进行标注，标注出头部、左肩、右肩、左肘、右肘、左手中心、右手中心、脊柱中心、颈部中心、左胯中心、右胯中心、左膝、右膝、左脚中心、右脚中心点和定位点，生成标注数据；所述定位点为左脚中心点与右脚中心点所连线段的中点；使用均方误差损失函数进行训练。所述肢体检测网络的训练方法包括：以相机拍摄的若干张子区域原始图像为数据集；对数据集进行标注，在人的肢体包含的像素上标注从肢体一端关键点指向肢体另一端关键点方向的单位向量，生成标注数据；采用均方误差损失函数进行训练。所述TCN网络的训练方法包括：以若干组人体关键点二维坐标序列为数据集；标注出每个人体关键点的三维坐标，生成标注数据；使用均方误差损失函数进行训练。所述霸占行为判断模块包括：以健身动作检测序列中第一组人体关键点三维坐标序列为对比序列，计算健身动作检测序列里所有人体关键点三维坐标序列中人体关键点a与对比序列中对应的人体关键点a′的欧式距离，将各种人体关键点的欧式距离相加后得到总的欧式距离L2，将L2按时间顺序排列起来得到欧式距离序列；对欧式距离序列进行二值化处理，设置欧式距离阈值m1，当L2＜m1时，将序列上对应的L2值设为1，当L2≥m1时，将序列上对应的L2值设为0，得到二值序列。计算二值序列中相邻的1之间的时间间隔t，并计算一个检测周期内t的均值t′；设置经验均值阈值m2，当t′＜m2时，判定该检测周期内顾客是非健身状态，当t′≥m2时，判定该检测周期内顾客为疑似健身状态。计算为疑似健身状态的检测周期内t的方差s；设置经验均方差阈值m3，当s＜m3时，判定该检测周期内顾客是健身状态；当s≥m3时，判定该检测周期内顾客是非健身状态。所述判断是否存在霸占健身器材行为的步骤包括：检测顾客处于非健身状态的时间t″，设置经验时间阈值m4，当t″≥m4时，判定存在霸占器材行为，当t″＜m4时，判定不存在霸占器材行为。所述顾客密度分级网络的训练方法包括：以若干张健身区域定位点叠加图为数据集；人工标注健身区域定位点叠加图对应的顾客密度等级，生成标注数据；使用均方误差损失函数进行训练。本专利技术和现有技术相比有如下有益效果：(1)通过检测一定时间内顾客人体关键点三维坐标序列与对比序列的总欧式距离L2，并进行二值化处理得到二值序列。根据t的均值判断顾客是否为疑似健身状态，并根据t的方差来确定顾客是否为健身状态，不用针对不同的健身运动的三维姿态预设三维坐标序列，不管顾客在做哪种健身运动，都可以进行判断。通用性强，系统判断速度更快。(2)通过密度分级模块检测各种健身器材所在健身区域顾客的密度，能够由此判断出各种健身器材的受欢迎程度，并进行管理决策，有利于更充分地利用健身房的资源。(3)将BIM可视化，工作人员可以在Web上直观地观察到健身房里的情况，及时阻止霸占健身器材的行为。附图说明图1为系统结构图。图2为肢体图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了本文档来自技高网...

【技术保护点】
1.一种基于视觉感知的健身房智能管理决策系统，其特征在于，该系统包括：/n图像获取模块、三维坐标检测模块、霸占行为判断模块和密度分级模块；/n所述图像获取模块用于建立健身房的BIM，将健身房分为若干个子区域，设置相机获取子区域的原始图像；将各子区域原始图像投影到BIM地面平面上并拼接起来，输出健身房全景图；/n所述三维坐标检测模块包括关键点检测网络、肢体检测网络、关键点匹配模块和TCN网络，用于获取每个顾客的人体关键点三维坐标，输出人体关键点三维坐标序列和人体关键点热力图；/n所述霸占行为判断模块用于在检测周期内定时检测健身器材区域内顾客的人体关键点三维坐标序列，生成健身动作检测序列；以健身动作检测序列中一组人体关键点三维坐标序列为对比序列，分析健身动作检测序列里人体关键点三维坐标序列与对比序列的相似度，统计相似关键点三维坐标序列的时间间隔t，计算t的均值t′，并判断顾客是否为疑似健身状态；若为疑似健身状态，计算该检测周期内t的方差s，并进一步判断顾客是否为健身状态；若顾客为非健身状态，连续统计顾客处于非健身状态的时间t″，判断是否存在霸占健身器材行为；/n所述密度分级模块用于将人体关键点热力图中的定位点筛选出来；得到人体定位点热力图，将各子区域定位点热力图投影到BIM地面平面上并拼接起来，输出定位点全景图并基于遗忘系数叠加，得到定位点叠加图；设置健身区域，输出各健身区域的定位点叠加图；将各健身区域的定位点叠加图输入顾客密度分级网络，检测各健身区域的顾客密度等级。/n...

【技术特征摘要】
1.一种基于视觉感知的健身房智能管理决策系统，其特征在于，该系统包括：
图像获取模块、三维坐标检测模块、霸占行为判断模块和密度分级模块；
所述图像获取模块用于建立健身房的BIM，将健身房分为若干个子区域，设置相机获取子区域的原始图像；将各子区域原始图像投影到BIM地面平面上并拼接起来，输出健身房全景图；
所述三维坐标检测模块包括关键点检测网络、肢体检测网络、关键点匹配模块和TCN网络，用于获取每个顾客的人体关键点三维坐标，输出人体关键点三维坐标序列和人体关键点热力图；
所述霸占行为判断模块用于在检测周期内定时检测健身器材区域内顾客的人体关键点三维坐标序列，生成健身动作检测序列；以健身动作检测序列中一组人体关键点三维坐标序列为对比序列，分析健身动作检测序列里人体关键点三维坐标序列与对比序列的相似度，统计相似关键点三维坐标序列的时间间隔t，计算t的均值t′，并判断顾客是否为疑似健身状态；若为疑似健身状态，计算该检测周期内t的方差s，并进一步判断顾客是否为健身状态；若顾客为非健身状态，连续统计顾客处于非健身状态的时间t″，判断是否存在霸占健身器材行为；
所述密度分级模块用于将人体关键点热力图中的定位点筛选出来；得到人体定位点热力图，将各子区域定位点热力图投影到BIM地面平面上并拼接起来，输出定位点全景图并基于遗忘系数叠加，得到定位点叠加图；设置健身区域，输出各健身区域的定位点叠加图；将各健身区域的定位点叠加图输入顾客密度分级网络，检测各健身区域的顾客密度等级。


2.如权利要求1所述的系统，其特征在于，所述三维坐标检测模块包括：
关键点检测网络，用于检测原始图像中人体关键点和定位点，输出人体关键点热力图；
肢体检测网络，用于检测原始图像中的肢体，输出肢体亲和矢量场；
关键点匹配模块，用于结合人体关键点热力图和肢体亲和矢量场，以最大权值匹配的方式依次对每种肢体两端的两种关键点进行匹配，得出人体关键点的最佳匹配，输出若干组人体关键点二维坐标序列；
TCN网络，用于预测人体关键点的三维坐标，输出人体关键点三维坐标序列。


3.如权利要求1所述的系统，其特征在于，所述关键点检测网络的训练方法包括：
以相机拍摄的若干张子区域原始图像为数据集；
对数据集进行标注，标注出头部、左肩、右肩、左肘、右肘、左手中心、右手中心、脊柱中心、颈部中心、左胯中心...

【专利技术属性】
技术研发人员：李宗山，李鹏举，王涛，王冰冰，
申请(专利权)人：郑州师范学院，
类型：发明
国别省市：河南;41