基于情绪识别的身体运动状态监测方法、装置及设备制造方法及图纸

本发明专利技术涉及一种基于情绪识别的身体运动状态监测方法、装置及设备，方法包括：获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。输出运动状态监测结果。输出运动状态监测结果。

【技术实现步骤摘要】
基于情绪识别的身体运动状态监测方法、装置及设备


[0001]本专利技术涉及数据处理的
，特别涉及一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质。

技术介绍

[0002]运动手环是目前常用的一种运动辅助监控装置，例如，可以测量用户的心率和出汗情况的手环等，检测使用者当前的生理特征信息的运动手环，并通过LED灯的颜色来显示用户当前运动的生理特征参数，但是目前的运动手环仅仅用于监测用户的身体特征或者运动量的多少，并不能实时有效的监测用户运动的质量，导致盲目训练，甚至起到反作用；因此，找到最佳运动负荷后进行对应的行动是目前需要去解决的问题；参考专利号201610286712.3
‑
一种测量运动目标生命体征的方法，其公开了一种测量运动目标生命体征的方法，包括如下步骤：步骤1，对待测量视频的第一帧图像进行人脸检测，如果检测不到人脸则认为本次心率检测失败，否则进行下一步；步骤2，根据步骤1得到的人脸检测结果进行人脸追踪，如果追踪过程中发现人脸追踪丢失，则返回步骤1重新进行人脸检测，否则进行下一步；步骤3，根据所得人脸追踪结果，进行生命体征信号的分离；步骤4，提取生命体征信号并进行功率谱分析，判定此生命体征信号是否为虚假信号，如果不是虚假信号则进行心率值的转换，从而能够在保证所得生命体征信号准确度的前提下，对运动的目标也能进行生命体征信号的提取；此现有专利技术能够对运动过程中的用户进行面部识别进而扫描出用户的生命体征信号，从而能进行进一步的最佳运动负荷推荐；在上述现有专利技术中，认为存在如下缺陷：（1）无法获知情绪数据，进而无法确认用户以何种目的进行运动。
[0003]（2）无法构建体态模型以及汗液模型，其仅实现了面部内血液光束变化得到生命特征信号的效果，该生命特征信号包括心率值，而心率值的最优标准因人而异，使用此现有专利技术获知的效果推荐不一定是最准确的。
[0004]基于此，本专利技术提出一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质，通过视频3D建模且同时根据面部及汗液信息进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。

技术实现思路

[0005]本专利技术的主要目的为提供一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质，通过视频3D建模且同时根据面部及汗液信息进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。
[0006]为实现上述目的，本专利技术提供了一种基于情绪识别的身体运动状态监测方法，包括以下步骤：获取用户运动过程时的运动视频；
利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。
[0007]进一步地，所述利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据的步骤，包括：在所述运动视频中设置第一锚点至第四锚点，所述第一锚点设置于用户面朝正前方，所述第二锚点设置于用户腹部正前方，所述第三锚点以用户头部为中心做镜像后置于用户后方，所述第四锚点以用户躯干为中心做镜像后置于用户后方；利用所述第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模；通过所述三维建模中的用户运动体态匹配对比预设的等身高体态数据，以获取到用户的当前体态信息；对运动态的三维建模进行暂停抽帧，以获取到具有面部图像和皮肤图像的生命体征数据。
[0008]进一步地，所述利用第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模的步骤，包括：通过运动视频中用户的运动变化，导入三角测距算法，并且第一锚点至第四锚点分别设置三维坐标系，所述第一锚点至第四锚点分别与用户具有长度L，且所述长度L随着用户运动进行对应变化，具体三角测距算法为，,,,,,其中序号1~4为第一锚点至第四锚点，为用户身体X轴横线上的变化元素，为用户身体y轴横线上的变化元素，通过构建用户身体的横切面细节，为用户身体Z轴纵线上的变化元素，通过、构建一锚点的用户局部三维模型，其中变化元素为用户身体部位的生物特征变化而非运动变化，而运动变化产生对比距离为L；通过整合第一锚点至第四锚点从运动视频中确定出用户的三维建模，且所述三维建模为实时的用户运动态。
[0009]进一步地，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值的步骤，包括：预先训练一个CNN模型，并将所述用户面部信息输入预设的CNN模型中；
获取所述CNN模型输出的子结果，具体CNN模型输出的方法为，对于一个面部图像,首先被所述CNN模型的3个卷积层提取图像特征,第1个卷积层为32个3
×3×
1的卷积核，第2个卷积层是具有32个大小为 3
×3×
32 的核，第3个卷积层有64个大小为3
×3×
32的核，提取出来的特征经过铺平后送到第4层与64个神经元完全连接，其中，所有卷积层和全连接层都应用 ReLU 激活函数；对所述子结果进行情绪回归计算以确定用户面部信息的情绪效价和唤醒度，具体方法为，第一个分支学习计算效价得分,它包含两个全连接的大小为64和1的层，然后将输出输入到 Sigmoid函数中,并最大限度地减少交叉熵损失T1，，其中，其中,表示第i个用户面部信息效价的真实标签，m表示训练用户面部信息的大小，第二个分支是针对唤醒度进行预测的，其包含两个全连接i的大小为64和1的层，输出被馈送到 Sigmoid 函数,再次最小化交叉熵损失T2，，其中,表示第i个用户面部信息中唤醒度的真实标签,然后最小化T1和的联合损失，其中为线性权重，最终通过输出值中得到情绪效价和唤醒度分类的结果如下，输出作为第一运动权重值。
[0010]进一步地，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对具有运动态的体态信息进行视频估分处理，其中所述运动态为由运动视频中用户3D建模后的实时运动图；将估分处理后的分值作为第二运动权重值S
body
，具体为，其中，为体态信息，为预设的等身高体态数据，而表示各个时态。
[0011]进一步地，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情绪识别的身体运动状态监测方法，其特征在于，包括以下步骤：获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入至评分模型中，输出运动状态监测结果。2.根据权利要求1所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据的步骤，包括：在所述运动视频中设置第一锚点至第四锚点，所述第一锚点设置于用户面朝正前方，第二锚点设置于用户腹部正前方，第三锚点以用户头部为中心做镜像后置于用户后方，第四锚点以用户躯干为中心做镜像后置于用户后方；利用所述第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模；通过所述三维建模中的用户运动体态匹配对比预设的等身高体态数据，以获取到用户的当前体态信息；对运动态的三维建模进行暂停抽帧，以获取到具有面部图像和皮肤图像的生命体征数据。3.根据权利要求2所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述利用第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模的步骤，包括：通过运动视频中用户的运动变化，导入三角测距算法，并且第一锚点至第四锚点分别设置三维坐标系，所述第一锚点至第四锚点分别与用户具有长度L，且所述长度L随着用户运动进行对应变化，具体三角测距算法为，,,,,,其中序号1~4为第一锚点至第四锚点，为用户身体X轴横线上的变化元素，为用户身体y轴横线上的变化元素，通过构建用户身体的横切面细节，为用户身体Z轴纵线上的变化元素，通过、构建一锚点的用户局部三维模型，其中变化元素为用户身体部位的生物特征变化而非运动变化，而运动变化产生对比距离为L；通过整合第一锚点至第四锚点从运动视频中确定出用户的三维建模，且所述三维建模
为实时的用户运动态。4.根据权利要求1所述的基于情绪识别的身体运动状态监测方法，其特征在于，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值的步骤，包括：预先训练一个CNN模型，并将所述用户面部信息输入预设的CNN模型中；获取所述CNN模型输出的子结果，具体CNN模型输出的方法为，对于一个面部图像,首先被所述CNN模型的3个卷积层提取图像特征,第1个卷积层为32个3
×3×
1的卷积核，第2个卷积层是具有32个大小为 3
×3×
32 的核，第3个卷积层有64个大小为3
×3×
32的核，提取出来的特征经过铺平后送到第4层与64个神经元完全连接，其中，所有卷积层和全连接层都应用 ReLU 激活函数；对所述子结果进行情绪回归计算以确定用户面部信息的情绪效价和唤醒度，具体方法为，第一个分支学习计算效价得分,它包含两个全连接的大小为64和1的层，然后将输出输入到 Sigmoid函数中,并最大限度地减少交叉熵损失T1，，其中，其中,表示第i个用户面部信息效价的真实标签...

【专利技术属性】
技术研发人员：秦永生，申东范，
申请(专利权)人：深圳埃尔姆科技有限公司，
类型：发明
国别省市：