运动损伤预警系统及其预警方法技术方案

本申请公开了一种运动损伤预警系统及其预警方法，其通过第一三维卷积神经网络对相机采集的第一监控视频进行空间注意力编码，并通过第二三维卷积神经网络对红外相机采集的第二监控视频进行通道注意力编码，然后，考虑到使用不同注意力机制的神经网络模型，因此，分别计算所述第一特征图的第一标签响应因数和所述第二特征图的第二标签响应因数，并分别以对应的标签响应因数作为权重来对所述第一特征图和所述第二特征图进行按位置的加权融合，最后，将所述分类特征图输入分类器以得到用于表示运动对象是否存在运动损伤风险的分类结果。通过这样的方式，更为准确的对运动损伤进行预警，以降低不准确的运动模式给人体造成的伤害。伤害。伤害。

【技术实现步骤摘要】
运动损伤预警系统及其预警方法


[0001]本申请涉及软件
，且更为具体地，涉及一种运动损伤预警系统及其预警方法。

技术介绍

[0002]运动是良好的习惯，但不正确的运动姿势却会给身体造成损伤。近几年，人体运动损伤造成的心血管疾病与肌肉损伤疾病逐渐增多。因为人体在运动时很难完成自我生理调控，在很大程度上会出现过渡运动造成的损伤。
[0003]因此，期待一种运动损伤监视系统，其能够对人体运动的姿势和状态进行运动损伤检测以及时预警和采取有效的措施，降低不准确的运动模式给人体造成的伤害。
[0004]近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0005]深度学习以及神经网络的发展，为运动损伤监测提供了新的解决思路和方案。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种运动损伤预警系统及其预警方法，其通过第一三维卷积神经网络对相机采集的第一监控视频进行空间注意力编码，并通过第二三维卷积神经网络对红外相机采集的第二监控视频进行通道注意力编码，然后，考虑到使用不同注意力机制的神经网络模型，因此，分别计算所述第一特征图的第一标签响应因数和所述第二特征图的第二标签响应因数，并分别以对应的标签响应因数作为权重来对所述第一特征图和所述第二特征图进行按位置的加权融合，最后，将所述分类特征图输入分类器以得到用于表示运动对象是否存在运动损伤风险的分类结果。通过这样的方式，更为准确的对运动损伤进行预警，以降低不准确的运动模式给人体造成的伤害。
[0007]根据本申请的一个方面，提供了一种运动损伤预警系统，其包括：第一监控视频获取单元，用于通过相机采集运动对象的第一监控视频；第一视频编码单元，用于将所述第一监控视频通过使用空间注意力机制的第一三维卷积神经网络以得到第一特征图；第二监控视频获取单元，用于通过红外相机采集所述运动对象的第二监控视频；第二视频编码单元，用于将所述第二监控视频通过使用通道注意力机制的第二三维卷积神经网络以得到第二特征图；第一标签响应因数计算单元，用于计算所述第一特征图的第一标签响应因数，其中，所述第一标签响应因数基于所述第一特征图通过分类器得到的类别概率值的角函数值来生成；第二标签响应因数计算单元，用于计算所述第二特征图的第二标签响应因数，其中，所述第二标签响应因数基于所述第二特征图通过分类器得到的类别概率值的角函数值来生成；特征图融合单元，用于以所述第一标签响应因数和所述第二标签响应因数作为权重计算所述第一特征图和所述第二特征图的按位置加权和以得到分类特征图；以及结果生
成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示运动对象是否存在运动损伤风险。
[0008]在上述运动损伤预警系统中，所述第一视频编码单元，进一步用于使用所述第一三维卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的特征过滤处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；将所述激活特征图通过空间注意力模块以得到空间注意力得分图；将所述空间注意力得分图与所述激活特征图进行按位置点乘以得到空间注意力特征图；其中，所述第一三维卷积神经网络的最后一层的输出为所述第一特征图。
[0009]在上述运动损伤预警系统中，所述第二视频编码单元，进一步用于使用所述第二三维卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的特征过滤处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；对所述激活特征图进行沿通道维度的全局均值池化以得到通道特征向量；将所述通道特征向量通过Si gmoi d激活函数以得到通道注意力权重向量；以所述通道注意力权重向量中各个位置的特征值对所述激活特征图中的各个特征矩阵进行加权以得到通道注意力特征图；其中，所述第二三维卷积神经网络的最后一层的输出为所述第二特征图。
[0010]在上述运动损伤预警系统中，所述第一标签响应因数计算单元，进一步用于：以如下公式来计算所述第一特征图的第一标签响应因数：
[0011]其中，所述公式为：
[0012][0013]其中，F1为第一特征图，f1为第一特征图F1的每个位置的特征值，p1为第一特征图F1相对于分类器得到的类别概率值，且w1为第一标签响应因数。
[0014]在上述运动损伤预警系统中，所述第二标签响应因数计算单元，进一步用于：以如下公式来计算所述第二特征图的第二标签响应因数：
[0015]其中，所述公式为：
[0016][0017]其中，F2为第一特征图，f2为第一特征图F2的每个位置的特征值，p2为第一特征图F2相对于分类器得到的类别概率值，且w2为第二标签响应因数。
[0018]在上述运动损伤预警系统中，所述结果生成单元，进一步用于使用所述分类器以如下公式对所述分类特征图进行处理以得到所述分类结果；
[0019]其中，所述公式为：softmax{(W
n
,B
n
):
…
:(W1,B1)|Project(F)}
[0020]其中Project(F)表示将所述分类特征图投影为向量，W1至W
n
为各层全连接层的权重矩阵，B1至B
n
表示各层全连接层的偏置矩阵。
[0021]根据本申请的另一方面，提供了一种运动损伤预警方法，其包括：通过相机采集运动对象的第一监控视频；将所述第一监控视频通过使用空间注意力机制的第一三维卷积神
经网络以得到第一特征图；通过红外相机采集所述运动对象的第二监控视频；将所述第二监控视频通过使用通道注意力机制的第二三维卷积神经网络以得到第二特征图；计算所述第一特征图的第一标签响应因数，其中，所述第一标签响应因数基于所述第一特征图通过分类器得到的类别概率值的角函数值来生成；计算所述第二特征图的第二标签响应因数，其中，所述第二标签响应因数基于所述第二特征图通过分类器得到的类别概率值的角函数值来生成；以所述第一标签响应因数和所述第二标签响应因数作为权重计算所述第一特征图和所述第二特征图的按位置加权和以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示运动对象是否存在运动损伤风险。
[0022]在上述运动损伤预警方法中，将所述第一监控视频通过使用空间注意力机制的第一三维卷积神经网络以得到第一特征图，进一步用于使用所述第一三维卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的特征过滤处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动损伤预警系统，其特征在于，包括：第一监控视频获取单元，用于通过相机采集运动对象的第一监控视频；第一视频编码单元，用于将所述第一监控视频通过使用空间注意力机制的第一三维卷积神经网络以得到第一特征图；第二监控视频获取单元，用于通过红外相机采集所述运动对象的第二监控视频；第二视频编码单元，用于将所述第二监控视频通过使用通道注意力机制的第二三维卷积神经网络以得到第二特征图；第一标签响应因数计算单元，用于计算所述第一特征图的第一标签响应因数，其中，所述第一标签响应因数基于所述第一特征图通过分类器得到的类别概率值的角函数值来生成；第二标签响应因数计算单元，用于计算所述第二特征图的第二标签响应因数，其中，所述第二标签响应因数基于所述第二特征图通过分类器得到的类别概率值的角函数值来生成；特征图融合单元，用于以所述第一标签响应因数和所述第二标签响应因数作为权重计算所述第一特征图和所述第二特征图的按位置加权和以得到分类特征图；以及结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示运动对象是否存在运动损伤风险。2.根据权利要求1所述的运动损伤预警系统，其中，所述第一视频编码单元，进一步用于使用所述第一三维卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的特征过滤处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；将所述激活特征图通过空间注意力模块以得到空间注意力得分图；将所述空间注意力得分图与所述激活特征图进行按位置点乘以得到空间注意力特征图；其中，所述第一三维卷积神经网络的最后一层的输出为所述第一特征图。3.根据权利要求2所述的运动损伤预警系统，其中，所述第二视频编码单元，进一步用于使用所述第二三维卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的特征过滤处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；对所述激活特征图进行沿通道维度的全局均值池化以得到通道特征向量；将所述通道特征向量通过Sigmoid激活函数以得到通道注意力权重向量；以所述通道注意力权重向量中各个位置的特征值对所述激活特征图中的各个特征矩阵进行加权以得到通道注意力特征图；其中，所述第二三维卷积神经网络的最后一层的输出为所述第二特征图。4.根据权利要求3所述的运动损伤预警系统，其中，所述第一标签响应因数计算单元，进一步用于：以如下公式来计算所述第一特征图的第一标签响应因数：其中，所述公式为：其中，F1为第一特征图，f1为第一特征图F1的每个位置的特征值，p1为第一特征图F1相对于分类器得到的类别概率值，且w1为第一标签响应因数。5.根据权利要求4所述的运动损伤预警系统，其中，所述第二标签响应因数计算单元，进一步用于：以如下公式来计算所述第二特征图的第二标签响应因数：其中，所述公式为：
其中，F2为第一特征图，f2为第一特征图F2的每个位置的特征值，p2为第一特征图F2相对于分类器得到的类别概率值，且w2为第二标签响应因数。6.根据权利要求5所述的运动损伤预警系统，其中，所述结果生成单元，进一步用于...

【专利技术属性】
技术研发人员：喻晨，卢国旺，
申请(专利权)人：绍兴符巧科技有限公司，
类型：发明
国别省市：