【技术实现步骤摘要】
人体骨骼序列提取及训练方法、装置和存储介质
[0001]本专利技术涉及行为识别领域，尤其涉及一种人体骨骼序列提取及训练方法、装置和存储介质。
技术介绍
[0002]随着计算机视觉技术的发展，可以基于计算机视觉技术感知视觉场景中对象的行为，从而实现行为识别。比如，基于视频的人体骨骼序列提取，但该基于视频的人体骨骼序列提取存在以下缺陷：1.视频本身对光照、拍摄角度的变化敏感，会造成后续难以识别的问题；2.视频数据的计算量较大，对计算资源要求高。
[0003]相较于传统的视频技术，毫米波雷达信号能够克服背景变化、光照变化、视角变化、人体外貌变化等不确定因素，且具有不侵犯用户隐私的特点，能够极大地提高设备的智能化水平。相关技术中，毫米波雷达有两类：高分辨率毫米波雷达与低分辨率毫米波雷达。其中，高分辨率毫米波雷达通过大量的收发天线获取丰富信息，其点云成像能够直接看出人体轮廓和细节信息，不具有隐私保护性；且高分辨率毫米波雷达使用数十根天线，设备庞大、功耗大，对于人体有辐射危害，不适合家庭场景，往往多用于机场地铁安检；低分辨率毫米...
【技术保护点】
【技术特征摘要】
1.一种人体骨骼序列提取模型的训练方法，其特征在于，所述训练方法包括：获取训练样本集，所述训练样本集包括：标签信息、具有时间维度的毫米波雷达信号的第一热力图及第二热力图，所述标签信息为目标对象在所述时间维度上的人体骨骼序列中各节点的三维坐标，所述第一热力图为所述毫米波雷达信号在水平方向上的热力图，所述第二热力图为所述毫米波雷达信号在垂直方向上的热力图；基于所述训练样本集对所述人体骨骼序列提取模型进行训练，得到训练好的人体骨骼序列提取模型；其中，所述人体骨骼序列提取模型包括：局部信息编码模块、全局信息编码模块及注意力池化模块；所述局部信息编码模块用于对所述毫米波雷达信号进行局部信息的学习，所述全局信息编码模块用于基于增加的网络感受野对所述毫米波雷达信号进行全局信息的学习，所述注意力池化模块用于对所述局部信息编码模块的输出结果和所述全局信息编码模块的输出结果进行池化。2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本集对所述人体骨骼序列提取模型进行训练，得到训练好的人体骨骼序列提取模型，包括：分别对所述训练样本集中具有时间维度的毫米波雷达信号的第一热力图、第二热力图，基于所述局部信息编码模块、所述全局信息编码模块及所述注意力池化模块进行信息编码；将所述第一热力图对应的编码信息、所述第二热力图对应的编码信息基于全连接层进行解码预测，得到人体骨骼序列中各节点的预测三维坐标；基于人体骨骼序列中各节点的预测三维坐标与所述标签信息中各节点的三维坐标，确定所述人体骨骼序列提取模型的网络损失值；基于所述网络损失值，采用反向传播算法对所述人体骨骼序列提取模型的模型参数进行调整；基于调整后的人体骨骼序列提取模型和所述训练样本集，继续进行模型参数的调整；确定所述人体骨骼序列提取模型的模型参数的调整次数达到设定次数，或者确定所述网络损失值小于或等于预设阈值，得到训练好的人体骨骼序列提取模型。3.根据权利要求2所述的方法，其特征在于，所述分别对所述训练样本集中具有时间维度的毫米波雷达信号的第一热力图、第二热力图，基于所述局部信息编码模块、所述全局信息编码模块及所述注意力池化模块进行信息编码，包括：对所述训练样本集中具有时间维度的毫米波雷达信号的第一热力图构成的第一三维时空序列分别经所述局部信息编码模块、所述全局信息编码模块进行处理，并将所述局部信息编码模块的输出结果和所述全局信息编码模块的输出结果基于所述注意力池化模块进行池化，得到第一池化结果；对所述训练样本集中具有时间维度的毫米波雷达信号的第二热力图构成的第二三维时空序列分别经所述局部信息编码模块、所述全局信息编码模块进行处理，并将所述局部信息编码模块的输出结果和所述全局信息编码模块的输出结果基于所述注意力池化模块进行池化，得到第二池化结果；相应地，所述将所述第一热力图对应的编码信息、所述第二热力图对应的编码信息基于全连接层进行解码预测，得到人体骨骼序列中各节点的预测三维坐标，包括：
将所述第一池化结果和所述第二池化结果基于全连接层进行解码预测，得到人体骨骼序列中各节点的预测三维坐标。4.根据权利要求3所述的方法，其特征在于，所述全局信息编码模块具体用于：基于所述第一三维时空序列中的任意两点之间的相似性学习所述毫米波雷达信号中各骨骼节点之间的连接关系，得到隐含所述连接关系的第...
【专利技术属性】
技术研发人员：王凯，王晴，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。