一种人体感知模型的训练方法、装置、介质及电子设备制造方法及图纸

本说明书公开了一种人体感知模型的训练方法、装置、介质及电子设备，确定待检测区域，获取对待检测区域进行人体感知的毫米波雷达的毫米波信号，将毫米波信号作为样本数据，获取其他传感器对待检测区域进行检测的检测结果，将检测结果作为标注，该检测结果包括待检测区域中的人体的各部位位置以及人体轮廓。基于样本数据，得到人体各部位位置预测结果以及人体轮廓预测结果，根据人体各部位位置预测结果与检测结果的差异，人体轮廓预测结果与检测结果的差异，确定损失，根据损失对待训练的人体感知模型进行训练。在实现对待检测区域是否存在人体的检测的基础上，实现了对人体的精细化感知也即可实现对人体各部位位置的定位以及呈现人体轮廓。及呈现人体轮廓。及呈现人体轮廓。

【技术实现步骤摘要】
一种人体感知模型的训练方法、装置、介质及电子设备


[0001]本申请涉及计算机
，尤其涉及一种人体感知模型的训练方法、装置、介质及电子设备。

技术介绍

[0002]随着科技的发展，人工智能飞速发展。随着智慧建筑和智能家居等理念的兴起，人体感知技术得的广泛关注，尤其在智慧医疗以及智慧养老领域，需要实时获取被监测人的生理状态和运动状态，有效检测被监测人的异常状态，以及时为被监测人提供救助。其中，毫米波雷达具备全天候、抗干扰、非接触等特点，是人体感知技术中使用的传感器之一。
[0003]但是，由于毫米波雷达传感器的空间分辨率十分有限，并且通常室内的环境复杂，因此基于毫米波雷达的人体感知技术在室内场景下难以发挥令人满意的效果。
[0004]基于此，本申请说明书提供了基于毫米波雷达的一种人体感知模型的训练方法，使得训练出的人体感知模型不仅能够确定待检测空间内是否存在人，还可以实现对人体各部位位置的定位，以及实现对人体形态轮廓的感知，提升了基于毫米波雷达的人体感知模型的人体感知能力。

技术实现思路

[0005]本说明书提供一种人体感知模型的训练方法、装置、介质及电子设备，以至少部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种人体感知模型的训练方法，所述方法包括：确定待检测区域；获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。
[0007]可选地，所述其他传感器包括光学检测设备；获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：获取所述光学检测设备对所述待检测区域进行图像采集的图像；确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人
体轮廓；将所述第一部位位置以及所述第一人体轮廓作为检测结果。
[0008]可选地，所述其他传感器还包括激光雷达；获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；将所述最终部位位置以及所述最终人体轮廓作为检测结果。
[0009]可选地，所述待训练的人体感知模型包括：编码层，解码层以及预测层，所述预测层包括分类子层，回归子层以及分割子层；所述检测结果还包括：所述待检测区域中是否存在人体；将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果，具体包括：将所述样本数据输入所述编码层，得到编码特征；将所述编码特征输入所述解码层，得到解码特征；将所述解码特征输入所述分类子层，得到分类预测结果；其中，所述分类预测结果用于表征所述待检测区域中是否存在人体；将所述解码特征输入所述回归子层，得到人体各部位位置预测结果；将所述解码特征输入所述分割子层，得到人体轮廓预测结果。
[0010]可选地，将所述检测结果中所述待检测区域中是否存在人体作为第一标注；将所述检测结果中所述待检测区域中的人体的各部位位置作为第二标注；将所述检测结果中所述待检测区域中的人体轮廓作为第三标注；确定损失，具体包括：根据所述分类预测结果与所述第一标注之间的差异，确定第一损失；根据所述人体各部位位置预测结果与所述第二标注之间的差异，确定第二损失；根据所述人体轮廓预测结果与所述第三标注之间的差异，确定第三损失。
[0011]可选地，对所述待训练的人体感知模型进行训练对所述待训练的人体感知模型进行训练，具体包括：根据所述第一损失以及所述第二损失，确定综合损失；根据所述综合损失以及所述第三损失，对所述待训练的人体感知模型进行训练。
[0012]可选地，将所述样本数据输入待训练的人体感知模型，具体包括：对所述样本数据进行距离维度的解算以及多普勒维度的解算，分别得到所述样本数据对应的距离维度数据以及多普勒维度数据；根据所述毫米波雷达的工作方式，确定所述样本数据对应的通道数维度数据；其中，所述通道数维度数据表征所述毫米波雷达的工作方式对应的通道数；基于所述样本数据对应的距离维度数据、多普勒维度数据以及通道数维度数据，
得到所述样本数据对应的三维数组；将所述样本数据对应的三维数组输入待训练的人体感知模型。
[0013]本说明书提供了一种人体感知模型的训练装置，包括：确定模块，用于确定待检测区域；第一获取模块，用于获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；第二获取模块，用于获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；输入模块，用于将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；训练模块，用于根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。
[0014]可选地，所述其他传感器包括光学检测设备；所述第二获取模块具体用于，获取所述光学检测设备对所述待检测区域进行图像采集的图像；确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人体轮廓；将所述第一部位位置以及所述第一人体轮廓作为检测结果。
[0015]可选地，所述其他传感器还包括激光雷达；所述第二获取模块具体用于，获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；将所述最终部位位置以及所述最终人体轮廓作为检测结果。...

【技术保护点】

【技术特征摘要】
1.一种人体感知模型的训练方法，其特征在于，所述方法包括：确定待检测区域；获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。2.如权利要求1所述的方法，其特征在于，所述其他传感器包括光学检测设备；获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：获取所述光学检测设备对所述待检测区域进行图像采集的图像；确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人体轮廓；将所述第一部位位置以及所述第一人体轮廓作为检测结果。3.如权利要求2所述的方法，其特征在于，所述其他传感器还包括激光雷达；获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；将所述最终部位位置以及所述最终人体轮廓作为检测结果。4.如权利要求1所述的方法，其特征在于，所述待训练的人体感知模型包括：编码层，解码层以及预测层，所述预测层包括分类子层，回归子层以及分割子层；所述检测结果还包括：所述待检测区域中是否存在人体；将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果，具体包括：将所述样本数据输入所述编码层，得到编码特征；将所述编码特征输入所述解码层，得到解码特征；将所述解码特征输入所述分类子层，得到分类预测结果；其中，所述分类预测结果用于表征所述待检测区域中是否存在人体；将所述解码特征输入所述回归子层，得到人体各部位位置预测结果；将所述解码特征输入所述分割子层，得到人体轮廓预测结果。5.如权利要求4所述的方...

【专利技术属性】
技术研发人员：杨李杰，杨照辉，余显斌，普莱姆，董园园，张雪薇，
申请(专利权)人：之江实验室，
类型：发明
国别省市：