【技术实现步骤摘要】
本专利技术涉及人工智能、计算机视觉，具体涉及一种基于关键点检测的车外姿势识别方法。
技术介绍
1、近年来，随着汽车智能化的不断推进，用车场景中的人机交互成为汽车工业极为关注的焦点之一。特别是基于计算机视觉和自然语言处理的人机交互策略备受瞩目。这些交互策略作为汽车智能辅助系统的一部分，正迅速崛起，显著提升了车辆用户的驾驶体验，使汽车更为便捷、舒适和安全。在这一趋势下，姿势识别技术逐渐在汽车领域得到广泛应用，为提升驾驶安全性和驾乘体验发挥了积极作用。
2、在基于计算机视觉实现姿势识别时，主要有两种技术路线：一种识别人体关键点，再对关键点就行后处理从而识别人体姿势。但是该方法对人体关键点识别算法要求较高，当人体较远较小时，很多算法都无法准确其骨骼框架。另一种技术路线是对人体姿势进行分类，通过训练一个分类模型从而完成对姿势的分类任务。虽然该技术路线准确率一般高于第一种方法，但是如果需要新增姿势时，需要收集大量数据再次训练姿势分类模型。
技术实现思路
1、本专利技术的首要目的在于克服现有技术存在的缺陷，提供一种基于关键点检测的车外姿势识别方法，本专利技术能有效提高姿势识别的精确度，并且优化计算能力。
2、作为本专利技术的另一目的，也基于前述目的的方法而提供与之相适应的计算机设备。
3、为了实现上述的首要目的，本专利技术提出一种基于关键点检测的车外姿势识别方法，所述方法包括步骤如下：
4、获取视频帧数据，并进行预处理；
5、将预处理后
6、使用所述人物目标检测结果裁剪预处理后的视频帧数据，获得所述视频帧数据中包含的所有人物目标框；
7、将所述所有人物目标框经过操作后输入训练好的关键点检测模型，输出人物关键点检测结果；
8、根据所述人物关键点检测结果构建姿势分类特征，将所述姿势分类特征输入姿势分类模型，获得姿势识别结果。
9、优选地，所述预处理包括像素空间转换、和/或归一化。
10、优选地，所述目标检测模型包括第一网络、第二网络和第三网络，所述第一网络用于从经缩放、填充操作后的视频帧数据中提取深层特征，其中，深层特征包括颜色、纹理、形状、尺度和空间位置；所述第二网络用于根据所述深层特征生成人物检测结果；所述第三网络用于改进所述第一网络，获得轻量化的目标检测模型。
11、进一步地，所述目标检测模型的第一网络为mobilenetv3网络，所述目标检测模型的第二网络为ssd网络，所述目标检测模型的第三网络为可变分组卷积网络。
12、再进一步地，使用所述可变分组卷积网络对所述mobilenetv3网络的block结构进行改进，获得轻量化的目标检测模型。
13、再进一步地，所述将预处理后的视频帧数据经过输入训练好的目标检测模型，输出人物目标检测结果，包括：将预处理后的视频帧数据经过缩放、填充操作后输入训练好的目标检测模型，输出人物目标检测结果。
14、优选地，所述关键点检测模型包括至少三个网络：所述关键点检测模型包括至少三个网络：第四网络、第五网络和第六网络，所述第四网络用于从经缩放、填充操作后的人物目标框中获取不同尺度的特征图和语义信息，所述第五网络用于融合不同尺度的特征图和增强所述语义信息，所述第六网络用于根据融合后的特征图和增强后的语义信息进行关键点检测。
15、进一步地，所述关键点检测模型采用基于yolov5的yolopose模型，所述第四网络为主干网络，所述第五网络为neck网络，所述第六网络为头部网络，且使用mobileone的block结构替换所述主干网络中的c3模块，使用gsconv模块替换所述neck网络中conv模块，使用vovgscsp模块替换所述neck网络中的c3模块。
16、再进一步地，使用关键点检测数据集训练所述yolopose模型后保存最优模型，对所述最优模型进行量化处理，所述量化处理用于将所述最优模型的参数中的浮点数类型转换为整型并进行存储。
17、再进一步地，所述关键点检测模型的损失函数由下式确定：
18、
19、其中n表示关键总数，n表示某个目标的可视关键点数量，d表示预测的关键点位置和标注的关键点的欧式距离，s表示目标的尺寸（高乘以宽），表示目标是否可视，可视则为1，不可视则为0，sigma表示该关键点的权重大小，调整sigma即可改变关键点的权重，具体为，减小sigma即可提高关键点权重，降低手臂以及面部关键点对应的sigma的值来增加手臂和面部关键点的权重。
20、再进一步地，将所述所有人物目标框经过操作后输入训练好的关键点检测模型，输出人物关键点检测结果，包括：将所述所有人物目标框经过缩放、填充操作后输入训练好的关键点检测模型，输出人物关键点检测结果。
21、优选地，所述姿势分类模型采用多分类支持向量机。
22、进一步地，训练所述姿势分类模型，具体包括：
23、根据所述人体关键点数据创建姿势分类的特征，其中，所述特征包括关键点之间的归一长度、关节之间的夹角；
24、使用关键点之间的归一长度、关节之间的夹角训练多分类支持向量机；
25、采用hinge loss作为损失函数，并使用k折交叉验证搜索得到多分类支持向量机最优参数，所述最优参数包括核函数、正则化参数以及核函数参数；
26、根据所述最优参数训练出最终的姿势分类模型。
27、为了实现上述的另一目的，本专利技术提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如本专利技术所述的基于关键点检测的车外姿势识别方法。
28、本专利技术的有益效果：
29、本方法不仅方便后期对姿势类别进行调整，同时基于目标检测结果再进行关键点检测的方案，充分利用了高分辨的视频帧数据，使得关键点检测准确率更高；本专利技术基于mobileone和slimneck技术优化yolopose模型，使其在轻量化的同时保证关键点检测的高准确性。
本文档来自技高网...【技术保护点】
1.一种基于关键点检测的车外姿势识别方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述预处理包括像素空间转换、和/或归一化。
3.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述目标检测模型包括第一网络、第二网络和第三网络，所述第一网络用于从经缩放、填充操作后的视频帧数据中提取深层特征，其中，深层特征包括颜色、纹理、形状、尺度和空间位置；所述第二网络用于根据所述深层特征生成人物检测结果；所述第三网络用于改进所述第一网络，获得轻量化的目标检测模型。
4.根据权利要求3所述的基于关键点检测的车外姿势识别方法，其特征在于，所述目标检测模型的第一网络为MobileNetV3网络，所述目标检测模型的第二网络为SSD网络，所述目标检测模型的第三网络为可变分组卷积网络。
5.根据权利要求4所述的基于关键点检测的车外姿势识别方法，其特征在于，使用所述可变分组卷积网络对所述MobileNetV3网络的block结构进行改进，获得轻量化的目标检测模型。
7.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述关键点检测模型包括至少三个网络：第四网络、第五网络和第六网络，所述第四网络用于从经缩放、填充操作后的人物目标框中获取不同尺度的特征图和语义信息，所述第五网络用于融合不同尺度的特征图和增强所述语义信息，所述第六网络用于根据融合后的特征图和增强后的语义信息进行关键点检测。
8.根据权利要求7所述的基于关键点检测的车外姿势识别方法，其特征在于，所述关键点检测模型采用基于YOLOv5的YOLOPose模型，所述第四网络为主干网络，所述第五网络为neck网络，所述第六网络为头部网络，且使用MobileOne的block结构替换所述主干网络中的C3模块，使用GSConv模块替换所述neck网络中conv模块，使用VoVGSCSP模块替换所述neck网络中的C3模块。
9.根据权利要求8所述的基于关键点检测的车外姿势识别方法，其特征在于，使用关键点检测数据集训练所述YOLOPose模型后保存最优模型，对所述最优模型进行量化处理，所述量化处理用于将所述最优模型的参数中的浮点数类型转换为整型并进行存储。
10.根据权利要求9所述的基于关键点检测的车外姿势识别方法，其特征在于，所述关键点检测模型的损失函数由下式确定：
11.根据权利要求1至10任一项所述的基于关键点检测的车外姿势识别方法，其特征在于，所述将所述所有人物目标框经过操作后输入训练好的关键点检测模型，输出人物关键点检测结果，包括：将所述所有人物目标框经过缩放、填充操作后输入训练好的关键点检测模型，输出人物关键点检测结果。
12.根据权利要求1至11任一项所述的基于关键点检测的车外姿势识别方法，其特征在于，所述姿势分类模型采用多分类支持向量机。
13.根据权利要求12所述的基于关键点检测的车外姿势识别方法，其特征在于，训练所述姿势分类模型，具体包括：
14.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1至13任一项所述的基于关键点检测的车外姿势识别方法。
...【技术特征摘要】
1.一种基于关键点检测的车外姿势识别方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述预处理包括像素空间转换、和/或归一化。
3.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述目标检测模型包括第一网络、第二网络和第三网络，所述第一网络用于从经缩放、填充操作后的视频帧数据中提取深层特征，其中，深层特征包括颜色、纹理、形状、尺度和空间位置；所述第二网络用于根据所述深层特征生成人物检测结果；所述第三网络用于改进所述第一网络，获得轻量化的目标检测模型。
4.根据权利要求3所述的基于关键点检测的车外姿势识别方法，其特征在于，所述目标检测模型的第一网络为mobilenetv3网络，所述目标检测模型的第二网络为ssd网络，所述目标检测模型的第三网络为可变分组卷积网络。
5.根据权利要求4所述的基于关键点检测的车外姿势识别方法，其特征在于，使用所述可变分组卷积网络对所述mobilenetv3网络的block结构进行改进，获得轻量化的目标检测模型。
6.根据权利要求5所述的基于关键点检测的车外姿势识别方法，其特征在于，所述将预处理后的视频帧数据经过输入训练好的目标检测模型，输出人物目标检测结果，包括：将预处理后的视频帧数据经过缩放、填充操作后输入训练好的目标检测模型，输出人物目标检测结果。
7.根据权利要求1所述的基于关键点检测的车外姿势识别方法，其特征在于，所述关键点检测模型包括至少三个网络：第四网络、第五网络和第六网络，所述第四网络用于从经缩放、填充操作后的人物目标框中获取不同尺度的特征图和语义信息，所述第五网络用于融合不同尺度的特征图和增强所述语义信息，所述第六网络用于根据融合后的...
【专利技术属性】
技术研发人员：杨稷，田尊明，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。