本发明专利技术公开了一种人体动作识别的方法、装置、存储介质和车辆，该方法应用于车辆，人体动作识别的方法包括：获取RGB图像和深度图像；对RGB图像和深度图像进行融合处理，得到融合图像；对融合图像进行目标检测，得到检测目标的检测框信息，其中，检测目标包括人体和物体；根据检测框信息和深度图像，得到检测目标的三维坐标信息；对深度图像进行人体骨骼关键点检测，得到人体骨骼关键点的三维坐标信息；根据检测目标的三维坐标信息和人体骨骼关键点的三维坐标信息，识别出人体动作类别。该人体动作识别的方法在正常光和暗光条件下均能够准确检测人体动作类别，并利用人和物体交互建模提高了检测的准确性。提高了检测的准确性。提高了检测的准确性。
【技术实现步骤摘要】
人体动作识别的方法、装置、存储介质和车辆
[0001]本专利技术涉及车辆
，尤其涉及一种人体动作识别的方法、装置、存储介质和车辆。
技术介绍
[0002]人体动作识别拥有着广泛的应用场景，例如在汽车座舱中，有如行为识别、危险动作检测等应用方向。在舱内环境中，如何利用有限的传感器数量进行准确的姿态识别以及物体检测成为了业界一大难题。
[0003]行为识别(Action Recognition)任务是从视频序列输入中识别不同动作或行为的技术，可以看作对视频序列的分类任务。行为识别方法分传统方法和深度学习方法，传统方法利用传统人工设计的计算机视觉算法对视频进行特征提取，经过处理后用传统的机器学习分类器，例如SVM(Support Vector Machine，支持向量机)，对提取到的特征进行分类得到最终行为识别的结果。基于深度学习的方法有单流法、双流法以及基于骨架的行为识别法。单流法输入连续RGB彩色视频帧，双流法输入一个时间流一个空间流，基于骨架的方法输入人体骨架坐标。
[0004]相关技术中，基于深度学习的方法为主流。例如，在专利《危险动作的识别方法及装置、电子设备和存储介质》CN113486759A中，采用了基于深度学习的单流法，通过车舱内采集的图像数据，对每一帧RGB图像进行行为分类，从而实现对舱内危险行为的识别。在专利《车内人员危险动作识别方法和装置、电子设备、存储介质》CN110399767A中，也采用了基于深度学习的单流法，通过对视频流中的每一帧图像数据进行区域划分，然后通过对特定区域内物体、部位等特征的提取，最后根据预设的规则或者对应关系对动作进行分类从而判断是否为危险行为。
[0005]上述方法的缺点是在车辆舱内空间有限，传感器数量被限制的情况下无法对人体或物体进行很好的建模，且舱内普通相机无法在暗光环境下工作。舱内2D相机无法准确感知人或者物体在舱内的相对位置，致使结果准确性低，舱内人与物体的交互没有很好的定义。
技术实现思路
[0006]本专利技术的一个目的在于提出一种人体动作识别的方法，该方法在正常光和暗光条件下均能够准确检测人体动作类别，并利用人和物体交互建模提高了检测的准确性。
[0007]为达到上述目的，本专利技术第一方面实施例提出一种人体动作识别的方法，所述方法应用于车辆，所述方法包括：获取RGB图像和深度图像；对所述RGB图像和所述深度图像进行融合处理，得到融合图像；对所述融合图像进行目标检测，得到检测目标的检测框信息，其中，所述检测目标包括人体和物体；根据所述检测框信息和所述深度图像，得到所述检测目标的三维坐标信息；对所述深度图像进行人体骨骼关键点检测，得到人体骨骼关键点的三维坐标信息；根据所述检测目标的三维坐标信息和所述人体骨骼关键点的三维坐标信
息，识别出人体动作类别。
[0008]另外，根据本专利技术上述实施例提出的人体动作识别的方法还可以具有如下附加的技术特征：
[0009]根据本专利技术的一个实施例，所述对所述RGB图像和所述深度图像进行融合处理，包括：获取所述RGB采集设备的内外参数得到第一内外参数，并获取深度相机的内外参数得到第二内外参数；获取所述RGB采集设备与所述深度相机之间的几何位置关系；根据所述第一内外参数、所述第二内外参数和所述几何位置关系，对所述RGB图像和所述深度图像进行融合处理。
[0010]根据本专利技术的一个实施例，所述检测框信息包括所述检测目标的二维坐标信息，所述根据所述检测框信息和所述深度图像，得到所述检测目标的三维坐标信息，包括：获取所述融合图像与所述深度图像之间的对应关系；根据所述检测目标的二维坐标信息和所述对应关系，得到所述检测目标的深度信息；根据所述检测目标的二维坐标信息和深度信息，得到所述检测目标的三维坐标信息。
[0011]根据本专利技术的一个实施例，利用关键点检测模型对所述深度图像进行人体骨骼关键点检测，所述人体骨骼关键点数量为N个，所述关键点检测模型包括N个特征层，所述N个特征层用于回归关键点的深度信息，其中，N为大于1的整数。
[0012]根据本专利技术的一个实施例，所述关键点检测模型还包括全连接层，所述N个特征层与所述全连接层相连，所述全连接层用于根据关键点的深度信息回归所述人体骨骼关键点的三维坐标信息。
[0013]根据本专利技术的一个实施例，所述根据所述检测目标的三维坐标信息和所述人体骨骼关键点的三维坐标信息，识别出人体动作类别，包括：利用骨骼关键点动作识别网络根据所述人体骨骼关键点的三维坐标信息序列，得到人体动作的初步分类结构；根据所述检测目标的三维坐标信息和所述人体骨骼关键点的三维坐标信息，得到所述人体骨骼关键点与所述物体的相对位置信息；根据所述相对位置信息、所述初步分类结构，得到所述人体动作类别。
[0014]根据本专利技术的一个实施例，所述物体包括所述车辆的方向盘、门把手、车窗、中控台中的至少一者，所述人体动作类别包括驾驶员的双手是否离开了方向盘、乘客的手是否靠近门把手、乘客或驾驶员的手是否伸出窗外、乘客或驾驶员的手是否触摸中控台中的至少一者。
[0015]为达到上述目的，本专利技术第二方面实施例提出了一种人体动作识别的装置，所述装置应用于车辆，所述装置包括：获取模块，用于获取所述RGB图像和所述深度图像；融合模块，用于对所述RGB图像和所述深度图像进行融合处理，得到融合图像；检测模块，用于对所述融合图像进行目标检测，得到检测目标的检测框信息，其中，所述检测目标包括人体和物体，并根据所述检测框信息和所述深度图像，得到所述检测目标的三维坐标信息，对所述深度图像进行人体骨骼关键点检测，得到人体骨骼关键点的三维坐标信息；识别模块，用于根据所述检测目标的三维坐标信息和所述人体骨骼关键点的三维坐标信息，识别出人体动作类别。
[0016]为达到上述目的，本专利技术第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的人体动作识别的方法。
[0017]为达到上述目的，本专利技术第四方面实施例提出了一种车辆，包括如上述的人体动作识别的装置。
[0018]本专利技术实施例的人体动作识别的方法、装置、存储介质和车辆，通过RGB采集设备采集RGB图像和通过深度相机采集深度图像，并将RGB图像和深度图像进行融合，将融合后的图像输入深度神经网络模型进行目标检测，得到检测目标的检测框信息，后根据检测框信息和深度图像，得到检测目标的三维坐标信息，对深度图像进行人体骨骼关键点检测，得到人体骨骼关键点的三维坐标信息，根据检测目标的三维坐标信息和人体骨骼关键点的三维坐标信息，识别出人体动作类别。该人体动作识别的方法在正常光和暗光条件下均能够准确检测人体动作类别，并利用人和物体交互建模提高了检测的准确性。
附图说明
[0019]图1是本专利技术一个实施例的人体动作识别的方法的流程图；
[0020]图2是本专利技术一个实施例的对EGB图像和深度图像融合的流程图；
[0021]图3是本专利技术一个实施例的深度神经网络模型的示意本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体动作识别的方法，其特征在于，所述方法应用于车辆，所述方法包括：获取RGB图像和深度图像；对所述RGB图像和所述深度图像进行融合处理，得到融合图像；对所述融合图像进行目标检测，得到检测目标的检测框信息，其中，所述检测目标包括人体和物体；根据所述检测框信息和所述深度图像，得到所述检测目标的三维坐标信息；对所述深度图像进行人体骨骼关键点检测，得到人体骨骼关键点的三维坐标信息；根据所述检测目标的三维坐标信息和所述人体骨骼关键点的三维坐标信息，识别出人体动作类别。2.根据权利要求1所述的人体动作识别的方法，其特征在于，所述对所述RGB图像和所述深度图像进行融合处理，包括：获取RGB采集设备的内外参数得到第一内外参数，并获取深度相机的内外参数得到第二内外参数；获取所述RGB采集设备与所述深度相机之间的几何位置关系；根据所述第一内外参数、所述第二内外参数和所述几何位置关系，对所述RGB图像和所述深度图像进行融合处理。3.根据权利要求1所述的人体动作识别的方法，其特征在于，所述检测框信息包括所述检测目标的二维坐标信息，所述根据所述检测框信息和所述深度图像，得到所述检测目标的三维坐标信息，包括：获取所述融合图像与所述深度图像之间的对应关系；根据所述检测目标的二维坐标信息和所述对应关系，得到所述检测目标的深度信息；根据所述检测目标的二维坐标信息和深度信息，得到所述检测目标的三维坐标信息。4.根据权利要求1所述的人体动作识别的方法，其特征在于，利用关键点检测模型对所述深度图像进行人体骨骼关键点检测，所述人体骨骼关键点数量为N个，所述关键点检测模型包括N个特征层，所述N个特征层用于回归关键点的深度信息，其中，N为大于1的整数。5.根据权利要求4所述人体动作识别的方法，其特征在于，所述关键点检测模型还包括全连接层，所述N个特征层与所述全连接层相连，所述全连接层用于根据关...
【专利技术属性】
技术研发人员：周畅，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。