【技术实现步骤摘要】
本申请涉及目标检测，具体提供一种跨模态目标状态的检测方法、设备、智能设备和介质。
技术介绍
1、自动驾驶的功能越来越受到大家的认可，而且使用的场景随着传感器和信息技术的进步，用户期待的功能也进一步提升。感知场景里正确跟踪到目标，为下游规划与控制（planning and control，pnc）、主动刹车系统（autonomous emergency braking，aeb）等功能模块提供完备而准确的环境信息，有助于提升用户使用的体验。
2、相关技术中，跨模态目标状态的检测方法大致分为两类：1）基于规则滤波的检测方法；2）基于前融合神经网络的检测方法。
3、基于规则滤波的检测方法，一般假定物体做匀速或匀加速运动。基于目标在历史时帧的状态量，利用经典物理学运动公式和卡尔曼滤波，对当前时帧的状态量进行预测。然而该方法存在以下缺点：（1）当前时帧的状态量依赖于目标在历史时帧的状态量，易受上游噪声影响，导致有误差累积效应；（2）对于跨模态数据而言，不同模态数据的抖动程度不同，预测结果准确性相对较低。
4、基于前融合神经网络的检测方法，通常将雷达点云数据、相机图像数据等跨模态数据作为输入数据，分别经过不同分支进行特征提取后，在网络内部融合特征图，最终检测出目标的同时预测出目标的状态。然而该方法存在以下缺点：目标检测和状态预测为整体的模型，且需要针对每种模态数据设置对应的分支，模型复杂。
5、因此，如何在相对轻量级模型下准确地预测出目标状态，是本领域技术人员亟待解决的技术问题。
>技术实现思路
1、为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决预测目标状态的准确性较低、预测目标状态的模型复杂的技术问题的跨模态目标状态的检测方法、设备、智能设备和介质。
2、在第一方面，本申请提供一种跨模态目标状态的检测方法，该跨模态目标状态的检测方法包括：
3、从初始目标检测序列中进行采样，得到采样的目标检测序列；所述采样的目标检测序列至少包括第一序列和第二序列；所述第一序列为基于第一模态数据的目标检测结果，以第一采样频率获取的时帧序列；所述第二序列为基于第二模态数据的目标检测结果，以第二采样频率获取的时帧序列；所述采样的目标检测序列包括所述初始目标检测序列中的当前时帧和多个历史时帧；
4、对每个当前目标和每个第一历史目标进行特征提取，得到所述当前目标的第一特征信息和所述第一历史目标的历史特征信息；其中，所述当前目标为所述当前时帧的内的目标；所述第一历史目标为每个所述历史时帧的内的目标；
5、基于所述第一特征信息和所述第一历史目标的历史特征信息，得到所述当前目标的第二特征信息；
6、将所述第二特征信息输入预先训练的状态预测网络，得到所述当前目标的状态信息；
7、其中，所述状态信息包括速度信息和/或朝向信息；所述状态预测网络基于防状态突变约束条件下进行训练得到。
8、在第二方面，本申请提供一种跨模态目标状态的检测设备，该基于跨模态数据的目标状态的检测设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的跨模态目标状态的检测方法。
9、在第三方面，提供一种智能设备，该智能设备可以包括如上所述的跨模态目标状态的检测设备。
10、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项所述的跨模态目标状态的检测方法。
11、本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
12、在实施本申请的技术方案中，从初始目标检测序列中进行采样，得到采样的目标检测序列；对采样的目标检测序列中当前室内每个当前目标和每个历史时帧内每个第一历史目标进行特征提取，得到当前目标的第一特征信息和第一历史目标的历史特征信息；基于当前目标的第一特征信息和第一历史目标的历史特征信息，得到当前目标的第二特征信息；将所述第二特征信息输入预先训练的状态预测网络，得到所述当前目标的状态信息，这样，实现了目标检测和状态预测的分离，使得各个模型轻量化，且将多种模态数据作为一个整体的时序数据输入后续状态预测的网络结构，无需设置不同的分支进行特征提取，降低了网络结构的复杂程度，同时，利用能够防状态突变的状态预测网络进行状态预测，能够在跨模态数据存在抖动较大的模态数据时，准确地预测出当前时帧中当前目标的状态信息。
本文档来自技高网...【技术保护点】
1.一种跨模态目标状态的检测方法，其特征在于，包括：
2.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，所述防状态突变约束条件包括抑制目标位置突变的约束条件、抑制目标运动量突变的约束条件和抑制目标朝向突变约束条件中的至少一种；
3.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，
4.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所述第一历史目标的历史特征信息，得到所述当前目标的第二特征信息，包括：
5.根据权利要求4所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所述第一历史目标的历史特征信息，确定当前时帧的第一掩码注意力信息，包括：
6.根据权利要求5所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所述第一历史目标的历史特征信息，对所述当前目标进行关联匹配，得到所述当前目标的关联匹配结果，包括：
7.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，对每个当前目标和每个第一历史目标进行特征提取，得到所述当前
8.一种跨模态目标状态的检测设备，其特征在于，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的跨模态目标状态的检测方法。
9.一种智能设备，其特征在于，包括如权利要求8所述的跨模态目标状态的检测设备。
10.一种计算机可读存储介质，其特征在于，存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的跨模态目标状态的检测方法。
...【技术特征摘要】
1.一种跨模态目标状态的检测方法，其特征在于，包括：
2.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，所述防状态突变约束条件包括抑制目标位置突变的约束条件、抑制目标运动量突变的约束条件和抑制目标朝向突变约束条件中的至少一种；
3.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，
4.根据权利要求1所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所述第一历史目标的历史特征信息，得到所述当前目标的第二特征信息，包括：
5.根据权利要求4所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所述第一历史目标的历史特征信息，确定当前时帧的第一掩码注意力信息，包括：
6.根据权利要求5所述的跨模态目标状态的检测方法，其特征在于，基于所述第一特征信息和所...
【专利技术属性】
技术研发人员：李传康，王溯恺，王云龙，单为，姚卯青，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。