【技术实现步骤摘要】
本申请涉及目标检测，尤其涉及一种多模态数据的目标检测方法及装置。
技术介绍
1、现有技术中，多目标检测方法是基于视觉图像的聚合特征以及红外图像的聚合特征进行特征融合，得到融合特征，进而通过融合特征进行检测。但是，该方法需要进行特征聚合以及融合，并通过融合特征进行检测，因此计算量大，资源消耗大。此外，该方法只能针对图像数据类型进行处理，不能使用上述方法对其他数据类型的数据进行目标检测，因此场景适应性差。
技术实现思路
1、本申请实施例提供了一种多模态数据的目标检测方法，用以解决现有技术中计算量大且场景适应性差的问题。
2、第一方面，本申请实施例提供了一种多模态数据的目标检测方法，包括：
3、确定待检测的多模态数据和检测任务，所述多模态数据为包括视频、声音和图像中至少一种数据类型的数据；所述检测任务包括至少一个检测任务文本；所述检测任务文本用于表述对所述多模态数据的检测需求；
4、分别对所述至少一个检测任务文本和所述多模态数据进行信息提取，得到至少一个检测任...
【技术保护点】
1.一种多模态数据的目标检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据各数据类型的抽象层信息与文本数据类型的抽象层信息之间的对齐规则，确定所述多模态数据抽象层信息中，与所述文本抽象层信息匹配的目标抽象层信息，包括：
3.如权利要求2所述的方法，其特征在于，所述根据数据位置编码信息和任务位置编码信息之间的对应关系，确定所述多模态数据抽象层信息中的目标抽象层信息，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述目标抽象层信息...
【技术特征摘要】
1.一种多模态数据的目标检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据各数据类型的抽象层信息与文本数据类型的抽象层信息之间的对齐规则，确定所述多模态数据抽象层信息中，与所述文本抽象层信息匹配的目标抽象层信息，包括：
3.如权利要求2所述的方法，其特征在于，所述根据数据位置编码信息和任务位置编码信息之间的对应关系，确定所述多模态数据抽象层信息中的目标抽象层信息，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述目标抽象层信息确定所述至少一个检测任务文本对应的...
【专利技术属性】
技术研发人员：刘微，陈维强，狄建锴，郑维学，高语函，张建安，鞠全永，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。