多模态目标检测方法、装置、扫地机及存储介质制造方法及图纸

本申请公开了一种多模态目标检测方法、装置、扫地机及存储介质，包括：获取扫地机当前所在位置对应的环境图像，提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像，基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。本申请解决扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术问题。导致扫地机清扫效果不佳的技术问题。导致扫地机清扫效果不佳的技术问题。

【技术实现步骤摘要】
多模态目标检测方法、装置、扫地机及存储介质


[0001]本申请涉及扫地机
，尤其涉及一种多模态目标检测方法、装置、扫地机及存储介质。

技术介绍

[0002]随着智能家居的快速发展越来越多的智能家电进入人们的生活，为了解放人们的双手，减少家务中占用的时间，扫地机被广泛地应用在人们的生活中，目前，扫地机在清扫操作时通常是通过摄像头进行实时拍摄以进行识别物体，然而扫地机的摄像头往往只可以工作在白天光亮场景，在黑暗的场景下，摄像头采集的图片是非常黑暗的，甚至看不清任何东西，使得扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳。

技术实现思路

[0003]本申请的主要目的在于提供一种多模态目标检测方法、装置、扫地机及存储介质，旨在解决现有技术中的扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术问题。
[0004]为实现上述目的，本申请提供一种多模态目标检测方法，所述多模态目标检测方法包括：
[0005]获取扫地机当前所在位置对应的环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态目标检测方法，其特征在于，所述多模态目标检测方法包括：获取扫地机当前所在位置对应的环境图像；提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境；若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。2.如权利要求1所述的多模态目标检测方法，其特征在于，所述特征信息包括所述目标区域对应的灰度平均值，所述提取所述环境图像中目标区域对应的特征信息计算所述环境图像中目标区域对应的灰度平均值，以识别当前扫地机所处的环境，获得环境识别结果的步骤包括：对所述环境图像进行对角连接，获得对角连接线；确定所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值；将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果。3.如权利要求1所述的多模态目标检测方法，其特征在于，在所述提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境的步骤之后，所述多模态目标检测方法还包括：若所述环境识别结果为光亮环境，则将所述环境图像作为所述光亮环境对应的目标待检测图像，以执行步骤：基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果。4.如权利要求1所述的多模态目标检测方法，其特征在于，所述若所述环境识别结果为黑暗环境，获取所述黑暗环境对应的目标待检测图像的步骤包括：若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。5.如权利要求1至4任一所述的多模态目标检测方法，其特征在于，所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤包括：将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息；将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型；将所述目标对象对应的对象类型...

【专利技术属性】
技术研发人员：杨勇，吴新龙，刘建平，张康健，
申请(专利权)人：深圳市杉川机器人有限公司，
类型：发明
国别省市：