【技术实现步骤摘要】
本专利技术涉及人体检测领域，具体涉及一种基于多模态融合的人体检测方法、装置、云端设备及计算机装置。
技术介绍
1、目前主流的目标(人体)检测算法即基于yolov8的目标检测算法。该算法在场景复杂，人群密集的情况下依然存在局限性，如人物检出不全，容易误识别等。
2、现有技术如cn102999892a公开的一种基于区域遮罩的深度图像与rgb图像的智能融合方法，其方案包括在同一时刻采集同一场景的深度图像与rgb图像，选取深度图像与rgb图像的大区域不变性关联特征；利用大区域不变性关联特征进行图像配准；在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像；为目标物体产生遮罩；将遮罩与配准后的rgb图像进行融合。
3、该方案通过在融合过程中设置感兴趣的深度范围，可以将目标物体的空间位置范围缩小，减小后续算法的计算量，提高检测速度，但其目标检测精度不够高，并且在融合前缺少对rgb图像以及深度图的调整处理，可能会导致融合不充分。在数据融合过程中，也缺乏相应的约束，会出现因数据差异性带来的问题。
【技术保护点】
1.基于多模态融合的人体检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合具体包括：
3.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，该方法还包括：
4.根据权利要求3所述的基于多模态融合的人体检测方法，其特征在于，该方法还包括：根据梯度差异的大小动态调整λ1、λ2的值...
【技术特征摘要】
1.基于多模态融合的人体检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合具体包括：
3.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，该方法还包括：
4.根据权利要求3所述的基于多模态融合的人体检测方法，其特征在于，该方法还包括：根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
5.基于多模态融合的人体检测装置，用于实现如权利要求1-4任意一项所述的基于多模态融合的人体检测方法，其特征在于，所述装置包括：
6.根据权利要求5所述的基于多模态融合的人体检测装置，其特征在于，所述多模态融合模块具体用于，将第一特征图的前n/2个通道与第二特征图的前n/...
【专利技术属性】
技术研发人员：申啸尘，周有喜，邹春友，
申请(专利权)人：深圳市芯联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。