【技术实现步骤摘要】
本专利技术涉及人体检测领域，具体涉及一种基于多模态融合的人体检测方法、装置、云端设备及计算机装置。
技术介绍
1、目前主流的目标(人体)检测算法即基于yolov8的目标检测算法。该算法在场景复杂，人群密集的情况下依然存在局限性，如人物检出不全，容易误识别等。
2、现有技术如cn102999892a公开的一种基于区域遮罩的深度图像与rgb图像的智能融合方法，其方案包括在同一时刻采集同一场景的深度图像与rgb图像，选取深度图像与rgb图像的大区域不变性关联特征；利用大区域不变性关联特征进行图像配准；在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像；为目标物体产生遮罩；将遮罩与配准后的rgb图像进行融合。
3、该方案通过在融合过程中设置感兴趣的深度范围，可以将目标物体的空间位置范围缩小，减小后续算法的计算量，提高检测速度，但其目标检测精度不够高，并且在融合前缺少对rgb图像以及深度图的调整处理，可能会导致融合不充分。在数据融合过程中，也缺乏相应的约束，会出现因数据差异性带来的问题。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点，提供一种基于多模态融合的人体检测方法、装置、云端设备及计算机装置，提高了目标检测精度。
2、本专利技术采取如下技术方案实现上述目的，一方面，本专利技术提供一种基于多模态融合的人体检测方法，所述方法包括：
3、将待测的rgb图像输入单目深度模型，得到对应的深度图；>
4、使用通道数为n，分组数为2的卷积层分别对分别对深度图与rgb图像进行调整，得到对应的第一特征图与第二特征图；
5、将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合，通过通道拼接操作，得到通道数为n，与所述深度图及rgb图像大小相同的融合特征图。
6、进一步的是，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合具体包括：
7、将第一特征图的前n/2个通道与第二特征图的前n/2个通道进行对应像素的进行相乘，将第一特征图的后n/2个通道与第二特征图的后n/2个通道进行对应像素的进行相加。
8、进一步的是，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，该方法还包括：
9、通过数据融合微调损失函数来约束数据融合过程，数据融合微调损失函数如下：
10、
11、其中，表示第一特征图与第二特征图前n/2个通道的梯度差异性，表示第一特征图与第二特征图后n/2个通道的梯度差异性，λ1、λ2代表两个部分的损失权重。
12、进一步的是，该方法还包括：根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
13、第二方面，本专利技术提供一种基于多模态融合的人体检测装置，用于实现上述所述的基于多模态融合的人体检测方法，所述装置包括：
14、深度图获取模块，用于将待测的rgb图像输入单目深度模型，得到对应的深度图；
15、卷积调整模块，用于使用通道数为n，分组数为2的卷积层分别对分别对深度图与rgb图像进行调整，得到对应的第一特征图与第二特征图；
16、多模态融合模块，用于将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合，通过通道拼接操作，得到通道数为n，与所述深度图及rgb图像大小相同的融合特征图。
17、进一步的是，所述多模态融合模块具体用于，将第一特征图的前n/2个通道与第二特征图的前n/2个通道进行对应像素的进行相乘，将第一特征图的后n/2个通道与第二特征图的后n/2个通道进行对应像素的进行相加。
18、进一步的是，该装置还包括数据融合微调损失模块，用于将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，通过数据融合微调损失函数来约束数据融合过程，数据融合微调损失函数如下：
19、
20、其中，表示第一特征图与第二特征图前n/2个通道的梯度差异性，表示第一特征图与第二特征图后n/2个通道的梯度差异性，λ1、λ2代表两个部分的损失权重。
21、进一步的是，所述数据融合微调损失模块具体还用于，根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
22、第三方面，本专利技术提供一种云端设备，所述云端设备包括服务器，如上述所述的基于多模态融合的人体检测装置安装于所述服务器。
23、第四方面，本专利技术提供一种计算机装置，包括存储器，所述存储器存储有程序指令，所述程序指令运行时，执行如上述所述的基于多模态融合的人体检测方法。
24、本专利技术的有益效果为：
25、本专利技术在数据融合前，使用通道数为n，分组数为2的卷积层分别对分别对深度图与rgb图像进行调整，能够让深度图与rgb图像进行完全、充分的多模态融合。
26、本专利技术在调整后输入符合各自融合方式特点的特征图，有了这项特性，通过结合不同的融合方式，就能够获取最有利于检测模型找出图像特征的多模态融合图像，使得目标检测模型的精度得到提升。
27、本专利技术使用add和mul操作进行融合，add和mul操作都能够根据深度图的这些特性加强rgb图像上的这些对应像素的有效特征的权重，进行有效特征的放大，并减少不相关、噪音特征的比例。
28、本专利技术采用数据融合微调损失函数对数据融合过程进行约束，减少融合过程中由于数据的差异性产生的问题。
本文档来自技高网...【技术保护点】
1.基于多模态融合的人体检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合具体包括：
3.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，该方法还包括：
4.根据权利要求3所述的基于多模态融合的人体检测方法，其特征在于，该方法还包括：根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
5.基于多模态融合的人体检测装置，用于实现如权利要求1-4任意一项所述的基于多模态融合的人体检测方法，其特征在于，所述装置包括：
6.根据权利要求5所述的基于多模态融合的人体检测装置，其特征在于，所述多模态融合模块具体用于，将第一特征图
7.根据权利要求5所述的基于多模态融合的人体检测装置，其特征在于，该装置还包括数据融合微调损失模块，用于将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，通过数据融合微调损失函数来约束数据融合过程，数据融合微调损失函数如下：
8.根据权利要求7所述的基于多模态融合的人体检测装置，其特征在于，所述数据融合微调损失模块具体还用于，根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
9.一种云端设备，所述云端设备包括服务器，其特征在于，如权利要求5-8任意一项所述的基于多模态融合的人体检测装置安装于所述服务器。
10.一种计算机装置，包括存储器，所述存储器存储有程序指令，其特征在于，所述程序指令运行时，执行如权利要求1-4任意一项所述的基于多模态融合的人体检测方法。
...【技术特征摘要】
1.基于多模态融合的人体检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合具体包括：
3.根据权利要求1所述的基于多模态融合的人体检测方法，其特征在于，将第一特征图与第二特征图的前n/2个通道和后n/2个通道分别进行对应的mul和add方式进行融合时，该方法还包括：
4.根据权利要求3所述的基于多模态融合的人体检测方法，其特征在于，该方法还包括：根据梯度差异的大小动态调整λ1、λ2的值，若梯度差异小于等于设置的梯度差异阈值，则将λ1、λ2的值设置为小于损失权重阈值，若梯度差异大于设置的梯度差异阈值，则将λ1、λ2的值设置为大于损失权重阈值。
5.基于多模态融合的人体检测装置，用于实现如权利要求1-4任意一项所述的基于多模态融合的人体检测方法，其特征在于，所述装置包括：
6.根据权利要求5所述的基于多模态融合的人体检测装置，其特征在于，所述多模态融合模块具体用于，将第一特征图的前n/2个通道与第二特征图的前n/...
【专利技术属性】
技术研发人员：申啸尘，周有喜，邹春友，
申请(专利权)人：深圳市芯联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。