【技术实现步骤摘要】
一种多模态和多尺度融合的候选区域生成方法及相关装置
[0001]本专利技术涉及人工智能
，尤其涉及一种多模态和多尺度融合的候选区域生成方法及相关装置。
技术介绍
[0002]候选区域生成算法旨在从图像中尽可能找到有可能存在所需物体的区域。候选区域生成算法中涉及到了图像处理、机器学习、模式识别等多个领域的技术，主要广泛应用于人脸识别、违禁品检测、犯人追踪、车牌识别等领域。现有的候选区域生成算法根据使用特征的生成方式的不同可以分为基于滑动窗口法、基于超像素分组法和基于深度特征的方法。
[0003]基于滑动窗口法预先设定固定大小的窗口，使用这个窗口在图像中滑动，每滑动到的位置就是一个候选区域。基于超像素分组的方法先将图像划分为不同区域来识别潜在的物体，然后根据颜色、纹理等信息通过不断迭代将相似度高的区域合并成最终的候选区域。这类方法都是基于手工特征来实现的，有着计算量大、鲁棒性差、准确率低的缺点。随着深度学习的发展，如今也有许多结合深度学习来实现的候选区域生成算法。通过卷积神经网络学习图像的深度特征，利用深度特征来生...
【技术保护点】
【技术特征摘要】
1.一种多模态和多尺度融合的候选区域生成方法，应用于包括特征提取主干网络、多模态融合网络、多尺度聚合网络以及候选区域生成网络的整体神经网络，其特征在于，包括：通过两个平行的所述特征提取主干网络对彩色图以及相应深度图分别进行特征提取处理，得到彩色图特征以及深度图特征；其中，所述特征提取主干网络包括多个特征提取层；通过所述多模态融合网络分别获取每一尺度所述彩色图特征以及所述深度图特征的模态互补特征，并基于所述模态互补特征生成中间特征图，然后分别获取评价所述彩色图特征不同空间位置重要程度以及评价所述深度图特征不同空间位置重要程度的概率特征图，并基于所述概率特征图对所述中间特征图进行聚合，得到多模态融合特征；通过所述多尺度聚合网络逐层建立所输入的相邻两个所述多模态融合特征中高分辨率特征图和分辨率特征图之间的对应关系，生成流偏移特征图，然后基于所述流偏移特征图所指示的相邻特征图之间每一像素位置在两个方向上的偏移量，获取上采样特征图，并基于所述上采样特征图生成多尺度融合特征图；通过所述候选区域生成网络分别对每一尺度的所述多尺度融合特征图进行预测头部操作，然后将每一尺度的预测目标共同经过非极大值抑制操作，生成候选区域结果。2.如权利要求1所述的候选区域生成方法，其特征在于，所述通过所述多模态融合网络分别获取每一尺度所述彩色图特征以及所述深度图特征的模态互补特征，并基于所述模态互补特征生成中间特征图的步骤，包括：通过所述多模态融合网络分别将每一尺度所述彩色图特征以及所述深度图特征进行卷积操作，得到模态互补特征；对所述模态互补特征进行全局平均池化操作以及多层感知计算，得到两个方向的特征向量；采用非线性激活函数对所述特征向量进行压缩，生成中间特征图。3.如权利要求1所述的候选区域生成方法，其特征在于，所述基于所述流偏移特征图所指示的相邻特征图之间每一像素位置在两个方向上的偏移量，获取上采样特征图的步骤，包括：基于所述流偏移特征图所指示的相邻特征图之间每一像素位置在两个方向上的偏移量，利用双线性采样机制获取初步上采样特征图；分别计算所述高分辨率特征图以及所述初步上采样特征图对应的空间权重特征图；基于所述空间权重特征图对所述高分辨率特征图以及所述初步上采样特征图进行叠加处理，得到最终输出的上采样特征图。4.如权利要求3所述的候选区域生成方法，其特征在于，所述基于所述上采样特征图生成多尺度融合特征图的步骤，包括：分别计算所述低分辨率特征图以及所述上采样特征图对应的权重向量；采用相应所述权重向量分别对所述低分辨率特征图以及卷积处理后的所述上采样特征图进行加权融合，生成多尺度融合特征图。5.一种多模态和多尺度融合的候选区域生成装置，应用于包括特征提取主干网络、多模态融合网络、多尺度聚合网络以及候选区域生成网络的整体神经网络，其特征在于，包
括：提取模块，用于通过两个平行的所述特征提取主干网络对彩色图以及相应深度图分别进行特征提取处理，得到彩色图特征以及深度图...
【专利技术属性】
技术研发人员：陈瑞锋，邹文斌，田时舜，李霞，
申请(专利权)人：慧视创新深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。