基于分布不确定性的多模态特征迁移人群计数方法及装置制造方法及图纸

本发明专利技术公开了一种基于分布不确定性的多模态动态特征迁移人群计数方法及装置，方法包括：多模态动态特征迁移计数网络使用ResNet101残差网络作为主干，以双流网络结构提取多模态特征，并生成人群概率密度图；在多模态特征提取过程中依据基于分布不确定性的通道动态交互机制进行模态间特征信息交互；获取双流特征提取网络输出的概率密度图，通过决策级自适应融合模块实现多模态输出结果的自适应融合；得到融合后的多模态人群概率密度图后，对密度图进行积分得到人群的数目。装置包括：处理器和存储器。本发明专利技术规避了在不良成像条件下仅使用单一模态图像计数的劣势，更好的利用多模态特征提高人群计数性能。利用多模态特征提高人群计数性能。利用多模态特征提高人群计数性能。

【技术实现步骤摘要】
基于分布不确定性的多模态特征迁移人群计数方法及装置


[0001]本专利技术涉及多模态图像处理、人群计数领域，尤其涉及一种基于分布不确定性的多模态动态特征迁移人群计数方法及装置。

技术介绍

[0002]计算机视觉中的人群计数任务，旨在使用一个针对人群密度进行统计分析的人群计数算法，来对实时人流监控、交通管控、公共区域人流分析等社会场景中的人群数量进行估计。人群密度的控制对人类生活生产的正常进行越来越重要，高效的人群计数方法能够有效解决这一问题。近年来，这一任务备受计算机视觉领域相关研究者的关注，经过基于检测、基于回归等方法的人群计数方法的演化，目前所采用的大多是通过生成像素级人群密度图来完成人群数量的计算。
[0003]在相关方法方面，以前的场景分析工作大多基于可见数据。然而，可见数据可能存在照明变化和夜间成像条件差的缺点，仅仅在可见光视角下开展研究，可能会因为可见光图片的视野限制和信息遮挡，对准确获取人群数量造成困难。通过热红外相机拍摄的热红外数据可以有效的避免仅仅使用可见光数据的缺点，同时，可见光数据也可以避免仅仅使用热红外数据中的高亮干扰，从而使RGB
‑
T(可见光
‑
红外)两种图片优势互补在白天和夜间都能够有效的感知场景。目前有方法利用多模态融合证明RGB
‑
T(可见光
‑
红外)在促进图像分析方面的有效性，但这些方法都没有能够考虑动态利用RGB和T模态的优势，无法灵活的使两个模态优势互补来获得更好的计数效果。
[0004]多模式学习在计算机视觉领域受到了越来越多的关注，多模态融合的方式也被证明能够有效利用不同模态的优势进行特征互补。多模态融合中最关键的问题是如何在保持每个模态特异性的前提下实现最优的信息互补。大多采用早期融合输入或者提取特征后后期融合的方法，无法挖掘不同模态中更加深层次的特征信息，也无法针对每组图片的特异性进行动态决策融合。如何更好的利用RGB和T模态的信息进行多模态融合，是近年来许多工作的研究内容。

技术实现思路

[0005]本专利技术提供了一种基于分布不确定性的多模态动态特征迁移人群计数方法及装置，本专利技术设计了一种基于分布不确定性的多模态交互机制，使得在特征提取过程中实现通道维度上的多模态动态交互，通过双向的信息迁移来提升每一模态的特征提取效果；本专利技术设计了一种自适应决策级融合策略，使得训练模型克服不可预测的成像条件的影响从而生成更可靠的密度图，提高了人群计数性能，详见下文描述：
[0006]第一方面、一种基于分布不确定性的多模态动态特征迁移人群计数方法，所述方法包括：
[0007]多模态动态特征迁移计数网络使用ResNet101残差网络作为主干，以双流网络结构提取多模态特征，并生成人群概率密度图；
[0008]在多模态特征提取过程中依据基于分布不确定性的通道动态交互机制进行模态间特征信息交互；
[0009]获取双流特征提取网络输出的概率密度图，通过决策级自适应融合模块实现多模态输出结果的自适应融合；
[0010]得到融合后的多模态人群概率密度图后，对密度图进行积分得到人群的数目。
[0011]第二方面、一种基于分布不确定性的多模态动态特征迁移人群计数装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0012]第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0013]本专利技术提供的技术方案的有益效果是：
[0014]1、本专利技术提出了一种多模态特征融合人群计数网络，可以在不同模态特征之间实现交互迁移，从而提升每个模态的计数效果；该多模态人群计数方法规避了在不良成像条件下仅使用单一模态图像计数的劣势，更好的利用多模态特征提高人群计数性能；
[0015]2、本专利技术设计了基于分布不确定性给出多模态交互机制，利用简约的模块设计和网络结构自身的参数，在通道级层面给出更鲁棒和更灵活的交互选择判断依据，从而指导不同模态之间进行交互迁移，该机制能够很好的提升多模态交互计数效果；
[0016]3、本专利技术提出了一种自适应的决策级融合策略，最大限度地综合两种模态的有效结果，有助于在不可预测的多模态成像条件下获得更可靠的结果；并在双光数据集RGBTCC和DroneRGBT上进行了可行性实验验证。
附图说明
[0017]图1为整体网络的结构示意图；
[0018]图2为一种基于分布不确定性的多模态动态特征迁移人群计数方法的流程图；
[0019]图3为一种基于分布不确定性的多模态动态特征迁移人群计数装置的结构示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0021]为了解决
技术介绍
中存在的技术问题，本专利技术实施例提出了一种多模态特征融合人群计数网络，该网络可以在不同模态特征之间实现交互迁移，从而提升每个模态以及综合的计数效果。该网络包括：特征提取模块、通道动态迁移模块和决策级自适应融合模块，该多模态人群计数网络规避了在不良成像条件下仅使用单一模态图像计数的劣势，更好的利用多模态特征提高人群计数性能。
[0022]实施例1
[0023]本专利技术实施例提供了一种基于分布不确定性的多模态动态特征迁移人群计数方法，该方法包括以下步骤：
[0024]101：多模态动态特征迁移计数网络使用ResNet101残差网络作为主干，以双流网络结构提取多模态特征并分别生成人群概率密度图；
[0025]具体而言，双流特征提取网络的结构为在ResNet101基础网络架构上添加空洞卷积层作为后端网络，并通过最后的回归层输出密度图；并使用同一预训练模型(ResNet101)对双流计数网络进行初始化。
[0026]102：在多模态特征提取过程中依据基于分布不确定性的通道动态交互机制进行模态间特征信息交互；
[0027]在ResNet101网络中每一个Layer(单元)之后，输出特征通过通道动态迁移模块完成一次模态交互。在通道动态迁移模块中，首先通过交互对象选取子模块依据模态间对应通道之间的分布差异性选出待交互的对象；随后通过交互方向判断子模块依据模态内待交互通道与整体分布之间的分布差异性判断出进一步进行模态间交互的方向，通过多模态协同提升单一分支特征提取效果。
[0028]103：获取双流特征提取网络输出的概率密度图，通过决策级自适应融合模块实现多模态输出结果的自适应融合；
[0029]其中，双流网络输出的概率密度图输入门控网络中分别生成对应每个模态的像素级权重ω
i
，利用该权重对多模态密度图进行加权，获得融合输出结果即为最终的人群概率密度图；权重ω
i
随本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布不确定性的多模态动态特征迁移人群计数方法，其特征在于，所述方法包括：多模态动态特征迁移计数网络使用ResNet101残差网络作为主干，以双流网络结构提取多模态特征，并生成人群概率密度图；在多模态特征提取过程中依据基于分布不确定性的通道动态交互机制进行模态间特征信息交互；获取双流特征提取网络输出的概率密度图，通过决策级自适应融合模块实现多模态输出结果的自适应融合；得到融合后的多模态人群概率密度图后，对密度图进行积分得到人群的数目。2.根据权利要求1所述的一种基于分布不确定性的多模态动态特征迁移人群计数方法，其特征在于，所述方法还包括：在训练过程中，预测出的概率密度图将与真值概率密度图计算MSE损失，用于更新模型参数。3.根据权利要求1所述的一种基于分布不确定性的多模态动态特征迁移人群计数方法，其特征在于，所述多模态动态特征迁移人群计数网络包括两个分支的特征提取网络、通道动态迁移模块和决策级自适应融合模块。4.根据权利要求3所述的一种基于分布不确定性的多模态动态特征迁移人群计数方法，其特征在于，所述通道动态迁移模块为：通过交互对象选取子模块依据模态间对应通道之间的分布差异性选出待交互的对象；通过交互方向判断子模块依据模态内候选交互通道与整体分布之间的分布差异性判断出模态间交互的方向。5.根据权利要求4所述的一种基于分布不确定性的多模态动态特征迁移人群计数方法，其特征在于，所述交互对象选取子模块为：其中，P1和P2分别为两种模态对应的分布，Π(P1,P2)是选取分布差异性大的n组作为待进行模态交互的对象。6....

【专利技术属性】
技术研发人员：曹亚如，朱鹏飞，曹兵，孙一铭，胡清华，
申请(专利权)人：天津大学，
类型：发明
国别省市：