一种基于结构化知识蒸馏的人群计数模型及其方法技术

本发明专利技术公开了一种基于结构化知识蒸馏的人群计数模型及其方法，该方法包括：步骤S1，获取人群图像，利用标注的信息生成对应的真实的人群密度图；步骤S2，多次迭代式将不同的人群图像输入重量级的教师网络进行预训练，提取各层特征，并生成估计的人群密度图；步骤S3，将人群图像输入轻量级的学生网络，提取各层特征，并生成估计的人群密度图；步骤S4，计算对应学生网络与教师网络特征的一元知识相似度和成对知识相关系数；步骤S5，通过一元知识相似度和成对知识相关系数以及各人群密度图，计算损失，更新学生网络的参数；步骤S6，利用不同人群图像多次迭代式地进行S1以及S3‑S5的训练过程，直到符合停止条件。

【技术实现步骤摘要】
一种基于结构化知识蒸馏的人群计数模型及其方法
本专利技术涉及计算机视觉
，特别是涉及一种基于结构化知识蒸馏的人群计数模型及其方法。
技术介绍
人群计数是人群分析的重要技术，其目标是自动计算出监视情景中的总人数。随着城镇人口的急剧增加，人群计数在视频监控、拥堵报警和交通管理等方面有着很广泛的应用，这使其成为一个热门的研究课题。近年来，深度神经网络成为人群计数领域的主流方法，在代表性学习能力方面取得了显著的进展。为了取得更好的进展，一些前沿方法使用了重量级的主干网络(如VGG)来提取特征，例如，YuhongLi等人在2018年的研究工作“CSRNet:Dilatedconvolutionalneuralnetworksforunderstandingthehighlycongestedscenes”(IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2018)提出了针对复杂拥挤场景理解的CSRNet网络结构,网络前端采用的是VGG-16的卷积层部分提取二维特征，后端则采本文档来自技高网...

【技术保护点】
1.一种基于结构化知识蒸馏的人群计数模型，包括：/n预处理单元，用于获取人群图像，对人群图像进行标注，利用标注的信息产生真实的人群密度图；/n教师网络处理单元，用于多次迭代式地将所述预处理单元的不同人群图像输入使用结构复杂的重量级网络结构的教师网络进行预训练，产生各层特征，生成估计的第一人群密度图；/n学生网络预处理单元，用于将所述预处理单元的人群图像输入使用精简的轻量级网络的学生网络，产生各层特征，生成估计的第二人群密度图；/n知识蒸馏单元，用于对所述教师网络处理单元的各层特征进行知识蒸馏，计算所述学生网络处理单元的各层特征与对应的所述教师网络处理单元的各层特征的一元知识相似度和成对知识相关...

【技术特征摘要】
1.一种基于结构化知识蒸馏的人群计数模型，包括：
预处理单元，用于获取人群图像，对人群图像进行标注，利用标注的信息产生真实的人群密度图；
教师网络处理单元，用于多次迭代式地将所述预处理单元的不同人群图像输入使用结构复杂的重量级网络结构的教师网络进行预训练，产生各层特征，生成估计的第一人群密度图；
学生网络预处理单元，用于将所述预处理单元的人群图像输入使用精简的轻量级网络的学生网络，产生各层特征，生成估计的第二人群密度图；
知识蒸馏单元，用于对所述教师网络处理单元的各层特征进行知识蒸馏，计算所述学生网络处理单元的各层特征与对应的所述教师网络处理单元的各层特征的一元知识相似度和成对知识相关系数；
学生网络更新单元，用于使用所述知识蒸馏单元计算的一元知识相似度和成对知识相关系数，以及所述学生网络预处理单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图、所述教师网络处理单元生成的估计的人群密度图，计算所述学生网络的各项损失，更新所述学生网络的参数；
学生网络迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、学生网络预处理单元、知识蒸馏单元以及学生网络更新单元的训练过程，直到满足设定的停止条件时停止训练。


2.如权利要求1所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于，所述预处理单元利用标注的人头位置信息通过高斯核生成对应的人群密度图：
当所述人群图像中人群密集时，所述预处理单元通过如下公式生成人群密度图，



当所述人群图像中人群稀疏时，所述预处理单元通过如下公式生成人群密度图，



其中，M代表所述人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，当x与xi的距离大于设定的阈值时为0，小于等于时为1，表示标准差为σi的高斯核，β为一常数，代表第i个人的标注位置与其周边的m个人的标注位置的平均距离，Gσ表示标准差固定为σ的高斯核。


3.如权利要求2所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于：所述教师网络处理单元使用结构复杂的重量级网络结构CSRNet或BL的教师网络对人群图像进行预训练，多次迭代式地将所述预处理单元的不同的人群图像输入教师网络，提取各层特征并生成估计的第一人群密度图，最后利用生成的估计的第一人群密度图与所述预处理单元产生的真实人群密度图基于均方误差计算损失，采用自适应矩估计优化算法更新网络参数。


4.如权利要求3所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于：所述学生网络预处理单元使用精简的轻量级网络结构1/n-CSRNet或1/n-BL的学生网络，精简方式是将CSRNet或BL网络中除了最后的输出层之外的每一层特征的通道数减少为原来的1/n，并使用所述预处理单元的不同的人群图像输入学生网络，提取各层特征，并生成估计的第二人群密度图。


5.如权利要求4所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于，所述知识蒸馏单元进一步包括：
一元知识相似性蒸馏模块，用于计算所述学生网络中特定层的特征与对应教师网络中特定层的一元知识相似度，以便实现将教师网络的特征传递给学生网络；
成对知识相关性蒸馏模块，...

【专利技术属性】
技术研发人员：林倞，杨泽微，陈嘉奇，吴贺丰，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44