本发明专利技术公开一种基于卷积神经网络模型的嵌入式人群密度估计方法及嵌入式人群密度估计的卷积神经网络模型，本模型用于实现本方法，本方法包括通过3个具有生成人群密度图输出能力的卷积神经分支的结构嵌套，使得模型具有3个运行模式，对训练图像预处理后，训练卷积神经网络模型，输入图像至训练好的卷积神经网络模型，选择三个运行模式的其中之一，输出所选模式对应的人群密度图，对所输出的密度图进行积分操作，获得对图像的总人数估计。本发明专利技术的卷积神经网络模型轻量化，准确度高于同量级卷积神经网络模型，部署三个模式可以任意切换，每个模式的速度不同，速度可根据实际情况选择。
【技术实现步骤摘要】
一种基于卷积神经网络模型的嵌入式人群密度估计方法
本专利技术涉及计算机视觉领域，特别涉及一种基于卷积神经网络模型的嵌入式人群密度估计方法及一种面向嵌入式人群密度估计的卷积神经网络模型。
技术介绍
依托嵌入式进行本地化的实时计算，能够克服现有基于卷积神经网络的方法的缺陷。基于服务器端GPU和基于嵌入式人群密度估计方法对比如图3所示，相比之下，后者更方便易用且有利于节约成本。而将模型应用到嵌入式设备中，设备的性能、成像的尺寸以及客户对实时性的需求都是有可能发生变化的，根据不同状况分别设计网络是不切实际的。为此我们需要面向嵌入式设备设计出一款轻量化、速度可调的人群密度估计卷积神经网络模型，能够在低运算量的前提下保持较高的准确率，同时可随时切换运行模式，根据需要调整模型的复杂度和占用的内存，以适应不同的设备性能和实时性需要。模型结构不限制输入尺寸，以满足不同设备的画幅和不同场景中的需要。最终实现人群密度估计的边缘计算，解决现有方法需要将数据回传服务器的缺陷。
技术实现思路
本专利技术的主要目的是提出一种基于卷积神经网络模型的嵌入式人群密度估计方法和一种面向嵌入式人群密度估计的卷积神经网络模型，本模型用于实现本方法，旨在克服以上问题。为实现上述目的，本专利技术提出的一种基于卷积神经网络模型的嵌入式人群密度估计方法，包括如下步骤：S10嵌入3个运行模式：通过3个具有生成人群密度图输出能力的卷积神经分支的结构嵌套，使得卷积网络模型具有3个运行模式，其中所述3个模式所使用卷积网络模型的参数由低到高数量逐渐递增且能够进行复用；S20模型训练：对训练图像进行预处理，用激励函数δ(x-xi)表示图像像素点的标注，生成图像的标记图将标记图与高斯核Gσ(x)进行卷积，获得对应的密度图真值F(x)＝H(x)*Gσ(x)，x为密度图中的像素，σ表示高斯核Gσ(x)的标准差，使用预处理好的训练数据对所述卷积神经网络模型进行训练，其中使用密度图真值和模型输出密度图之间的欧氏距离作为网络训练的损失函数；S30输入图像至训练好的卷积神经网络模型，根据设备性能和速度要求，选择三个运行模式的其中之一，输出所选模式对应的人群密度图；S40对所输出的密度图进行积分操作，获得对图像的总人数估计。优选地，所述S30中所述卷积神经网络模型的高斯核Gσ(x)的获得根据输入图像中表示图像特征的不同数据集有且不限于以下三种方法：(1)固定σ：对每个图像像素点的标注使用固定σ值获得高斯核Gσ(x)；(2)透视图σ：依据不同透视图图像分别标记或根据经验标记特征图象的σ值获得高斯核Gσ(x)；(3)几何自适应σ：根据某标注点到K个最近毗邻标注点之间像素平均距离调整该标注点高斯核的σ值获取高斯核Gσ(x)。优选地，所述几何自适应σ方法生成密度图的函数如下：其中是生成的高斯核，是第i个标注点与最近k个标注点之间的像素平均距离，β通常根据经验设置在0.3左右。优选地，所述多个模型模式包括快速模式、平衡模式和精准模式，所述多个模型模式所利用的参数量由低到高逐层递增的方法具体为：快速模式利用源自原始图像的基础参数快速获取密度图，该密度图根据运算需要直接作为输出或者给平衡模式提供信息；平衡模式利用源自原始图像的基础参数和由快速模式获得的密度图的参数，并对其进行补充和修正；精准模式利用源自原始图像的基础参数、快速模式及平衡模式所获取的密度图的参数，并对其进行了补充和修正。优选地，所述使用密度图真值和模型输出密度图之间的欧氏距离作为网络训练的损失函数表示如下：其中Xi表示序列号为i的输入图像，Gi为对应的密度图真值，F(Xi；Θ)表示图像Xi输入到参数设置为Θ的网络而得到的输出，N是训练集的图像数量，为了得到一个端到端训练且速度可切换的网络，我们将三个模式的输出结合起来，得到最终的损失函数为：Lcombine(Θ)＝λ1Lfast+λ2Lbalance+λ3Laccurate，其中λ1、λ2和λ3表示每种模式损失函数的比例系数，满足条件：根据需要适当调整，Lcombine(Θ)表示考虑所有三种模式后的损失函数，用以训练网络。本专利技术还公开了一种面向嵌入式人群密度估计的卷积神经网络模型，包括一个图像输入口和多个卷积神经分支，每个卷积神经分支均设有对应的图像输出口，每个卷积神经分支包括：高度和宽度相等的卷积核，其中卷积核的高和宽为1、3、5或7；高度和宽度均相等且高与宽相等步长的最大值池化层MP；用于提取每个特征图像平均值的全局平均池化层G-A-P；用于将所有的均值点连接起来形成的四个全连接层；由上述四个全连接层和每个全连接层各自的激活层叠加得到的缩放分支结构：FC(G-A-P)-R-FC(12)-R-FC(8)-R-FC(1)-T，其中FC为全连接层，R为ReLU激活层，T为Tanh激活层，每个括号内的数字为神经元的数量；每个卷积神经分支通过卷积层、MP层和激活层得到各自的特征图；通过假设Tanh激活层的输出为Δ，使用1+Δ作为缩放因子，对每个特征图进行缩放得到缩放后的特征图；每个缩放后的特征图根据模型模式的选择来决定作为输出或者是下个卷积神经分支的特征图像。优选地，所述最大值池化层MP的数目为4，得到高度和宽度均为输入图像1/16的密度图。优选地，所述最大值池化层MP的高度和宽度均为2。优选地，每个所述卷积神经分支还包括sigmoid激活层，所述缩放分支结构的Tanh激活层的输出通过乘法缩放与sigmoid激活层融合，输出缩放后的特征图。优选地，所述全连接层之间增加比率大致为0.2的Dropout层，且采用随机梯度下降SGD优化器进行迭代训练。本专利技术的方法利用不同的卷积神经网络分支，设计其参数由低到高数量逐渐递增且能够进行复用的3种模式嵌入具有卷积神经网络模型的设备，以获得输入图像的密度图进而得到所输入图像的总人数估计，本方法实现准确率和运算速度之间的可调平衡性，不同模式之间共享参数，不会浪费存储空间；模型部署在嵌入式设备上，有效地避免使用基于服务器端的人群密度估计方法所带来的缺陷。进一步地，通过每个卷积神经分支结构使用全卷积的形式，以使得结构不会限制输入图像的尺寸，有助于适应多种嵌入式设备和不同需求。进一步地，本专利技术中每个卷积神经分支的结构和参数量与通常卷积神经分支相比都偏小，模型的每个模式分支都尽量压缩了特征图的层数，同时利用最大值池化层(MP)降低特征图大小，进一步减小运算量，全局平均池化层操作利用较少参数完成修改作用，获得更为准确的结果，整体来讲，模型在保证准确率的前提下，对模型结构进行了优化，使用了很少的参数和运算量。本专利技术的模型轻量化，准确度高于同量级卷积神经网络模型，部署后三种模式可以任意切换，无需重新训练。而且不固定输入图像尺寸，能够适应各种性能的设备和不同实时性需求。不同模式之间共享参数，不会浪费存储空间。综上，模型适合部署在嵌入式终端，能够避免使用基于服务器端的人群密度估计方法所带来的缺陷。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络模型的嵌入式人群密度估计方法，其特征在于，包括如下步骤：S10嵌入3个运行模式：通过3个具有生成人群密度图输出能力的卷积神经分支的结构嵌套，使得卷积网络模型具有3个运行模式，其中所述3个模式所使用卷积网络模型的参数由低到高数量逐渐递增且能够进行复用；S20模型训练：对训练图像进行预处理，用激励函数δ(x‑xi)表示图像像素点的标注，生成图像的标记图
【技术特征摘要】
1.一种基于卷积神经网络模型的嵌入式人群密度估计方法，其特征在于，包括如下步骤：S10嵌入3个运行模式：通过3个具有生成人群密度图输出能力的卷积神经分支的结构嵌套，使得卷积网络模型具有3个运行模式，其中所述3个模式所使用卷积网络模型的参数由低到高数量逐渐递增且能够进行复用；S20模型训练：对训练图像进行预处理，用激励函数δ(x-xi)表示图像像素点的标注，生成图像的标记图将标记图与高斯核Gσ(x)进行卷积，获得对应的密度图真值F(x)＝H(x)*Gσ(x)，x为密度图中的像素，σ表示高斯核Gσ(x)的标准差，使用预处理好的训练数据对所述卷积神经网络模型进行训练，其中使用密度图真值和模型输出密度图之间的欧氏距离作为网络训练的损失函数；S30输入图像至训练好的卷积神经网络模型，根据设备性能和速度要求，选择三个运行模式的其中之一，输出所选模式对应的人群密度图；S40对所输出的密度图进行积分操作，获得对图像的总人数估计。2.如权利要求1所述的基于卷积神经网络模型的嵌入式人群密度估计方法，其特征在于，所述S30中所述卷积神经网络模型的高斯核Gσ(x)的获得根据输入图像中表示图像特征的不同数据集有且不限于以下三种方法：(1)固定σ：对每个图像像素点的标注使用固定σ值获得高斯核Gσ(x)；(2)透视图σ：依据不同透视图图像分别标记或根据经验标记特征图象的σ值获得高斯核Gσ(x)；(3)几何自适应σ：根据某标注点到K个最近毗邻标注点之间像素平均距离调整该标注点高斯核的σ值获取高斯核Gσ(x)。3.如权利要求2所述的基于卷积神经网络模型的嵌入式人群密度估计方法，其特征在于，所述几何自适应σ方法生成密度图的函数如下：其中是生成的高斯核，是第i个标注点与最近k个标注点之间的像素平均距离，β通常根据经验设置在0.3左右。4.如权利要求1所述的基于卷积神经网络模型的嵌入式人群密度估计方法，其特征在于，所述多个模型模式包括快速模式、平衡模式和精准模式，所述多个模型模式所利用的参数量由低到高逐层递增的方法具体为：快速模式利用源自原始图像的基础参数快速获取密度图，该密度图根据运算需要直接作为输出或者给平衡模式提供信息；平衡模式利用源自原始图像的基础参数和由快速模式获得的密度图的参数，并对其进行补充和修正；精准模式利用源自原始图像的基础参数、快速模式及平衡模式所获取的密度图的参数，并对其进行了补充和修正。5.如权利要求1所述的基于卷积神经网络模型的嵌入式人群密度估计方法，其特...
【专利技术属性】
技术研发人员：陈景宇，谢晓华，郑伟诗，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。