基于混合高斯人数分布学习的室内人数统计方法及系统技术方案

本发明专利技术公开一种基于混合高斯人数分布学习的室内人数统计方法及系统，方法步骤是：对视频帧进行室内前景提取，计算带权重的多维前景特征；利用MATLAB建立人数标注工具的GUI界面；采用以真实人数标记为中心的离散高斯分布初始化每个训练帧对应的人数分布；结合最大熵模型与正则化项生成目标函数，使用L‑BFGS算法得到优化后的参数模型；利用多个近邻帧构成混合高斯模型得到每一个视频帧的人数分布，多次迭代得到优化后的混合高斯模型，利用得到的混合高斯模型更新每一帧对应的人数分布；交替优化直至收敛，得到最优的最大熵模型参数；对于待统计的视频帧，得到前景特征，然后计算得到每一帧所对应的人数分布。此种技术方案能够更准确地预测视频帧包含的人数。

The method and system of indoor population statistics based on the learning of mixed Gaussian population distribution

【技术实现步骤摘要】
基于混合高斯人数分布学习的室内人数统计方法及系统
本专利技术属于模式识别和机器学习
，特别涉及一种室内场景视频人数统计方法及系统。
技术介绍
室内场景视频人数统计是根据每一帧室内场景图像，估计出该帧图像包含的人的数目。室内场景视频人数统计技术目前主要的应用领域包括：1)安全领域，计算机对室内监控场景中的人数进行实时估计，当人数超出一定阈值时发出警报；2)办公领域，可对多个不同场景下人数情况进行估计，为企业或高校的管理提供参考；3)交通领域，对不同交通工具内的人数情况进行实时估计，合理调配交通资源，减少交通工具内人员拥堵的情况。因此室内场景视频人数统计技术的研究与发展有着十分重要的意义。在以往的研究中，室内场景视频人数统计技术往往只采用单个的人数标记来进行训练，而这往往是不符合现实场景的，在很多的时候，由于室内场景的空间局限性，人员之间常常会发生遮挡，而导致人数标记的模糊性。因此单个人数标记无法准确描述图像中的人数信息。此外，相邻帧的人数变化对当前帧人数标记的模糊度也有影响。针对现有室内人数估计方法仅采用单个人数标记来表示视频帧的做法，本案专利技术人进行深入研究，产生本案。
技术实现思路
本专利技术的目的，在于提供一种基于混合高斯人数分布学习的室内人数统计方法及系统，其可更准确地预测视频帧包含的人数。为了达成上述目的，本专利技术的解决方案是：一种基于混合高斯人数分布学习的室内人数统计方法，包括如下步骤：步骤1，对室内场景的视频帧进行室内前景提取，利用自回归模型对相邻帧差结果在时间和空间上进行累积得到初步的前景区域；然后对自回归模型得到的前景区域与三帧差法得到的前景区域求并集作为最终的前景提取结果；步骤2，对每一个视频场景进行透视估计得到视频帧每个像素对应的权重，从而对步骤1得到的前景区域计算带权重的多维前景特征；步骤3，利用MATLAB建立人数标注工具的GUI界面；步骤4，使用每个场景的前一半的视频帧(以10帧为间隔)作为训练集；初始时，采用以真实人数标记为中心的离散高斯分布来初始化每一个训练帧对应的人数分布，每个高斯分布具有相同的标准差；步骤5，将最大熵模型与混合l2,1范式的正则化项结合起来生成目标函数，使用L-BFGS算法得到优化后的参数模型；步骤6，考虑到相邻视频帧人数变化对当前帧人数标记模糊度的影响，利用多个近邻帧构建混合高斯模型表示每一个视频帧对应的人数分布，通过对混合高斯模型的距离权衡参数和每个人数对应高斯分布的标准差进行交替优化直至收敛，可得到优化后的混合高斯模型，利用得到的混合高斯模型生成新的每一帧对应的人数分布，替换原有的初始人数分布；步骤7，重复步骤5-6直至收敛，得到最优的最大熵模型参数；步骤8，对于待统计的视频帧，首先根据步骤1-2得到视频帧的前景特征，然后根据步骤7训练得到的参数模型计算得到每一帧所对应的人数分布，该分布表示每个人数在该帧图像中所占的成分比，其中最大的标记成分比被认为是该视频帧对应的人数，而不是对所有人数进行以标记成分比为权重的加权求和作为预测的人数。上述步骤1中，采用自回归模型得到初步的前景区域的方法是：令g(x,y,t)表示第t帧的位置处自回归模型的输出：其中自回归系数C000表示当前帧差的权重，Ciju表示前T帧领域像素的权重，d(x,y,t)表示第t帧的(x,y)位置处的归一化图像的帧差，T表示自回归过程的时序控制帧数，R表示局部空间范围的大小；g(x,y,t)大于特定阈值的像素被视为前景。上述步骤1中，在进行前景提取前，首先将视频的每一帧彩色图像转换为灰度图，利用5*5的高斯模糊进行滤波去除噪声，然后对图像进行光照强度归一化，对图像中每个像素除以其R*R邻域内的最大像素值来实现图像强度归一化。上述步骤2中，进行透视估计的方法是：当视频帧中存在消失线时，对每个场景划定出梯形的透视区域，采用线性插值的方法得到图像每个像素对应的权重；当视频帧中不存在消失线时，对透视图与垂直方向线性相关的场景，根据离基准线距离较远和较近的两个人的尺寸进行线性插值来估计图像任意点处人的尺寸，则该像素点处的权重为该点处估计出人尺寸的倒数。上述步骤3中，建立的GUI界面能够在视频人数标定过程中通过调节视频播放速度来加快人数标定速度，并且通过只标定少数变化人数的帧从而获得全部视频帧的人数标定。上述步骤6中，混合高斯模型每个相邻帧的权重由每一帧与当前帧前景特征的距离及帧距离共同决定，两个距离的权衡参数和不同人数对应的高斯分布的标准差可通过内点法交替优化得到，具体方法是：确定目标函数为所有挑选出样本所生成的混合高斯人数分布和由最大熵模型生成的人数分布之间的KL散度；利用内点法对距离的权衡参数和每个人数对应的高斯分布的标准差进行交替优化直至收敛，得到最优的模型参数。一种基于混合高斯人数分布学习的室内人数统计系统，包括室内前景提取模块、透视分析及前景提取模块、参数模型预测模块和人数预测模块；其中，室内前景提取模块用于对视频帧进行前景区域提取；透视分析及前景提取模块用于对视频帧每个像素进行权重分析，并计算相应前景特征；参数模型预测模块基于训练视频帧的前景特征向量和基于混合高斯模型的人数分布预测参数模型；人数预测模块基于未使用的测试帧的前景特征向量和训练好的人数分布预测参数模型预测测试帧中的人数。采用上述方案后，本专利技术具有如下特点：(1)本专利技术提出的方法是由混合高斯模型构建人数分布来表示每一个视频帧对应的人数信息，通过训练得到视频帧前景到人数分布的映射关系，利用训练得到的模型预测视频帧包含的人数；(2)本专利技术提出的室内场景的人数估计方法，在训练过程中使用一个人数分布向量表示这些每个人数标记所占的比重，称为成分比，每个标记的成分比都属于0到1之间，并且和为1；(3)本专利技术提出的方法和系统可以快速、有效地训练出室内人数统计的模型，利用该方法预测的人数不仅具有较高的精度，还适用于多种室内场景。附图说明图1是本专利技术的流程图；图2是GUI标定工具示例；图3是传统的透视标定示例；图4是不存在消失线的透视标定示例。具体实施方式以下将结合附图，对本专利技术的技术方案及有益效果进行详细说明。如图1所示，本专利技术提供一种基于混合高斯人数分布学习的室内人数统计方法，包括如下步骤：第一步，对室内场景的视频帧进行室内前景提取，利用自回归模型对相邻帧差结果在时间和空间上进行累积得到初步的前景区域；然后对自回归模型得到的前景区域与三帧差法得到的前景区域求并集作为最终的前景提取结果；具体包括如下步骤：1)针对视频的每一帧彩色图像，首先转换为灰度图，利用5*5的高斯模糊进行滤波去除噪声。然后对图像进行光照强度归一化，对图像中每个像素除以其R*R邻域(如11像素)内的最大像素值来实现图像强度归一化，以减少不同区域光照变化对图像像素值的影响；2)在完成以上的预处理后，采用自回归模型累本文档来自技高网...

【技术保护点】
1.一种基于混合高斯人数分布学习的室内人数统计方法，其特征在于包括如下步骤：/n步骤1，对室内场景的视频帧进行室内前景提取，利用自回归模型对相邻帧差结果在时间和空间上进行累积得到初步的前景区域；然后对自回归模型得到的前景区域与三帧差法得到的前景区域求并集作为最终的前景提取结果；/n步骤2，对每一个视频场景进行透视估计得到视频帧每个像素对应的权重，从而对步骤1得到的前景区域计算带权重的多维前景特征；/n步骤3，利用MATLAB建立人数标注工具的GUI界面；/n步骤4，使用每个场景的前一半的视频帧作为训练集；初始时，采用以真实人数标记为中心的离散高斯分布来初始化每一个训练帧对应的人数分布，每个高斯分布具有相同的标准差；/n步骤5，将最大熵模型与混合l

【技术特征摘要】
1.一种基于混合高斯人数分布学习的室内人数统计方法，其特征在于包括如下步骤：
步骤1，对室内场景的视频帧进行室内前景提取，利用自回归模型对相邻帧差结果在时间和空间上进行累积得到初步的前景区域；然后对自回归模型得到的前景区域与三帧差法得到的前景区域求并集作为最终的前景提取结果；
步骤2，对每一个视频场景进行透视估计得到视频帧每个像素对应的权重，从而对步骤1得到的前景区域计算带权重的多维前景特征；
步骤3，利用MATLAB建立人数标注工具的GUI界面；
步骤4，使用每个场景的前一半的视频帧作为训练集；初始时，采用以真实人数标记为中心的离散高斯分布来初始化每一个训练帧对应的人数分布，每个高斯分布具有相同的标准差；
步骤5，将最大熵模型与混合l2,1范式的正则化项结合起来生成目标函数，使用L-BFGS算法得到优化后的参数模型；
步骤6，考虑到相邻视频帧人数变化对当前帧人数标记模糊度的影响，利用多个近邻帧构建混合高斯模型来表示当前帧对应的人数分布，通过交替优化得到优化后的混合高斯模型；
步骤7，重复步骤5-6直至收敛，得到最优的最大熵模型参数；
步骤8，对于待统计的视频帧，首先根据步骤1-2得到视频帧的前景特征，然后根据步骤7训练得到的参数模型计算得到每一帧所对应的人数分布，该分布表示每个人数在该帧图像中所占的成分比，其中最大的标记成分比被认为是该视频帧对应的人数。


2.如权利要求1所述的基于混合高斯人数分布学习的室内人数统计方法，其特征在于：所述步骤1中，采用自回归模型得到初步的前景区域的方法是：令g(x,y,t)表示第t帧的位置处自回归模型的输出：



其中自回归系数C000表示当前帧差的权重，Ciju表示前T帧领域像素的权重，d(x,y,t)表示第t帧的(x,y)位置处的归一化图像的帧差，T表示自回归过程的时序控制帧数，R表示局部空间范围的大小；g(x,y,t)大于特定阈值的像素被视为前景。


3.如权利要求1所述的基于混合高斯人数分布学习的室内人数统计方法，其特征在于：所述步骤1中，在进行前景提取前，首先将视频的每一帧彩色图像...

【专利技术属性】
技术研发人员：耿新，凌妙根，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32