用于预测人群属性的系统和方法技术方案

公开了一种用于预测人群属性的系统，包括：特征提取装置，其获得具有人群场景的视频并从所获得的视频中提取外观特征和运动特征，其中运动特征是独立于场景的并且指示视频中的人群的运动属性；以及预测装置，其与特征提取装置电通信并基于所提取的运动特征和所提取的外观特征来预测视频中的人群的属性。

Systems and methods used to predict population attributes

Disclosed is a system for forecasting, population attributes include: feature extraction device, which has the crowd scene video and video are extracted from the obtained appearance feature and motion feature, the motion feature is independent of scene and indicates the video of the crowd moving attributes; and prediction means, and its properties feature extraction device in electrical communication and to predict the video of the crowd based on the appearance characteristic of the motion of the extracted features and the extraction of.

【技术实现步骤摘要】
【国外来华专利技术】用于预测人群属性的系统和方法
本公开涉及用于预测人群属性的系统及其方法。
技术介绍
在过去的十年里，人群分析领域已从拥挤的场景理解有了惊人的演变，包括人群行为分析、人群跟踪和人群分割。这一进步很大程度上是由人群数据库的创建以及用于剖析人群固有属性的新颖稳健的特征和模型引发的。以上关于人群理解的绝大多数研究是针对特定场景的，即人群模型是从特定场景习得的且因此在描述其他场景方面的概括性较差。属性对特征化跨场景的通用属性方面特别有效。近年来，在将对象、面部、动作和场景的基于属性的表示作为类别表示的替代例或其补充方面的研究引起了人们极大的关注，因为它们是通过若干属性来特征化目标主体而非区别性地分配到单个特定类别中，该单个特定类别太受限制以至于不能描述目标主体的本性。此外，科学研究已表明，不同的人群系统共享类似的原理，这些原理可以以一些共同特性或属性为特征。实际上，属性可以表达人群视频中的更多内容，因为它们可以通过回答“谁在人群中？”、“人群在哪里？”和“这里是什么人群？”来描述视频，而不只是定义该视频的类别场景标签或事件标签。例如，与类别标签(如“合唱团”)形成对比，基于属性的表示可将人群视本文档来自技高网...

【技术保护点】
一种用于预测人群属性的系统，包括：特征提取装置，其获得具有人群场景的视频并从所获得的视频中提取外观特征和运动特征，其中所述运动特征是独立于场景的并且指示所述视频中的人群的运动属性；以及预测装置，其与所述特征提取装置电通信并基于所提取的运动特征和所提取的外观特征来预测所述视频中的所述人群的属性。

【技术特征摘要】
【国外来华专利技术】1.一种用于预测人群属性的系统，包括：特征提取装置，其获得具有人群场景的视频并从所获得的视频中提取外观特征和运动特征，其中所述运动特征是独立于场景的并且指示所述视频中的人群的运动属性；以及预测装置，其与所述特征提取装置电通信并基于所提取的运动特征和所提取的外观特征来预测所述视频中的所述人群的属性。2.根据权利要求1所述的系统，其中所述特征提取装置进一步包括运动特征提取单元，所述运动特征提取单元包括：跟踪片段检测模块(1021)，其检测在所述视频的每个帧中所述人群的短轨迹；运动图确定模块(1022)，其计算每个所述短轨迹与其相邻短轨迹之间的物理关系以确定在所述视频的每个帧中所述人群的一个或多个运动分布；以及连续运动通道生成模块(1023)，其在时域中对所确定的运动分布进行平均，并将一个或多个稀疏的短轨迹点内插到已被平均化的分布中以形成一个或多个连续运动通道，从而形成所述运动特征。3.根据权利要求2所述的系统，其中所述运动分布至少包括以下至少之一：集体性分布，其指示在整个场景中个体以集体运动而表现一致的程度，稳定性分布，其指示所述整个场景是否能够保持所述整个场景中的人群的拓扑结构，以及冲突分布，其指示所述场景中的人群的每一对最相邻短轨迹之间的互动/冲突。4.根据权利要求1所述的系统，其中所预测的属性至少指示所述人群中的人的角色、所述人群的地点、和所述的人为什么在所述人群中的原因。5.根据权利要求1到4中任一项所述的系统，其中所述预测装置配置有卷积神经网络，所述卷积神经网络具有：第一分支，其用于接收具有人群场景的视频的运动特征，其中所述第一分支配置有用于从所接收的运动特征来预测人群属性的第一神经网络；以及第二分支，其用于接收具有人群场景的视频的外观特征，其中所述第二分支配置有用于从所接收的外观特征来预测人群属性的第二神经网络，其中，从所述第一分支的预测的人群属性和从所述第二分支预测的人群属性融合在一起，以输出对所述视频中的所述人群的所述属性的预测。6.根据权利要求5所述的系统，其进一步包括训练装置，所述训练装置用于通过以下步骤来训练所述第二神经网络：随机地初始化所述第二神经网络的参数；计算所述第二神经网络中的所述参数的损失；基于所计算的损失来计算关于所有所述参数的梯度；通过使用一个前置学习率与对应的所述梯度的乘积来更新所述参数；确定是否满足停止条件；如果不满足，则返回到所述计算的步骤。7.根据权利要求6所述的系统，其中所述训练装置通过以下步骤来训练所述第一神经网络：用预训练的数据集来初始化所述第一神经网络的参数；计算所述第一神经网络中的所述参数的损失；基于所计算的损失来计算关于所有所述参数的梯度；通过使用一个前置学习率与所述对应梯度的乘积来更新所述参数；确定是否满足停止条件；如果不满足，则返回到所述计算的步骤。8.根据权利要求7所述的系统，其中，经过训练的所述第一神经网络和经过训练的所述第二神经网络连接在一起，所述训练装置进一步将微调集输入到被连接的这两个网络中，以对所连接的网络进行微调。9.一种用于理解人群场景的方法，其包括：获得具有人群场景的视频；从所获得的视频中提取外观特征和运动特征，其中所述运动特征是独立于场景的并且指示所述视频中的人群的运动属性；以及基于所提取的运动特征和提取的外观特征来预测所述视频中的所述人群的属性。10.根据权利要求9所述的方法，其中，所述提取进一步包括：检测所述视频帧中的所述人群的短轨迹；计算每个所述短轨迹与其相邻短轨迹之间的物理关系以确定在所述视频的每个帧中所述人群的一个或多个运动分布；以及在时域中对所确定的运动分布进行平均，并将一个或多个稀疏的短轨迹点内插到已被平均化的分布中以形成一个或多个连续运动通道，...

【专利技术属性】
技术研发人员：王晓刚，吕健勤，邵婧，康恺，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11