智能视频监控系统和方法技术方案

一种方法可以包括获取由视觉传感器采集的视频，该视频包括至少两个帧，并且在所述至少两个帧的至少一部分中检测所述视频的一个或多个对象。该方法还可以包括使用训练后的自学习模型确定与一个或多个对象相关联的第一检测结果。该方法还可以包括至少部分地基于第一检测结果，从一个或多个对象中选择目标感兴趣运动对象。训练后的自学习模型可以基于视觉传感器采集的至少两个训练样本来提供。

【技术实现步骤摘要】
【国外来华专利技术】智能视频监控系统和方法交叉引用本申请要求2018年10月25日提交的美国临时申请号62/750795和62/750797的优先权，其内容均通过引用并入本文。
本申请一般涉及用于视频监控系统的系统和方法，更具体地涉及用于智能运动检测系统和方法。
技术介绍
视频监控系统已广泛应用于各种环境，如建筑物、地铁站、机场、城市街道、车辆等。视频监控系统通常包括用于捕获视频的多个摄像机。捕获的视频通常由观察者或用户核查，以检测环境中发生的情况和/或监视环境中对象的行为。然而，在某些情况下，相机是长时间录制，因此需要观察者或用户花费长时间才能查看视频，以便不错过重要信息。随着视频监控系统和摄像机的多样性，人们对视频的审查既不经济也不高效。但是，目前的自动检测系统不准确和/或昂贵。因此，期望能够提供视频监控和分析系统，能够高效且有效地识别采集视频中的对象，了解视频中对象(和/或对象的行为)之间发生了什么，并且基于观察生成警报或通知。
技术实现思路
根据本申请的一个方面，提供了一种用于视频监控系统。该系统可以包括一个存储设备，所述存储设备存储一组指令；以及至少一个处理器，所述至少一个处理器被配置为与所述存储设备通信，其中，当执行所述一组指令时，所述至少一个处理器用于引起所述系统执行以下操作。该系统可以获取由视觉传感器采集的视频，所述视频包括至少两个帧。该系统可以在所述至少两个帧的至少一部分中检测所述视频中的一个或多个对象。该系统可以使用训练后的自学习模型确定与所述一个或多个对象相关联的第一检测结果。该系统可以至少部分地基于所述第一检测结果，从所述一个或多个对象中选择目标感兴趣运动对象。所述训练后的自学习模型基于所述视觉传感器采集的至少两个训练样本来提供。在一些实施例中，所述至少一个处理器用于引起所述系统执行以下操作：使用对象检测模型检测所述视频中的一个或多个对象。在一些实施例中，所述对象检测模型基于深度学习模型构建。在一些实施例中，为了至少部分地基于所述第一检测结果，从所述一个或多个对象中选择目标感兴趣运动对象，所述至少一个处理器用于引起所述系统执行以下操作。该系统可以基于至少两个帧的至少一部分确定与一个或多个对象相关联的一个或多个行为特征。该系统可以基于与所述一个或多个对象中的每一个对象相关联的一个或多个行为特征，确定与所述一个或多个对象中的每一个对象相关联的第二检测结果。该系统可以基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象。在一些实施例中，为了基于所述至少两个帧的至少一部分，确定与所述一个或多个对象相关联的一个或多个行为特征，该系统可以基于所述至少两个帧的至少一部分和在上一次校准中确定的视觉传感器的先前校准模型，确定所述一个或多个行为特征。在一些实施例中，所述一个或多个对象的所述一个或多个行为特征包括速度、加速度、轨迹、运动幅度、方向、运动频率或语音信息中的至少一个。在一些实施例中，所述训练后的自学习模型由一个过程生成，所述过程可以包括获取至少两个训练样本。所述至少两个训练样本中的每个训练样本可以包括由所述视觉传感器采集的历史视频。所述过程可以包括从所述至少两个训练样本中的每一个训练样本检测所述历史视频中的一个或多个运动对象。所述过程可以包括使用与检测到的所述一个或多个运动对象相关联的信息训练自学习模型以获得所述训练后的自学习模型。在一些实施例中，与所述检测到的一个或多个运动对象相关联的信息包括以下中的至少一个：所述检测到的一个或多个运动对象被所述历史视频记录时的时间信息；与所述检测到的一个或多个运动对象相关的空间信息；所述检测到的一个或多个运动对象被所述历史视频记录时的天气信息；或者所述检测到的一个或多个运动对象的运动信息。在一些实施例中，所述训练后的自学习模型包括第一部分和第二部分，所述第一部分与不同场景的参考知识相关，所述第二部分与从所述训练后的自学习模型的训练过程中生成的经学习的知识相关。在一些实施例中，所述不同场景的参考知识可以包括出现在所述不同场景中的每个场景中的一个或多个对象的特征。在一些实施例中，所述第一检测结果可以包括一个或多个第一候选感兴趣运动对象，所述第二检测结果可以包括一个或多个第二候选感兴趣运动对象，以及为了基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象，所述至少一个处理器用于引起所述系统执行以下操作。该系统可以从所述一个或多个第一候选感兴趣运动对象和所述一个或多个第二候选感兴趣运动对象中指定一个相同的候选感兴趣运动对象作为所述目标感兴趣运动对象。在一些实施例中，所述第一检测结果可以包括所述一个或多个对象中的每一个对象是感兴趣运动对象的第一概率，所述第二检测结果可以包括所述一个或多个对象中的每一个对象是感兴趣运动对象的第二概率，并且为了基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象，该系统可以指定具有超过第一阈值的第一概率和超过第二阈值的第二概率的运动对象作为所述目标感兴趣运动对象。在一些实施例中，该系统可以响应于从所述视频中检测到所述目标感兴趣运动对象，生成与所述目标感兴趣运动对象的检测相关的反馈。该系统可以将所述与目标感兴趣运动对象的检测相关的反馈发送到终端。在一些实施例中，所述第一检测结果可以包括一个或多个第一候选感兴趣运动对象，所述第二检测结果可以包括一个或多个第二候选感兴趣运动对象，并且为了基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象。该系统可以从所述一个或多个第一候选感兴趣运动对象和所述一个或多个第二候选感兴趣运动对象中指定一个相同的候选感兴趣运动对象作为所述目标感兴趣运动对象。在一些实施例中，所述第一检测结果可以包括所述一个或多个对象中的每一个对象是感兴趣运动对象的第一概率，所述第二检测结果可以包括所述一个或多个对象中的每一个对象是感兴趣运动对象的第二概率，并且为了基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象，所述至少一个处理器用于引起所述系统执行以下操作。该系统可以指定具有超过第一阈值的第一概率和超过第二阈值的第二概率的运动对象作为所述目标感兴趣运动对象。在一些实施例中，所述至少一个处理器可以用于引起所述系统执行其他操作。响应于从所述视频中检测到目标感兴趣对象，所述至少一个处理器可以用于引起所述系统生成与目标感兴趣对象的检测有关的反馈。所述至少一个处理器可以用于引起所述系统将所述与目标感兴趣运动对象的检测相关的反馈发送到终端。在一些实施例中，所述至少一个处理器可以用于引起所述系统执行其他操作。响应于对所述视频中的一个或多个对象的至少一部分中的每一个对象的检测，所述至少一个处理器可以用于引起所述系统生成候选反馈，其中每个候选反馈与所述一个或多个对象中的一个对象的检测有关。所述至少一个处理器可以用于引起所述系统基于所述第一检测结果和所述第二检测本文档来自技高网...

【技术保护点】
1.一个系统，包括：/n一个存储设备，所述存储设备存储一组指令；以及/n至少一个处理器，所述至少一个处理器被配置为与所述存储设备通信，其中，当执行所述一组指令时，所述至少一个处理器用于引起所述系统执行以下操作：/n获取由视觉传感器采集的视频，所述视频包括至少两个帧；/n在所述至少两个帧的至少一部分中检测所述视频中的一个或多个对象；/n使用训练后的自学习模型确定与所述一个或多个对象相关联的第一检测结果；以及/n至少部分地基于所述第一检测结果，从所述一个或多个对象中选择目标感兴趣运动对象，其中，所述训练后的自学习模型基于所述视觉传感器采集的至少两个训练样本来提供。/n

【技术特征摘要】
【国外来华专利技术】20181025 US 62/750,795;20181025 US 62/750,7971.一个系统，包括：
一个存储设备，所述存储设备存储一组指令；以及
至少一个处理器，所述至少一个处理器被配置为与所述存储设备通信，其中，当执行所述一组指令时，所述至少一个处理器用于引起所述系统执行以下操作：
获取由视觉传感器采集的视频，所述视频包括至少两个帧；
在所述至少两个帧的至少一部分中检测所述视频中的一个或多个对象；
使用训练后的自学习模型确定与所述一个或多个对象相关联的第一检测结果；以及
至少部分地基于所述第一检测结果，从所述一个或多个对象中选择目标感兴趣运动对象，其中，所述训练后的自学习模型基于所述视觉传感器采集的至少两个训练样本来提供。


2.根据权利要求1所述的系统，其特征在于，为了在所述至少两个帧的至少一部分中检测所述视频中的一个或多个对象，所述至少一个处理器用于引起所述系统执行以下操作：
使用对象检测模型检测所述视频中所述的一个或多个对象。


3.根据权利要求2所述的系统，其特征在于，所述对象检测模型基于深度学习模型构建。


4.如权利要求1至3中任一项所述的系统，其中，为了至少部分地基于所述第一检测结果，从所述一个或多个对象中选择目标感兴趣运动对象，所述至少一个处理器用于引起所述系统执行以下操作：
基于所述至少两个帧的至少一部分，确定与所述一个或多个对象相关联的一个或多个行为特征；
基于与所述一个或多个对象中的每一个对象相关联的一个或多个行为特征，确定与所述一个或多个对象中的每一个对象相关联的第二检测结果；以及
基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象。


5.根据权利要求4所述的系统，其中，为了基于所述至少两个帧的至少一部分，确定与所述一个或多个对象相关联的一个或多个行为特征，所述至少一个处理器用于引起所述系统执行以下操作：
基于所述至少两个帧的至少一部分和在上一次校准中确定的视觉传感器的先前校准模型，确定所述一个或多个行为特征。


6.根据权利要求4或5所述的系统，其特征在于，所述一个或多个对象的所述一个或多个行为特征包括速度、加速度、轨迹、运动幅度、方向、运动频率或语音信息中的至少一个。


7.根据权利要求1至6中任一权利要求所述的系统，其特征在于，所述训练后的自学习模型由一个过程生成，所述过程包括：
获取至少两个训练样本，所述至少两个训练样本中的每个训练样本包括由所述视觉传感器采集的历史视频；
从所述至少两个训练样本中的每一个训练样本检测所述历史视频中的一个或多个运动对象；以及
使用与检测到的一个或多个运动对象相关联的信息训练自学习模型以获得所述训练后的自学习模型。


8.根据权利要求7所述的系统，其特征在于，与所述检测到的一个或多个运动对象相关联的信息包括以下中的至少一个：
所述检测到的一个或多个运动对象被所述历史视频记录时的时间信息；
与所述检测到的一个或多个运动对象相关的空间信息；
所述检测到的一个或多个运动对象被所述历史视频记录时的天气信息；或者
所述检测到的一个或多个运动对象的运动信息。


9.根据权利要求1至8中任一权利要求所述的系统，其特征在于，所述训练后的自学习模型包括第一部分和第二部分，所述第一部分与不同场景的参考知识相关，所述第二部分与从所述训练后的自学习模型的训练过程中生成的经学习的知识相关。


10.根据权利要求9所述的系统，其特征在于，所述不同场景的参考知识包括出现在所述不同场景中的每个场景中的一个或多个对象的特征。


11.如权利要求4至10中任一权利要求所述的系统，其特征在于，所述第一检测结果包括一个或多个第一候选感兴趣运动对象，所述第二检测结果包括一个或多个第二候选感兴趣运动对象，以及为了基于所述第一检测结果和所述第二检测结果，从所述一个或多个对象中确定所述目标感兴趣运动对象，所述至少一个处理器用于引起所述系统执行以下操作：
从所述一个或多个第一候选感兴趣运动对象和所述一个或多个第二候选感兴趣运动对象中指定一个相同的候选感兴趣运动对象作为所述目标感兴趣运动对象。


12.根据权利要求4至10中任一权利要求所述的系统，其特征在于，所述第一检测结果...

【专利技术属性】
技术研发人员：张忠，
申请(专利权)人：上海趋视信息科技有限公司，
类型：发明
国别省市：上海;31