视频理解方法及装置制造方法及图纸

本发明专利技术提供了一种视频理解方法及装置，所述视频理解方法包括：获取视频数据；对所获取的视频数据进行场景深度估计；以及基于所述场景深度估计的结果进行场景内容理解。根据本发明专利技术实施例的视频理解方法及装置通过对场景的深度进行估计，依据场景的深度信息来对场景内容进行分析和理解，能够高效、准确地识别和定位视频内容中的物体。

【技术实现步骤摘要】
视频理解方法及装置
本专利技术涉及视频处理
，更具体地涉及一种视频理解方法及装置。
技术介绍
视频数据的结构化，通过对视频内容的智能理解，对于视频广告、智能安防等都有着非常重要的价值。比如，对于互联网上的视频内容(比如电视节目)，通过视频的智能化处理，可以得到一些视频中物体的集合(比如在某汽车在视频的第t帧的某个位置开始出现，直到t+k帧结束，其中t和k为自然数)。可以通过对视频内容的理解，来进行广告的链接。另一方面，在安防场景中，比如某辆自行车丢失，可以通过视频的结构化数据找到这辆自行车，然后锁定其被某人偷取的某个时刻。对视频的智能理解的应用远远不限于上述的例子。目前视频内容的理解往往通过人力来完成。但是当视频数据量随着摄像头数量的爆发式增长而极速增加时，通过人力来完成对视频数据的理解和挖掘已经不可行了。现有的智能算法往往直接对视频内容进行分析和理解，但是当视频场景比较嘈杂的时候，往往很难准确地定位出视频内容中的物体。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种视频理解方法及装置，其通过对场景的深度进行估计，依据场景的深度信息来对场景的背景信息进行分析和本文档来自技高网...

【技术保护点】
一种视频理解方法，其特征在于，所述视频理解方法包括：获取视频数据；对所获取的视频数据进行场景深度估计；以及基于所述场景深度估计的结果进行场景内容理解。

【技术特征摘要】
1.一种视频理解方法，其特征在于，所述视频理解方法包括：获取视频数据；对所获取的视频数据进行场景深度估计；以及基于所述场景深度估计的结果进行场景内容理解。2.根据权利要求1所述的视频理解方法，其特征在于，所述视频理解方法还包括：在获取所述视频数据后对所述视频数据进行多尺度操作，并且所述场景深度估计和所述场景内容理解在多个尺度上进行；以及将多个尺度上的场景内容理解结果进行融合。3.根据权利要求1或2所述的视频理解方法，其特征在于，所述场景深度估计进一步包括：对所述视频数据中的至少一帧进行特征提取；以及基于所提取的特征进行视频序列整合以得到场景深度信息。4.根据权利要求3所述的视频理解方法，其特征在于，所述特征提取利用第一卷积神经网络实现，所述视频序列整合利用第一时序神经网络实现。5.根据权利要求4所述的视频理解方法，其特征在于，所述第一卷积神经网络通过将训练好的标准卷积神经网络剔除全连接层后得到。6.根据权利要求5所述的视频理解方法，其特征在于，所述第一卷积神经网络还包括损失层，以用于实现网络正则化。7.根据权利要求3所述的视频理解方法，其特征在于，所述视频序列整合包括空间信息整合和时间信息整合。8.根据权利要求4所述的视频理解方法，其特征在于，所述第一时序神经网络包括第一循环神经网络和第二循环神经网络，其中，所述基于所提取的特征进行视频序列整合以得到场景深度信息包括：利用所述第一循环神经网络，基于所提取的特征整合空间上的背景信息；利用所述第二循环神经网络，基于时间轴上的信息对所述第一循环神经网络的输出进行平滑，以得到场景深度信息。9.根据权利要求8所述的视频理解方法，其特征在于，所述第二循环神经网络的输出包括深度图，其中所述深度图上的每个点表示该像素点对应的物体到摄像头的距离。10.根据权利要求1至9任一项所述的视频理解方法，其特征在于，所述场景内容理解进一步包括：基于所述视频数据和所述场景深度估计的结果对场景进行分析，以得到像素级的类别输出；以及基于所述像素级的类别输出进行空间信息整合和时间信息整合。11.根据权利要求10所述的视频理解方法，其特征在于，所述对场景的分析利用第二卷积神经网络实现，所述空间信息整合和时间信息整合利用第二时序神经网络实现。12.根据权利要求11所述的视频理解方法，其特征在于，所述第二时序神经网络包括第三循环神经网络和第四循环神经网络，其中，所述基于所述像素级的类别输出进行空间信息整合和时间信息整合包括：利用所述第三循环神经网络，基于所述像素级的类别输出进行空间信息的整合；利用所述第四循环神经网络，基于时间轴上的信息对所述第三循环神经网络的输出进行时间信息整合，以得到场景内容理解结果。13.根据权利要求2所述的视频理解方法，其特征在于，所述将多个尺度上的场景内容理解结果进行融合包括：利用第三卷积神经网络对多个尺度上的场景内容理解结果进行融合。14.根据权利要求1所述的视频理解方法，其特征在于，所述基于所述场景深度估计的结果进行场景内容理解包括：基于所述场景深度估计的结果以及前一帧的场景内容理解结果，进行当前帧的场景内容理解。15.一种视频理解装置，其特征在于，所述视频理解装置包括：数据获取模块，用于获取视频数据；场景深度估计模块，用于对所获取的视频数据进行场景深度估计；以及场景内容理解...

【专利技术属性】
技术研发人员：俞刚，李超，何奇正，陈牧歌，彭雨翔，吕凯风，印奇，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11