视频分析设备、方法和计算机程序产品技术

本公开涉及视频分析设备、方法和计算机程序产品。设备包括：前景提取部用于从输入视频中提取昆虫前景图像，以及三维姿态重建部，包括：特征点求解单元，用于从昆虫前景图像中计算初始特征点，并利用在昆虫前景图像中所标定的特征点生成特征点信号子空间，根据初始特征点和所标定的特征点、在特征点信号子空间的约束下训练迭代矩阵，以将迭代矩阵限制在特征点信号子空间上，通过对初始特征点利用所训练的迭代矩阵进行迭代，求解出每一视频帧中的昆虫身体最终特征点，以及姿态计算单元，通过昆虫身体最终特征点来重建昆虫的姿态。例如，本公开的实施例可以对昆虫三维特征的迭代过程进行自适应，有助于提高昆虫三维姿态重建的鲁棒性。

【技术实现步骤摘要】
视频分析设备、方法和计算机程序产品
本公开涉及视频分析领域，特别涉及通过视频分析对昆虫的特征进行自动识别。
技术介绍
动物行为学是生物学中的一个重要的研究方向。传统的动物行为学研究主要靠人工识别分析动物行为的强度，这样做不仅耗费人力与时间，还会因不同人对行为的主观标准不统一降低不同实验间的可比性。目前已存在一些对昆虫的行为视频进行自动分析的算法。然而，已有算法适用于比较理想的视频拍摄环境，难以应对例如生物学实验室等低成本拍摄条件下的视频噪声，鲁棒性不强。
技术实现思路
有鉴于此，本公开提出了视频分析设备、方法、计算机程序。根据本公开的一方面，提供了一种视频分析设备，所述设备包括：前景提取部，用于从输入视频中提取昆虫前景图像，以及三维姿态重建部，包括：特征点求解单元，用于从所述昆虫前景图像中计算初始特征点，并且利用在所述昆虫前景图像中所标定的特征点生成特征点信号子空间，根据所述初始特征点和所标定的特征点、在所述特征点信号子空间的约束下训练迭代矩阵，以将所述迭代矩阵限制在所述特征点信号子空间上，通过对所述初始特征点利用所训练的迭代矩阵进行迭代，求解出每一视频帧中的昆虫身体最终特征点，以及姿态本文档来自技高网...

【技术保护点】
一种视频分析设备，所述设备包括：前景提取部，用于从输入视频中提取昆虫前景图像，以及三维姿态重建部，包括：特征点求解单元，用于从所述昆虫前景图像中计算初始特征点，并且利用在所述昆虫前景图像中所标定的特征点生成特征点信号子空间，根据所述初始特征点和所标定的特征点、在所述特征点信号子空间的约束下训练迭代矩阵，以将所述迭代矩阵限制在所述特征点信号子空间上，通过对所述初始特征点利用所训练的迭代矩阵进行迭代，求解出每一视频帧中的昆虫身体最终特征点，以及姿态计算单元，所述姿态计算单元通过所述昆虫身体最终特征点来重建所述昆虫的姿态。

【技术特征摘要】
1.一种视频分析设备，所述设备包括：前景提取部，用于从输入视频中提取昆虫前景图像，以及三维姿态重建部，包括：特征点求解单元，用于从所述昆虫前景图像中计算初始特征点，并且利用在所述昆虫前景图像中所标定的特征点生成特征点信号子空间，根据所述初始特征点和所标定的特征点、在所述特征点信号子空间的约束下训练迭代矩阵，以将所述迭代矩阵限制在所述特征点信号子空间上，通过对所述初始特征点利用所训练的迭代矩阵进行迭代，求解出每一视频帧中的昆虫身体最终特征点，以及姿态计算单元，所述姿态计算单元通过所述昆虫身体最终特征点来重建所述昆虫的姿态。2.根据权利要求1所述的视频分析设备，其中，所述视频分析设备还包括视频预处理部，用于对所述输入视频进行预处理，以得到多个子视频，其中，所述视频预处理部包括：活动台估计单元，从所述输入视频中提取多个帧，估计所述多个帧中各昆虫活动台的位置、大小和出现各昆虫活动台的时刻，以及子视频生成单元，根据估计得到的所述各昆虫活动台的位置、大小和出现各昆虫活动台的时刻，对所述输入视频进行切割，以得到各自包含一个单独昆虫活动台的多个子视频，其中，所述前景提取部根据归一化后的多个子视频，提取所述昆虫前景图像。3.根据权利要求2所述的视频分析设备，其中，所述前景提取部包括：背景亮度畸变估计单元，用于划分所述子视频中的背景，昆虫翅膀估计单元，用于根据所述子视频的亮度畸变和初始昆虫翅膀阈值来获得昆虫整体二值图像，其中，针对所述多个帧中的各帧进行迭代，在迭代中，根据所述昆虫整体二值图像中的连通域面积，对所述初始昆虫翅膀阈值进行自适应调整，所述昆虫翅膀估计单元输出昆虫整体二值图像和自适应后的昆虫翅膀阈值，以及昆虫身体估计单元，接收所述昆虫整体二值图像，并且接收所述子视频、初始昆虫身体阈值和所述子视频中的已知的昆虫数量，其中，针对所述多个帧中的各帧进行迭代，在迭代中，所述昆虫身体估计单元根据所述子视频的亮度畸变使用所述初始昆虫身体阈值求出身体二值图像，并且根据身体二值图像中的连通域面积大小，对所述初始昆虫身体阈值进行自适应调整，以输出自适应后的昆虫身体阈值和根据自适应后的昆虫身体阈值所获得的昆虫身体二值图像。4.根据权利要求3所述的视频分析设备，其中，所述前景提取部还包括昆虫平均尺寸估计单元，用于根据所述子视频的亮度畸变和初始昆虫身体阈值来获得身体二值图像，与所述昆虫活动台中的昆虫的已知数量相对应地，在身体二值图像中针对昆虫的身体进行建模，以求出昆虫的平均尺寸；其中，所述昆虫平均尺寸估计单元在迭代中、所述子视频中的昆虫身体连通域的数量与所述昆虫的数量不同时，对所述子视频中的各像素的坐标进行聚类以求出昆虫的平均尺寸，以及所述昆虫平均尺寸估计单元根据昆虫的平均尺寸求出昆虫的平均身体面积，根据所述平均身体面积对所述昆虫前景图像中检测到的昆虫身体和翅膀的面积进行限制，从而对所述初始昆虫翅膀阈值和所述初始昆虫身体阈值进行自适应调整。5.根据权利要求3所述的视频分析设备，其中，所述特征点求解单元根据提取出的所述昆虫前景图像估计昆虫的姿态，其中，所述特征点求解单元使用所述昆虫身体二值图像估计昆虫的身体基本特征，根据所述身体基本特征以及昆虫所处的位置、方向或倾斜角度，计算昆虫身体初始特征点，并且根据所述昆虫整体二值图像估计昆虫翅膀初始特征点。6.根据权利要求3所述的视频分析设备，其中，所述姿态计算单元根据所述昆虫身体最终特征点来计算翅膀连接点的三维坐标，并且根据昆虫身体的建模，利用三角函数计算翅膀振翅角和翅膀倾角，来重建昆虫翅膀姿态。7.根据权利要求1所述的视频分析设备，其中，所述视频分析设备还包括行为识别部，所述行为识别部包括：特征分类单元，对所述昆虫的特征进行分类，其中，所述特征分类单元对所述昆虫的特征的训练样本进行白化，以使各特征在所述特征分类单元中的权重相同，以及行为分析单元，用于根据已标定行为和所述特征点求解单元得出的所述昆虫身体最终特征点，对所述特征分类单元进行训练，从而分析所述昆虫的行为。8.根据权利要求3所述的视频分析设备，其中，所述昆虫身体估计单元在如下情况时使昆虫身体阈值增大预定的自适应步长：检测到的昆虫身体连通域的数量大于所述子视频中的昆虫的数量、并且存在内部的所述昆虫身体连通域的数量不小于2的昆虫整体连通域。9.根据权利要求3所述的视频分析设备，其中，所述背景亮度畸变估计单元包括精确估计单元，所述精确估计单元以初始视频亮度畸变值作为阈值对所述子视频进行二值化，在所得到的活动台二值图像中求出各连通域，并且选择大于特定阈值的连通域...

【专利技术属性】
技术研发人员：谷源涛，车向前，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11