多视角无标记动物的三维姿态轨迹重建方法及装置制造方法及图纸

本发明专利技术公开了一种多视角无标记动物的三维姿态轨迹重建方法及装置，其中，方法包括：S1：搭建多视角采集系统，采集动物自由运动视频；S2：训练深度学习模型；S3：对当前帧各个视角进行动物目标检测；S4：对每个检测出的动物提取二维关键点；S5：使用迭代极大团算法将不同视角的动物关联为若干个聚类；S6：在每个聚类中求解动物的三维姿态；S7：对每一帧，重复步骤S3‑S6；S8：在时域上对前后两帧动物三维姿态进行跟踪，得到多个动物的姿态轨迹。该方法可以有效解决现有技术中没有对动物进行无标记三维姿态轨迹重建的方法的问题。

【技术实现步骤摘要】
多视角无标记动物的三维姿态轨迹重建方法及装置
本专利技术涉及计算机视觉与动物行为学
，特别涉及一种多视角无标记动物的三维姿态轨迹重建方法及装置。
技术介绍
随着计算机技术的普及和发展，计算行为学逐渐取代传统的行为学成为新的动物行为研究范式。计算行为学，即利用感知设备和计算设备，自动化地捕捉动物的姿态轨迹，得到数字化的、无人为认知偏差的行为数据，从而应用于行为模式挖掘与分类，辅助脑科学研究、系统神经科学研究以及疾病研究。现有多数动物姿态轨迹重建的方法使用RFID(射频识别)来完成长时间的特定对象识别与跟踪。还有一些方法使用单个深度相机来捕捉2.5维图像数据(二维图像+视角深度信息)进行姿态分析。上述两类方法要么对动物本身有侵害(RFID需要植入射频芯片)，要么受到观察视场角的限制，难以应用于较大的哺乳动物的姿态捕捉。另外，多视角系统作为无标记运动捕捉系统的典型方案，已经在多人体姿态跟踪上取得了良好效果。然而，无标记地对动物进行长时间三维姿态重建仍是一个未解决的问题。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种多视角无标记动物的三维姿态轨迹重建方法，该方法可以有效解决现有技术中没有对动物进行无标记三维姿态轨迹重建的方法的问题。本专利技术的另一个目的在于提出一种多视角无标记动物的三维姿态轨迹重建装置。为达到上述目的，本专利技术一方面实施例提出了一种多视角无标记动物的三维姿态轨迹重建方法，包括以下步骤：步骤S1：采集动物自由运动视频；步骤S2：在所述动物自由运动视频中随机挑选若干帧，标注动物边框和关键点，以训练目标检测神经网络和关键点检测神经网络；步骤S3：将每个视角图像输入到所述目标检测神经网络中，得到对应视角下每个检测出的动物的边框；步骤S4：将每个检测出的动物利用边框切割出包含该动物的子图，对子图使用关键点检测神经网络，得到该动物的每个关键点的二维位置，并求解得到二维位置在原图中的像素坐标；步骤S5：同一聚类在每个视角上至多包含一个动物检测结果，同一聚类里的检测对应同一只动物；步骤S6：在每个聚类中，利用多视角二维关键点拟合可驱动的动物表面模型，得到该动物的三维姿态；步骤S7：对每一帧，重复步骤S3-S6；步骤S8：在时域上对前后两帧动物三维姿态进行跟踪，得到多个动物的姿态轨迹。本专利技术实施例的多视角无标记动物的三维姿态轨迹重建方法，实现了在稀疏多视角(不超过10个视角)采集条件下，多只(不少于4只)同种动物(比如小叔、小猪、猴子等动物)在同一饲养或社交环境下的长时序(不少于1小时，可长达数天)三维姿态轨迹重建，从而可以有效解决现有技术中没有对动物进行无标记三维姿态轨迹重建的方法的问题。另外，根据本专利技术上述实施例的多视角无标记动物的三维姿态轨迹重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1包括：获得相机的内参和外参；对动物自由运动视频的原始数据进行同步或不同步，或者对于不同的视频后期进行人工同步；对视频在线处理，或者导出存储至本地的视频进行后续处理。进一步地，在本专利技术的一个实施例中，所述步骤S5包括：S51：将每个视角下检测出的动物视为图G1的顶点，在图G1中，同一视角下的顶点不连边，不同视角下的任意两个顶点连有带权重的边，边的权重为两顶点对应的动物所有有效关键点的对极距离的平均；S52：给定对极距离的阈值，删除权重大于该阈值的边，得到一个稀疏的图G2；S53：在图G2中，使用极大团枚举算法枚举所有的极大团，对每个极大团C计算损失函数f(C)＝E(C)+λp(C)，E(C)为C中所有边的权重的平均，p(C)是对C的顶点数量的惩罚项，C的顶点数量越多，p(C)越小，λ是平衡因子，是正实数；S54：找到损失函数最小的极大团，将其取出到集合Θ中；S55：对更新后的G2，重复步骤S52-S54，直到最大的极大团包含的顶点数小于2。进一步地，在本专利技术的一个实施例中，所述步骤S6中的可驱动的动物表面模型为对应于所观测的动物类型手动设计的动物模型，其中，所述模型包含表面顶点和三角面片、嵌入的骨架si,、骨架到表面顶点的蒙皮系数、表面顶点到骨架的回归系数，其中，1≤i≤N，N为嵌入骨架的点数；所述模型由骨架的旋转角θi驱动，每个θi为三维向量，代表自由度为3的旋转，将所有θi作为所述模型的驱动参数θ，每个骨架点的坐标未θ的函数si(θ)，则对于该聚类中的关键点1≤k≤J，J为关键点数量，最小化目标函数其中ik为模型骨架点对应第i个关键点的序号，πc为第c个视角的投影变换矩阵，w为正则项权重系数，通过最小化E(θ)，得到经过模型约束后的三维关键点作为该动物的三维姿态。进一步地，在本专利技术的一个实施例中，在所述步骤S8中，前后两帧时域跟踪使用两帧时间三维姿态的平均欧式距离作为判据，使用匈牙利算法求解前后两帧的最优匹配。为达到上述目的，本专利技术另一方面实施例提出了一种多视角无标记动物的三维姿态轨迹重建装置，包括：采集模块，用于采集动物自由运动视频；训练模块，用于在所述动物自由运动视频中随机挑选若干帧，标注动物边框和关键点，以训练目标检测神经网络和关键点检测神经网络；检测模块，用于将每个视角图像输入到所述目标检测神经网络中，得到对应视角下每个检测出的动物的边框；提取模块，用于将每个检测出的动物利用边框切割出包含该动物的子图，对子图使用关键点检测神经网络，得到该动物的每个关键点的二维位置，并求解得到二维位置在原图中的像素坐标；关联模块，用于同一聚类在每个视角上至多包含一个动物检测结果，同一聚类里的检测对应同一只动物；求解模块，用于在每个聚类中，利用多视角二维关键点拟合可驱动的动物表面模型，得到该动物的三维姿态；重复模块，用于对每一帧，重复步骤检测模块、提取模块、关联模块和求解模块；跟踪模块，用于在时域上对前后两帧动物三维姿态进行跟踪，得到多个动物的姿态轨迹。本专利技术实施例的多视角无标记动物的三维姿态轨迹重建装置，实现了在稀疏多视角(不超过10个视角)采集条件下，多只(不少于4只)同种动物(比如小叔、小猪、猴子等动物)在同一饲养或社交环境下的长时序(不少于1小时，可长达数天)三维姿态轨迹重建，从而可以有效解决现有技术中没有对动物进行无标记三维姿态轨迹重建的方法的问题。另外，根据本专利技术上述实施例的多视角无标记动物的三维姿态轨迹重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述采集模块进一步用于获得相机的内参和外参；对动物自由运动视频的原始数据进行同步或不同步，或者对于不同的视频后期进行人工同步；对视频在线处理，或者导出存储至本地的视频进行后续处理。进一步地，在本专利技术的一个实施例中，所述关联模块进一步用于将每个视角下检测出的动物视为图G1的顶点，在图G1中，同一视角下的顶点不连边，不同视角下的任意两个顶点连有带权重的边，边的权重为两顶点对应的动物所有有效关键点的对极距离的平均；给定对极距离的阈值，删除权重大于该阈值的边，得到一本文档来自技高网...

【技术保护点】
1.一种多视角无标记动物的三维姿态轨迹重建方法，其特征在于，包括以下步骤：/n步骤S1：采集动物自由运动视频；/n步骤S2：在所述动物自由运动视频中随机挑选若干帧，标注动物边框和关键点，以训练目标检测神经网络和关键点检测神经网络；/n步骤S3：将每个视角图像输入到所述目标检测神经网络中，得到对应视角下每个检测出的动物的边框；/n步骤S4：将每个检测出的动物利用边框切割出包含该动物的子图，对子图使用关键点检测神经网络，得到该动物的每个关键点的二维位置，并求解得到二维位置在原图中的像素坐标；/n步骤S5：同一聚类在每个视角上至多包含一个动物检测结果，同一聚类里的检测对应同一只动物；/n步骤S6：在每个聚类中，利用多视角二维关键点拟合可驱动的动物表面模型，得到该动物的三维姿态；/n步骤S7：对每一帧，重复步骤S3-S6；/n步骤S8：在时域上对前后两帧动物三维姿态进行跟踪，得到多个动物的姿态轨迹。/n

【技术特征摘要】
1.一种多视角无标记动物的三维姿态轨迹重建方法，其特征在于，包括以下步骤：
步骤S1：采集动物自由运动视频；
步骤S2：在所述动物自由运动视频中随机挑选若干帧，标注动物边框和关键点，以训练目标检测神经网络和关键点检测神经网络；
步骤S3：将每个视角图像输入到所述目标检测神经网络中，得到对应视角下每个检测出的动物的边框；
步骤S4：将每个检测出的动物利用边框切割出包含该动物的子图，对子图使用关键点检测神经网络，得到该动物的每个关键点的二维位置，并求解得到二维位置在原图中的像素坐标；
步骤S5：同一聚类在每个视角上至多包含一个动物检测结果，同一聚类里的检测对应同一只动物；
步骤S6：在每个聚类中，利用多视角二维关键点拟合可驱动的动物表面模型，得到该动物的三维姿态；
步骤S7：对每一帧，重复步骤S3-S6；
步骤S8：在时域上对前后两帧动物三维姿态进行跟踪，得到多个动物的姿态轨迹。


2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：
获得相机的内参和外参；
对动物自由运动视频的原始数据进行同步或不同步，或者对于不同的视频后期进行人工同步；
对视频在线处理，或者导出存储至本地的视频进行后续处理。


3.根据权利要求1所述的方法，其特征在于，所述步骤S5包括：
S51：将每个视角下检测出的动物视为图G1的顶点，在图G1中，同一视角下的顶点不连边，不同视角下的任意两个顶点连有带权重的边，边的权重为两顶点对应的动物所有有效关键点的对极距离的平均；
S52：给定对极距离的阈值，删除权重大于该阈值的边，得到一个稀疏的图G2；
S53：在图G2中，使用极大团枚举算法枚举所有的极大团，对每个极大团C计算损失函数f(C)＝E(C)+λp(C)，E(C)为C中所有边的权重的平均，p(C)是对C的顶点数量的惩罚项，C的顶点数量越多，p(C)越小，λ是平衡因子，是正实数；
S54：找到损失函数最小的极大团，将其取出到集合Θ中；
S55：对更新后的G2，重复步骤S52-S54，直到最大的极大团包含的顶点数小于2。


4.根据权利要求1所述的方法，其特征在于，所述步骤S6中的可驱动的动物表面模型为对应于所观测的动物类型手动设计的动物模型，其中，
所述模型包含表面顶点和三角面片、嵌入的骨架si，、骨架到表面顶点的蒙皮系数、表面顶点到骨架的回归系数，其中，1≤i≤N，N为嵌入骨架的点数；
所述模型由骨架的旋转角θi驱动，每个θi为三维向量，代表自由度为3的旋转，将所有θi作为所述模型的驱动参数θ，每个骨架点的坐标未θ的函数si(θ)，则对于该聚类中的关键点1≤k≤J，J为关键点数量，最小化目标函数其中ik为模型骨架点对应第i个关键点的序号，πc为第c个视角的投影变换矩阵，w为正则项权重系数，通过最小化E(θ)，得到经过模型约束后的三维关键点作为该动物的三维姿态。


5.根据权利要求1所述的方法，其特征在于，在所述步骤S8中，前后两帧时域跟踪使用两帧时间三维姿态的平均欧式距离作为判据，使用匈牙利算法求解前后两帧的...

【专利技术属性】
技术研发人员：刘烨斌，安亮，王松涛，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11