模式生物的视频动作分析方法、装置、设备及介质制造方法及图纸

本申请涉及生物影像处理技术领域，特别涉及一种模式生物的视频动作分析方法、装置、设备及介质，其中，方法包括：获取目标模式生物的待分析影像；将待分析影像输入至预先训练完成的特征提取器，提取待分析影像中每个影像帧的类别标签，并基于每个影像帧的类别标签将待分析影像分割为多个视频段，其中，特征提取器基于携带有影像帧类别标签的影像样本训练得到；计算所有视频段之间的类别相似度，并聚合类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别至少一个聚合结果得到目标模式生物的实际动作类型。由此，本申请实施例可以自动完成对模式生物视频的动作分析，无需任何人工干预，且可以能够应用于多种模式生物，扩展性强。性强。性强。

【技术实现步骤摘要】
模式生物的视频动作分析方法、装置、设备及介质


[0001]本申请涉及生物影像处理
，特别涉及一种模式生物的视频动作分析方法、装置、设备及介质。

技术介绍

[0002]模式生物常用于生物学研究常，例如小鼠是一种生物学研究常用的模式生物，生物研究者常常通过观察和记录小鼠这类模式生物的行为信息，来验证自己的实验假设。然而，相关技术中的记录大多还是研究者们手工完成的，因此存在着效率低、精度差的特点，进而影响了后续的运动行为分析效率。

技术实现思路

[0003]本申请提供一种模式生物的视频动作分析方法、装置、电子设备及存储介质，可以自动完成对模式生物视频的动作分析，无需任何人工干预，且可以能够应用于多种模式生物，扩展性强。
[0004]本申请第一方面实施例提供一种模式生物的视频动作分析方法，包括以下步骤：获取目标模式生物的待分析影像；将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，其中，所述特征提取器基于携带有影像帧类别标签的影像样本训练得到；计算所有视频段之间的类别相似度，并聚合所述类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。
[0005]进一步地，所述将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，包括：提取每个影像帧的类别特征，并将所述类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。
[0006]进一步地，所述基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，包括：通过动态规划策略对所述待分析影像分割进行粗粒度分割，得到所述多个视频段，其中，所述动态规划策略为每个视频段中影像帧数小于预设帧数，且所述视频段中所有影像帧数的类别标签一致。
[0007]进一步地，所述识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型，包括：获取三维重建得到的所述目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以所述运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到所述目标模式生物的实际动作类型。
[0008]本申请第二方面实施例提供一种模式生物的视频动作分析装置，包括：获取模块，用于获取目标模式生物的待分析影像；提取模块，用于将所述待分析影像输入至预先训练
完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，其中，所述特征提取器基于携带有影像帧类别标签的影像样本训练得到；分析模块，用于计算所有视频段之间的类别相似度，并聚合所述类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。
[0009]进一步地，所述提取模块用于：提取每个影像帧的类别特征，并将所述类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。
[0010]进一步地，所述提取模块用于：通过动态规划策略对所述待分析影像分割进行粗粒度分割，得到所述多个视频段，其中，所述动态规划策略为每个视频段中影像帧数小于预设帧数，且所述视频段中所有影像帧数的类别标签一致。
[0011]进一步地，所述分析模块用于：获取三维重建得到的所述目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以所述运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到所述目标模式生物的实际动作类型。
[0012]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的模式生物的视频动作分析方法。
[0013]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的模式生物的视频动作分析方法。
[0014]由此，本申请至少具有如下有益效果：
[0015]基于深度学习的模式生物视频动作分析技术，并利用采集到的透明饲养盒中自由运动的模式生物视频和对其进行三维重建得到的模式生物三维模型数据，可以自动进行运动分析，从而利用三维重建技术得到的模式生物三维模型，并使用深度学习无监督方法得到模式生物运动的行为信息，可以自动完成对模式生物视频的动作分析，无需任何人工干预，有效提高了相关研究的精度和效率，且可以能够应用于多种模式生物，扩展性强。
[0016]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0017]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0018]图1为根据本申请实施例提供的模式生物的视频动作分析方法的流程示意图；
[0019]图2为根据本申请实施例提供的模式生物的视频动作分析装置的示例图；
[0020]图3为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0021]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0022]模式生物以小鼠为例，小鼠是生物学研究中最常用的模式生物之一，对小鼠行为的分析是生物学研究中非常重要的课题。三维重建的相关技术使得本申请实施例能够得到重建后的三维小鼠模型，从而将小鼠的视频序列数字化。如果本申请实施例能够利用重建得到的三维小鼠的行为信息，开发相关的自动动作分析技术，则能为生物研究者提供极大的便利。近年来，随着深度学习技术飞速发展，并在各领域得到了广泛使用。无监督的视频动作分类技术作为一种新兴技术，也逐渐在各大领域崭露头角。因此，本申请实施例可以利用相关的技术并使用在小鼠实验上。
[0023]下面将参考附图描述本申请实施例的模式生物的视频动作分析方法、装置、电子设备及存储介质。具体而言，图1为本申请实施例所提供的一种模式生物的视频动作分析方法的流程示意图。
[0024]如图1所示，该模式生物的视频动作分析方法包括以下步骤：
[0025]在步骤S101中，获取目标模式生物的待分析影像。
[0026]其中，目标模式生物可以根据实际分析的需求具体选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模式生物的视频动作分析方法，其特征在于，包括以下步骤：获取目标模式生物的待分析影像；将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，其中，所述特征提取器基于携带有影像帧类别标签的影像样本训练得到；计算所有视频段之间的类别相似度，并聚合所述类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。2.根据权利要求1所述的方法，其特征在于，所述将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，包括：提取每个影像帧的类别特征，并将所述类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。3.根据权利要求1所述的方法，其特征在于，所述基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，包括：通过动态规划策略对所述待分析影像分割进行粗粒度分割，得到所述多个视频段，其中，所述动态规划策略为每个视频段中影像帧数小于预设帧数，且所述视频段中所有影像帧数的类别标签一致。4.根据权利要求1所述的方法，其特征在于，所述识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型，包括：获取三维重建得到的所述目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以所述运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到所述目标模式生物的实际动作类型。5.一种模式生物的视频动作分析装置，其特征在于，包括：获取模块，用于获取目标模式生物的待分析影像；提取模块，用于将所述待分析影像输入至预...

【专利技术属性】
技术研发人员：徐枫，明鑫，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：