分析对象的运动以将其分成亚秒级模块的系统和方法技术方案

本发明专利技术涉及一种分析对象的运动以将其分成亚秒级模块的系统和方法。其中，所述系统可包括：三维摄像机，配置为输出表示所述对象的运动的视频图像数据；存储器，与所述三维摄像机通信并且包括非易失性机器可读存储介质，所述非易失性机器可读存储介质上存储有机器可执行指令；以及控制系统，包括连接到所述存储器的一个或多个处理器，所述一个或多个处理器配置为执行所述机器可执行指令，使得所述控制系统：使用包括多层感知器的计算模型来处理表示所述对象的运动的三维视频数据，以将所述三维视频数据划分成至少一组亚秒级模块和所述亚秒级模块之间的至少一组转移统计；以及将所述至少一组亚秒级模块分配给表示动物行为类型的类别。型的类别。型的类别。

【技术实现步骤摘要】
分析对象的运动以将其分成亚秒级模块的系统和方法
[0001]本申请是申请日为2017年3月16日、专利技术名称为“自动分类动物 行为”的申请号为201780031046.1的专利申请的分案申请。


[0002]本专利技术涉及用于识别和分类动物行为、人类行为或其它行为度量的 系统和方法。

技术介绍

[0003]下面的说明包括了可能有助于理解本专利技术的信息。但是，并非承认 此处提供的任何信息是现有技术或与当前要求保护的专利技术有关，或者并 非承认任何明确引用或暗示引用的出版物是现有技术。
[0004]在从药物研发到理解神经退行性疾病的生物学研究范围中，动物行 为的量化是必不可少的第一步。它通常是由手工完成的；训练有素的观 察者在现场或是在录像带上观察动物的行为，并记录所有的感兴趣行为 的时刻。
[0005]单次实验的行为数据可能涉及数百只小鼠，这跨越数百个小时的视 频，需要有一个观察者团队，由此不可避免地降低了结果的可靠性和可 重复性。此外，什么构成“感兴趣行为”，这一问题基本上留给了人类观 察者：虽然对于人类观察者来说为特定行为或一系列行为(即“直立 (rearing)”、“嗅(sniffing)”、“侦查(sniffing)”、“行走(walking)”、“凝滞 (freezing)”、“进食(eating)”等)赋予拟人化命名是琐碎的，但几乎肯定 地存在着由小鼠生成的、与违反简单人类分类的小鼠有关的行为状态。
[0006]在更先进的应用中，可以通过计算机程序半自动地分析视频。然而， 大脑产生的是随着时间的推移而平稳展开但却由不同的运动模式组成的 行为。用于触发动作的各个感觉神经元可以在短至一毫秒内的时间内完 成与行为相关的计算，并且用于调解行为的神经群体表现出以数十毫秒 到数百毫秒的时间尺度演变的动态
[1
‑
8]。这种快速的神经活动与较慢的神 经调节系统相互作用，以产生同时以多个时间尺度组织的行为
[9]。想要 最终理解神经回路如何产生复杂的行为(尤其是由自由地做出行为的动 物所表达的自发或先天行为)，这需要一个清晰明确的框架来表征行为是 如何以与神经系统相关的时间尺度而被组织的。

技术实现思路

[0007]虽然通过演化已经塑造了使得动物能够完成特定目标的行为(如寻 找食物或配偶)，但目前尚不清楚这些行为是如何随着时间(特别是以快 速的时间尺度)组织起来的。然而，一种强大的用于表征行为结构的方 法来自于行为学(ethology)，该行为学提出：大脑通过将较简单动作的 定型模块(stereotyped modules)表达在特定序列中来建立连贯的行为
[10]。 例如，监督分类方法和无监督分类方法这两者都已经鉴定出了秀丽隐杆 线虫(C.elegans)、黑腹果蝇(D.melanogaster)幼虫和黑腹果蝇成虫在 探索过程中表达的潜在行为模块
[11
‑
16]。这些实验已经揭示了这些生物体 中的行为的基础结构，该基础结构进而
又揭示了无脊椎动物大脑所使用 的用于使行为适应于环境变化的策略。在秀丽隐杆线虫的情况下，向嗅 觉线索的导航至少部分地由神经回路调解，这些神经回路用于将连接行 为模块的转移概率调整成依据时间的序列；因此，蠕虫神经系统可以通 过对一核心组的行为模块重新排序来产生看似新的感观驱动行为(比如 正趋化性(positive chemotaxis))
[17
‑
19]。也针对苍蝇幼虫的感官驱动行为 进行了类似的观察
[11]。
[0008]这些对行为的基础时间序列结构的了解来自对蠕虫和苍蝇的形态变 化进行量化并利用这些数据来识别行为模块的能力
[11
‑
16]。然而，要获得 对哺乳动物的整体行为组织的类似了解却很困难。虽然研究人员已经将 小鼠的天生探索、梳毛、社交方式、攻击行为和生殖行为划分为潜在模 块，但是这种将哺乳动物行为分解成若干部分的方法取决于人类规定的 对于什么才构成有意义的行为模块(例如跑步、交配、战斗)的定义
[20
‑
25]， 因此，这种方法在很大程度上受到人类感知和直觉的限制。特别地，人 类的感知很难识别仅跨越短时间尺度的模块。
[0009]对于系统地描述动物的行为的结构并且理解大脑如何改变这种结构 以实现适应，需要解决三个关键问题。首先，当试图将小鼠行为模块化 时，不清楚哪些行为特征是重要的因而需要测量的。尽管大多数的当前 方法跟踪诸如小鼠的位置、速度、或者上下方向或左右方向轮廓的形状 等二维参数
[20,22
‑
24,26
‑
28]，但小鼠表现出复杂的三维姿势动态，这些三维 姿势动态是难以捕捉的，但可能提供对行为的组织的重要了解。其次， 假如行为在数个时间尺度上并行地演变，那么不清楚如何客观地识别当 将行为模块化时所用的相关时空尺度。最后，对行为的有效表征需要符 合这样的事实：行为既是定型的(模块化的先决条件)，也是可变的(嘈杂 的神经和运动系统的无法回避的特征)
[29]。
[0010]这种可变性就向如下算法提出了重大挑战：该算法负责识别在既定 实验中被表达出来的行为模块的数量和内容，或者负责将观察到的动作 的任何给定情况分配给特定的行为模块。此外，识别当组织自然行为时 所用的时空尺度一直是行为学中的明确挑战，因此，迄今为止，大多数 用于探索行为的基础结构的努力都一直依赖于对“什么构成了行为模块
”ꢀ
的专门定义，并且一直专注于具体的行为而不是系统地考虑整个行为。 目前尚不清楚动物表现出来的自发行为是否有可定义的、且能够被用来 表征随着时间演变的动作的基础结构。
[0011]此外，现有的用于动物行为分类的计算机化系统把用于描述所观察 到的行为的参数和手动注释且策划的参数数据库相匹配。因此，在手动 情况和现有的半自动化情况中，对动物行为状态的主观评估都是被建立 到系统中的——人类观察者必须提前判定什么才构成了特定行为。这导致 对该行为的评估存在偏差，并且这使评估局限于研究人员能够以人类感 知进行区分的特定行为，因此是有限的，尤其是对于在短时间尺度内发 生的行为。此外，部署于这些半监督形式的行为分析中的视频采集系统 (几乎总是以二维方式获取数据)仅是针对特定的行为而被优化的，由此既 限制了吞吐量并且还由于对准误差而导致所浪费的实验精力增多了。
[0012]概要
[0013]尽管存在这些挑战，但本专利技术人已经发现了通过处理动物的视频记 录来自动地识别和分类动物行为模块的系统和方法。根据本专利技术的原理， 监测方法和系统使用了能够对动物行为进行分类的硬件和定制软件。动 物行为状态的分类是通过使用深度相机在三
维中定量地测量动物姿势来 确定的。在一个实施例中，使用3D深度照相机来获取具有区域信息和深 度信息的动物视频图像流。然后，从多个图像之中的每个图像中移除背 景图像(空的试验区域)，以生成具有亮区域和暗区域的处理图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分析对象的运动以将其分成亚秒级模块的系统，所述系统包括：三维摄像机，所述三维摄像机配置为输出表示所述对象的运动的视频图像数据；存储器，所述存储器与所述三维摄像机通信并且包括非易失性机器可读存储介质，所述非易失性机器可读存储介质上存储有机器可执行指令；以及控制系统，所述控制系统包括连接到所述存储器的一个或多个处理器，所述一个或多个处理器配置为执行所述机器可执行指令，所述机器可执行指令设定为使得所述控制系统：使用包括多层感知器的计算模型来处理从所述三维摄像机接收的表示所述对象的运动的三维视频数据，以将所述三维视频数据划分成至少一组亚秒级模块和所述亚秒级模块之间的至少一组转移统计；以及将所述至少一组亚秒级模块分配给表示动物行为类型的类别。2.如权利要求1所述的系统，其中，处理所述三维视频数据包括：在所述三维视频数据中将所述对象从背景中分离。3.如权利要求1所述的系统，其中，处理所述三维视频数据包括：针对于所述三维视频数据的一组帧中的每个帧的共同坐标系，在所述三维视频数据的所述一组帧上识别所述对象的特征的定向。4.如权利要求3所述的系统，其中，处理所述三维视频数据包括：通过在所述一组帧的至少子组中修改所述对象的所述定向，使得所述特征被定向在针对于所述坐标系的同一方向上，来生成一组对齐帧。5.如权利要求4所述的系统，其中，处理所述三维视频数据包括：通过使用所述多层感知器来处理所述一组对齐帧，来生成姿势动态数据，其中，所述姿势动态数据表示每个对齐帧的所述对象通过流形空间的姿势。6.如权利要求5所述的系统，其中，处理所述对齐帧包括将所述姿势动态数据暂时分割成不同组的亚秒级模块，其中，处于一组模块中的每个亚秒级模块都表现出相似的姿势动态。7.如权利要求1所述的系统，其中，所述多层感知器包括结构化变分自动编码器。8.如权利要求1所述的系统，其中，处理所述三维视频数据包括：使用所述三...

【专利技术属性】
技术研发人员：桑迪普，
申请(专利权)人：哈佛大学校长及研究员协会，
类型：发明
国别省市：