自动分类动物行为制造技术

本发明专利技术公开了用于在表示对象的运动的三维(3D)视频数据中客观地识别亚秒级行为模块的系统和方法。通过基于3D视频数据本身的结构对行为模块进行定义(而不是通过使用关于什么应当构成可衡量的动作单位的先验定义)，来识别先前未探索过的用于定义在组织行为时所用的时间尺度的亚秒级规则，产生与行为的组成和结构有关的重要信息，提供对于对象中的行为变化的本质的了解，以及允许对于图案化动作中的细微变化的客观发现。本发明专利技术的系统和方法可以适用于：药物或基因疗法分类；药物或基因疗法筛选；包括对疾病发作的早期检测的疾病研究；毒理学研究；副作用研究；学习和记忆过程研究；焦虑研究；以及消费者行为分析。

【技术实现步骤摘要】
【国外来华专利技术】自动分类动物行为关于联邦资助研究的声明本专利技术是在下列的政府支持下做出的：(1)由美国国立卫生研究院(NIH)院长办公室授予的第DP20D007109号NIH创新奖；以及(2)由NIH国立耳聋与其它交流障碍性疾病研究所(NIDCD)授予的第RO1DC011558号NIH研究项目基金计划。政府享有本专利技术中的一些权利。
本专利技术涉及用于识别和分类动物行为、人类行为或其它行为度量的系统和方法。
技术介绍
下面的说明包括了可能有助于理解本专利技术的信息。但是，并非承认此处提供的任何信息是现有技术或与当前要求保护的专利技术有关，或者并非承认任何明确引用或暗示引用的出版物是现有技术。在从药物研发到理解神经退行性疾病的生物学研究范围中，动物行为的量化是必不可少的第一步。它通常是由手工完成的；训练有素的观察者在现场或是在录像带上观察动物的行为，并记录所有的感兴趣行为的时刻。单次实验的行为数据可能涉及数百只小鼠，这跨越数百个小时的视频，需要有一个观察者团队，由此不可避免地降低了结果的可靠性和可重复性。此外，什么构成“感兴趣行为”，这一问题基本上留给了人类观察者：虽然对于人类观察者来说为特定行为或一系列行为(即“直立(rearing)”、“嗅(sniffing)”、“侦查(sniffing)”、“行走(walking)”、“凝滞(freezing)”、“进食(eating)”等)赋予拟人化命名是琐碎的，但几乎肯定地存在着由小鼠生成的、与违反简单人类分类的小鼠有关的行为状态。在更先进的应用中，可以通过计算机程序半自动地分析视频。然而，大脑产生的是随着时间的推移而平稳展开但却由不同的运动模式组成的行为。用于触发动作的各个感觉神经元可以在短至一毫秒内的时间内完成与行为相关的计算，并且用于调解行为的神经群体表现出以数十毫秒到数百毫秒的时间尺度演变的动态[1-8]。这种快速的神经活动与较慢的神经调节系统相互作用，以产生同时以多个时间尺度组织的行为[9]。想要最终理解神经回路如何产生复杂的行为(尤其是由自由地做出行为的动物所表达的自发或先天行为)，这需要一个清晰明确的框架来表征行为是如何以与神经系统相关的时间尺度而被组织的。
技术实现思路
虽然通过演化已经塑造了使得动物能够完成特定目标的行为(如寻找食物或配偶)，但目前尚不清楚这些行为是如何随着时间(特别是以快速的时间尺度)组织起来的。然而，一种强大的用于表征行为结构的方法来自于行为学(ethology)，该行为学提出：大脑通过将较简单动作的定型模块(stereotypedmodules)表达在特定序列中来建立连贯的行为[10]。例如，监督分类方法和无监督分类方法这两者都已经鉴定出了秀丽隐杆线虫(C.elegans)、黑腹果蝇(D.melanogaster)幼虫和黑腹果蝇成虫在探索过程中表达的潜在行为模块[11-16]。这些实验已经揭示了这些生物体中的行为的基础结构，该基础结构进而又揭示了无脊椎动物大脑所使用的用于使行为适应于环境变化的策略。在秀丽隐杆线虫的情况下，向嗅觉线索的导航至少部分地由神经回路调解，这些神经回路用于将连接行为模块的转移概率调整成依据时间的序列；因此，蠕虫神经系统可以通过对一核心组的行为模块重新排序来产生看似新的感观驱动行为(比如正趋化性(positivechemotaxis))[17-19]。也针对苍蝇幼虫的感官驱动行为进行了类似的观察[11]。这些对行为的基础时间序列结构的了解来自对蠕虫和苍蝇的形态变化进行量化并利用这些数据来识别行为模块的能力[11-16]。然而，要获得对哺乳动物的整体行为组织的类似了解却很困难。虽然研究人员已经将小鼠的天生探索、梳毛、社交方式、攻击行为和生殖行为划分为潜在模块，但是这种将哺乳动物行为分解成若干部分的方法取决于人类规定的对于什么才构成有意义的行为模块(例如跑步、交配、战斗)的定义[20-25]，因此，这种方法在很大程度上受到人类感知和直觉的限制。特别地，人类的感知很难识别仅跨越短时间尺度的模块。对于系统地描述动物的行为的结构并且理解大脑如何改变这种结构以实现适应，需要解决三个关键问题。首先，当试图将小鼠行为模块化时，不清楚哪些行为特征是重要的因而需要测量的。尽管大多数的当前方法跟踪诸如小鼠的位置、速度、或者上下方向或左右方向轮廓的形状等二维参数[20,22-24,26-28]，但小鼠表现出复杂的三维姿势动态，这些三维姿势动态是难以捕捉的，但可能提供对行为的组织的重要了解。其次，假如行为在数个时间尺度上并行地演变，那么不清楚如何客观地识别当将行为模块化时所用的相关时空尺度。最后，对行为的有效表征需要符合这样的事实：行为既是定型的(模块化的先决条件)，也是可变的(嘈杂的神经和运动系统的无法回避的特征)[29]。这种可变性就向如下算法提出了重大挑战：该算法负责识别在既定实验中被表达出来的行为模块的数量和内容，或者负责将观察到的动作的任何给定情况分配给特定的行为模块。此外，识别当组织自然行为时所用的时空尺度一直是行为学中的明确挑战，因此，迄今为止，大多数用于探索行为的基础结构的努力都一直依赖于对“什么构成了行为模块”的专门定义，并且一直专注于具体的行为而不是系统地考虑整个行为。目前尚不清楚动物表现出来的自发行为是否有可定义的、且能够被用来表征随着时间演变的动作的基础结构。此外，现有的用于动物行为分类的计算机化系统把用于描述所观察到的行为的参数和手动注释且策划的参数数据库相匹配。因此，在手动情况和现有的半自动化情况中，对动物行为状态的主观评估都是被建立到系统中的——人类观察者必须提前判定什么才构成了特定行为。这导致对该行为的评估存在偏差，并且这使评估局限于研究人员能够以人类感知进行区分的特定行为，因此是有限的，尤其是对于在短时间尺度内发生的行为。此外，部署于这些半监督形式的行为分析中的视频采集系统(几乎总是以二维方式获取数据)仅是针对特定的行为而被优化的，由此既限制了吞吐量并且还由于对准误差而导致所浪费的实验精力增多了。概要尽管存在这些挑战，但本专利技术人已经发现了通过处理动物的视频记录来自动地识别和分类动物行为模块的系统和方法。根据本专利技术的原理，监测方法和系统使用了能够对动物行为进行分类的硬件和定制软件。动物行为状态的分类是通过使用深度相机在三维中定量地测量动物姿势来确定的。在一个实施例中，使用3D深度照相机来获取具有区域信息和深度信息的动物视频图像流。然后，从多个图像之中的每个图像中移除背景图像(空的试验区域)，以生成具有亮区域和暗区域的处理图像。找到多个处理图像中的亮区域的轮廓，并从这些轮廓内的区域图像信息和深度图像信息中提取参数，以形成多个多维数据点，每个数据点表示动物在特定时间的姿势。然后，可以使姿势数据点形成群集，使得点群集表示动物行为。然后，可以将这些数据馈送到无模型算法中，或者馈送到计算模型中以表征自然行为的结构。在一些实施例中，这些系统使用贝叶斯推理(Bayesianinference)中的方法来拟合行为模型，该贝叶斯推理允许从给定数据集内无监督地识别行为模块的最佳数量和身份。基于3D行为数据本身的结构来定义行为模块(而不是使用关于什么应该构成可衡量的动作单位的先验定义(prioridefinitions))，由此识别出先本文档来自技高网...

【技术保护点】
1.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：使用计算模型来处理表示所述对象的运动的三维视频数据，以将所述视频数据划分成至少一组模块和所述至少一组模块之间的至少一组转移统计；以及将所述至少一组模块分配给表示动物行为类型的类别。

【技术特征摘要】
【国外来华专利技术】2016.03.18 US 62/310,5631.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：使用计算模型来处理表示所述对象的运动的三维视频数据，以将所述视频数据划分成至少一组模块和所述至少一组模块之间的至少一组转移统计；以及将所述至少一组模块分配给表示动物行为类型的类别。2.如权利要求1所述的方法，所述处理包括以下步骤：在所述视频数据中将所述对象从背景中分离。3.如权利要求2所述的方法，所述处理进一步包括以下步骤：针对于每个帧的共同坐标系，在所述视频数据的一组帧上识别所述对象的特征的定向。4.如权利要求3所述的方法，所述处理进一步包括以下步骤：在所述一组帧的至少子组中修改所述对象的所述定向，以使得所述特征被定向在针对于所述坐标系的同一方向上，从而输出一组对齐帧。5.如权利要求4所述的方法，所述处理进一步包括以下步骤：使用多层感知器(MLP)来处理所述一组对齐帧，以输出姿势动态数据，其中所述姿势动态数据表示每个对齐帧的所述对象通过流形空间的姿势。6.如权利要求5所述的方法，其中，所述多层感知器是结构化变分自动编码器。7.如权利要求1所述的方法，其中，所述三维视频数据首先被处理以输出多维向量空间中的一系列点，这里所述一系列点中的每个点表示所述对象的3D姿势...

【专利技术属性】
技术研发人员：桑迪普·罗伯特·达塔，马修·J·约翰逊，
申请(专利权)人：哈佛大学校长及研究员协会，
类型：发明
国别省市：美国,US