使用机器学习模型的动作检测制造技术

本文中所描述的系统和方法提供通过使用被配置成检测受试者行为的一个或多个经训练模型处理视频数据来检测受试者行为的技术。所描述的系统使用不同的经训练模型处理来自所述视频数据的帧集合。所述系统进一步处理所述帧集合的不同定向。来自不同的经训练模型和来自处理所述帧集合的所述不同定向的各种输出可进行组合，以接着作出关于受试者在特定帧内是否表现出特定行为的最终确定。是否表现出特定行为的最终确定。是否表现出特定行为的最终确定。

【技术实现步骤摘要】
【国外来华专利技术】使用机器学习模型的动作检测
[0001]相关申请
[0002]本申请根据《美国法典》第35卷第119(e)条要求于2020年9月16日提交的第63/078,952号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。


[0003]在一些方面中，本专利技术涉及使用神经网络检测受试者的动作，部分地用于评估遗传变异。
[0004]政府支持
[0005]本专利技术是在政府支持下在由美国国家卫生研究院(National Institutes of Health)授予的DA041668和DA048634下进行的。政府拥有本专利技术的某些权利。

技术介绍

[0006]行为是神经系统的主要输出，是复杂的、分级的、动态的和高维的(Gomez
‑
Marin等人，2014年《自然神经科学(Nature Neuroscience)》17(11):1455
‑
1462)。现代剖析神经元功能的方法需要高时间和空间分辨率的行为分析。实现这一目标是一项耗时的任务，其自动化仍然是行为神经科学的一个挑战性问题。尽管已做出一些努力来整合计算机视觉领域的方法和现代神经网络方法，但行为生物学研究中很少会有方面利用神经网络方法。这种应用的缺乏通常归因于组织和注释数据集的高成本或严格的性能要求。即便如此，复杂环境中的行为识别仍然是机器学习界的一个公开挑战，并且所提出的行为神经科学解决方案的可译性仍未得到解答。
[0007]行为神经科学家传统上利用几种方法来对小鼠行为进行分类。可以使用物理测量装置来对例如小鼠饲养等简单行为进行分类，所述物理测量装置检测小鼠何时超过某一身长。对于例如动机等更复杂的精神结构，已使用了操作行为范式。开源系统，如JAABA[Kabra等人，2013年《自然方法(Nature methods)》，2013年；10(1):64]，已被研究人员用来使用运动和其它测量结果来训练他们自己的机器学习分类器以处理复杂行为[Van den Boom等人，2017年《神经科学方法期刊(J.Neuroscience Methods)》289:48
‑
56]。这些系统固有地受到可用测量结果的限制，并且可用标准测量结果仅包含质心跟踪，这极大限制了可进行可靠分类的行为类型。对于小鼠，更现代的系统已经整合了地面振动测量和深度成像技术以增强行为检测[Quinn等人，2003年《神经科学方法期刊(J.Neurosci.Methods)》；130(1):83
‑
92和Hong等人，2015年PNAS；112(38):E5351
‑
E5360]。已做出一些努力来使用机器学习分类器自动添加理毛(grooming)的注释，但现有技术对动物皮毛颜色、光照条件和装置位置来说并不稳健[Van den Boom等人，2017年《神经科学方法期刊(J.Neuroscience Methods)》289:48
‑
56]。计算机视觉处理的最新进展也为实验室动物的无标记跟踪提供了通用解决方案[Mathis等人，2018年《自然神经科学(Nature neuroscience)》，2018；21(9):1281；Pereira等人，2019年《自然方法(Nature methods)》，2019年；16(1):117
‑
125]，但人类动作检测排行榜等实例表明，虽然姿势估计方法很强大，但它通常不如利用原始视频输
入进行动作分类的端到端解决方案[Feichtenhofer等人，2019年《IEEE计算机视觉处理国际会议学报(Proceedings of the IEEE International Conference on Computer Vision)》；2019，p.6202
‑
6211；Choutas等人，2018年《IEEE计算机视觉处理和模式识别会议学报(Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition)》；2018，p.7024
‑
7033]。
[0008]先前直接对视觉数据进行操作的尝试限于不受监督的行为聚类方法[Todd等人，2017年《物理生物学(Physical Biology)》14(1):015002]。先前的努力包含对环境控制的限制，这些限制对于算法起作用的能力至关重要。各种先前系统在很大程度上依赖于自上而下视图的数据比对，参见[Berman等人，2014年《皇家学会界面期刊(J.of The Royal Society Interface)》11(99):20140672；Wiltschko等人，2015年《神经元(Neuron)》88(6):1121
‑
1135]。尽管这些方法可以对类似视频片段进行聚类，但给所生成簇的行为加标签仍由用户决定，因此受到显著限制。

技术实现思路

[0009]根据本专利技术的方面，提供一种计算机实施的方法，所述方法包含：接收表示捕捉受试者的移动的视频的视频数据；从所述视频数据标识第一帧集合；通过旋转所述第一帧集合来确定旋转后的帧集合；使用第一经训练模型来处理所述第一帧集合，所述第一经训练模型被配置成标识所述受试者表现出预定行为动作的可能性；基于所述第一经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧集合的第一帧中表现出所述预定行为动作的第一概率，所述第一帧对应于所述视频数据的持续时间；使用所述第一经训练模型来处理所述旋转后的帧集合；基于所述第一经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述旋转后的帧集合的第二帧中表现出所述预定行为动作的第二概率，所述第二帧对应于所述第一帧的所述持续时间；以及使用所述第一概率和所述第二概率来标识所述第一帧的标签，第一标签指示所述受试者表现出所述预定行为动作。在一些实施例中，所述方法还包含：使用第二经训练模型来处理所述第一帧集合，所述第二经训练模型被配置成标识所述受试者表现出所述预定行为动作的可能性；基于所述第二经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧中表现出所述预定行为动作的第三概率；使用所述第二经训练模型来处理所述旋转后的帧集合；基于所述第二经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述第二帧中表现出所述预定行为动作的第四概率；以及使用所述第一概率、所述第二概率、所述第三概率和所述第四概率来标识所述第一标签。在某些实施例中，所述方法还包含：通过反射所述第一帧集合来确定反射后的帧集合；使用所述第一经训练模型来处理所述反射后的帧集合；基于所述第一经训练模型对所述反射后的帧集合的所述处理而确定所述受试者在所述反射后的帧集合的第三帧中表现出所述预定行为动作的第三概率，所述第三帧对应于所述第一帧；以及使用所述第一概率、所述第二概率和所述第三概率来标识所述第一标签。在一些实施例中，所述预定行为动作包含理毛行为。在一些实施例中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，其包括：接收表示捕捉受试者的移动的视频的视频数据；从所述视频数据标识第一帧集合；通过旋转所述第一帧集合来确定旋转后的帧集合；使用第一经训练模型来处理所述第一帧集合，所述第一经训练模型被配置成标识所述受试者表现出预定行为动作的可能性；基于所述第一经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧集合的第一帧中表现出所述预定行为动作的第一概率，所述第一帧对应于所述视频数据的持续时间；使用所述第一经训练模型来处理所述旋转后的帧集合；基于所述第一经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述旋转后的帧集合的第二帧中表现出所述预定行为动作的第二概率，所述第二帧对应于所述第一帧的所述持续时间；以及使用所述第一概率和所述第二概率来标识所述第一帧的标签，第一标签指示所述受试者表现出所述预定行为动作。2.根据权利要求1所述的计算机实施的方法，其进一步包括：使用第二经训练模型来处理所述第一帧集合，所述第二经训练模型被配置成标识所述受试者表现出所述预定行为动作的可能性；基于所述第二经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧中表现出所述预定行为动作的第三概率；使用所述第二经训练模型来处理所述旋转后的帧集合；基于所述第二经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述第二帧中表现出所述预定行为动作的第四概率；以及使用所述第一概率、所述第二概率、所述第三概率和所述第四概率来标识所述第一标签。3.根据权利要求1所述的计算机实施的方法，其进一步包括：通过反射所述第一帧集合来确定反射后的帧集合；使用所述第一经训练模型来处理所述反射后的帧集合；基于所述第一经训练模型对所述反射后的帧集合的所述处理而确定所述受试者在所述反射后的帧集合的第三帧中表现出所述预定行为动作的第三概率，所述第三帧对应于所述第一帧；以及使用所述第一概率、所述第二概率和所述第三概率来标识所述第一标签。4.根据权利要求1至3中任一项所述的方法，其中所述预定行为动作包括理毛行为。5.根据权利要求1所述的计算机实施的方法，其中所述受试者是小鼠，并且所述预定行为包括理毛行为，所述理毛行为包括舔爪、单侧洗脸、双侧洗脸和舔左右肋腹中的至少一种。6.根据权利要求1所述的计算机实施的方法，其中所述第一帧集合表示所述视频数据在某一时间段内的一部分，并且所述第一帧是所述时间段的最后一个时间帧。7.根据权利要求1所述的计算机实施的方法，其进一步包括：
从所述视频数据标识第二帧集合；通过旋转所述第二帧集合来确定第二旋转后的帧集合；使用所述第一经训练模型来处理所述第二帧集合；基于所述第一经训练模型对所述第二帧集合的所述处理而确定所述受试者在所述第二帧集合的第三帧中表现出所述预定行为动作的第三概率；使用所述第一经训练模型来处理所述第二旋转后的帧集合；基于所述第一经训练模型对所述第二旋转后的帧集合的所述处理而确定所述受试者在所述旋转后的帧集合的第四帧中表现出所述预定行为动作的第四概率，所述第四帧对应于所述第三帧；以及使用所述第三概率和所述第四概率来标识所述第四帧的第二标签，所述第一标签指示所述受试者表现出所述预定行为动作。8.根据权利要求7所述的计算机实施的方法，其进一步包括：至少使用所述第一标签和所述第二标签来生成表示所述受试者在某一时间段内的所述预定行为动作的行为图。9.根据权利要求1所述的计算机实施的方法，其中所述第一经训练模型是机器学习分类器。10.根据权利要求1所述的计算机实施的方法，其进一步包括在接收所述视频数据之前：接收包含第一多个视频帧和第二多个视频帧的训练数据，所述第一多个视频帧中的每一者与指示所述受试者正表现出所述预定行为动作的正值标签相关联，并且所述第二多个视频帧中的每一者与指示所述受试者正表现出并非所述预定行为动作的行为动作的负值标签相关联；使用第一模型参数集合和第一分类器模型数据来处理所述训练数据，以确定所述第一经训练模型。11.根据权利要求10所述的计算机实施的方法，其中所述第一多个帧和所述第二多个帧表示多个受试者的移动，其中所述多个受试者中的受试者包括一个或多个预先标识的物理特性。12.根据权利要求11所述的计算机实施的方法，其中所述预先标识的物理特性是身体形态、身体大小、皮毛颜色、性别、年龄以及疾病或病症的表型中的一种或多种。13.根据权利要求12所述的计算机实施的方法，其中所述疾病或病症是可遗传疾病、损伤或传染性疾病。14.根据权利要求10所述的计算机实施的方法，其中所述第一多个帧和所述第二多个帧表示多个小鼠受试者的移动，所述多个小鼠中的小鼠具有皮毛颜色、性别、身体形态和大小。15.根据权利要求1至14中任一项所述的计算机实施的方法，其中所述受试者是哺乳动物。16.根据权利要求1至15中任一项所述的计算机实施的方法，其中所述受试者是经基因工程改造的受试者。17.一种计算机实施的方法，其包括：
接收表示捕捉受试者的移动的视频的视频数据；从所述视频数据标识第一帧集合；使用第一经训练模型来处理所述第一帧集合，所述第一经训练模型被配置成标识所述受试者表现出预定行为动作的可能性；基于所述第一经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧集合的第一帧中表现出所述预定行为动作的第一概率；使用第二经训练模型来处理所述第一帧集合，所述第二经训练模型被配置成标识所述受试者表现出所述预定行为动作的可能性；基于所述第二经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧中表现出所述预定行为动作的第二概率；以及使用所述第一概率和所述第二概率来标识所述第一帧的第一标签，所述第一标签指示所述受试者表现出所述预定行为动作。18.根据权利要求17所述的计算机实施的方法，其进一步包括：通过旋转所述第一帧集合来确定旋转后的帧集合；使用所述第一经训练模型来处理所述旋转后的帧集合；基于所述第一经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述旋转后的帧集合的所述第二帧中表现出所述预定行为动作的第三概率，所述第二帧对应于所述第一帧；使用所述第二经训练模型来处理所述旋转后的帧集合；基于所述第二经训练模型对所述旋转后的帧集合的所述处理而确定所述受试者在所述第二帧中表现出所述预定行为动作的第四概率；以及使用所述第一概率、所述第二概率、所述第三概率和所述第四概率来标识所述第一标签。19.根据权利要求17所述的计算机实施的方法，其进一步包括：通过反射所述第一帧集合来确定反射后的帧集合；使用所述第一经训练模型来处理所述反射后的帧集合；基于所述第一经训练模型对所述反射后的帧集合的所述处理而确定所述受试者在所述反射后的帧集合的所述第二帧中表现出所述预定行为动作的第三概率，所述第二帧对应于所述第一帧；使用所述第二经训练模型来处理所述反射后的帧集合；基于所述第二经训练模型对所述反射后的帧集合的所述处理而确定所述受试者在所述第二帧中表现出所述预定行为动作的第四概率；以及使用所述第一概率、所述第二概率、所述第三概率和所述第四概率来标识所述第一标签。20.根据权利要求17所述的计算机实施的方法，其中所述第一模型和所述第二模型是神经网络模型，所述第一模型使用第一参数集合初始化，所述第二经训练模型使用不同于所述第一参数集合的第二参数集合初始化。21.根据权利要求17所述的计算机实施的方法，其进一步包括：使用第三经训练模型来处理所述第一帧集合，所述第三经训练模型被配置成标识所述
受试者表现出预定行为动作的可能性；基于所述第三经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧中表现出所述预定行为动作的第三概率；使用第四经训练模型来处理所述第一帧集合，所述第四经训练模型被配置成标识所述受试者表现出所述预定行为动作的可能性；基于所述第四经训练模型对所述第一帧集合的所述处理而确定所述受试者在所述第一帧中表现出所述预定行为动作的第四概率；以及使用所述第一概率、所述第二概率、所述第三概率和所述第四概率来标识所述第一标签。22.根据权利要求17至21中任一项所述的计算机实施的方法，其中所述受试者是哺乳动物。23.根据权利要求17至22中任一项所述的方法，其中所述预定行为动作包括...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：杰克逊实验室，
类型：发明
国别省市：