用于立体视场多动物行为特征的系统和方法技术方案

本发明专利技术涉及一种利用视频识别两只或多只动物的行为的系统和方法。本发明专利技术包括具有至少两个连接至计算机的视频摄像机系统，其中，计算机用于自动执行动物分割和识别、动物身体部分识别和行为识别。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术主要涉及场景中的生物体的识别和辨认，更具体地说包括利用视频分析的图像或视频中的多生物体的行为识别。
技术介绍
生物体，例如动物，特别是小鼠或大鼠，被广泛的作为人类模型应用在药品开发研究、遗传、毒物学研究、疾病的认知和治疗、以及其它研究中。尽管人类和动物的生活方式不同，但他们大量的遗传和神经解剖学的同源性产生了保存在物种之间的广泛多样的行为过程。对这些共享的脑机能研究将用于人类行为调节的机理提供重要帮助。因此，许多行为实验已被设计在小鼠或大鼠身上来研究它们的行为。这些研究包括例如研究实验室动物的家居笼行为的实验、用于条件恐惧的僵直实验、操作室中自身给药、开放环境中的社交互动实验、开放场所的运动实验、物体识别实验、多样的迷宫实验、水迷宫实验、用于抑郁研究的强迫性游泳和悬尾及其它实验。这些实验及其它实验范例的使用之前描述在文献中，例如 Liang的美国专利申请公开号No. 2004/0141635中，其全部内容以引用的方式合并于此。这些实验中的大部分通过记录动物在特定时间段内(包括多个M小时段)并随后利用两个独立的观察者来评价记录而被最佳地观测。但是，这种方法的缺点包括长时间的人工观察的不稳定性、耗费时间、以及观察相关的巨大费用。社会行为是其中一个被广泛认可的独立个性维度的基础，并在个体和物种的生存中具有重要的作用。许多与社会行为相关的临床障碍包括创建或维持社交互动的困难，例如社交焦虑障碍、多种人格障碍、孤独症等等。社交互动测试通常设计用来评估社会交往的行为参数，包括配偶关系分析、统治等级、社会记忆、社交缺陷、社交恐惧症、社交焦虑症、愉悦玩耍、挑衅和逃跑、母性和性交行为。家居笼、简单的房间或开放式场所及其它测试环境通常被应用在两个或两个以上动物来执行社会行为实验。与其它行为分析相同，这些实验通常被建立在预定时间在特定环境中来记录动物行为，由两名独立观察者相继检查。在观察者识别的社会行为中包括猛扑(thrust)、社交理毛、缓慢爬行、压住、嗅探、跟踪、攀趴等等。通常这些实验使用阶段记录的人类观测。由于工作的沉闷和人类在准确观察动物的位置及互动中存在的困难，这类分析可能导致结果不准确并固有地包括主观判断。例如， 如果人类观察者仅观看一个视场，那么活动可能被其中一只动物的位置挡住。如果观察者查看多个视场，那么这是非常耗时的并且也很难同时观看两个或多个视场。事实上，这种方法属于劳动密集型，分析代价很高。视频分析技术已经被应用在物体的行为分析上，包括动物和人类，以努力减轻上述问题。自动的实验室动物家居笼行为在Liang的美国专利申请公开号No. 2004/0141635 中进行描述，其全部内容以引用的方式合并于此。来自Clever Sys Inc的产品 SocialkanTop利用一个俯视摄像机分析多动物的社交互动。但是，该产品以及其它利用单独的摄像机的装置并不能满足该领域的科学家的需求。因此，这就存在对系统和软件的需求，所述系统和软件能够解决上述实验中测量和分析问题，提供有价值的复杂行为分析以满足后基因组时代的需求，并获得一致的结果。
技术实现思路
本文所公开和描述的本专利技术包括新的方法、装置和算法用于分析场所中的多种生物体的行为，例如群居动物情景分析。本专利技术的一些方面可通过本文所述的示例性立体视场多动物行为分析系统加以说明。本专利技术的一个方面包括对所研究的每种生物体定义一组行为集。本专利技术的计算机系统可以实时或者离线方式产生动物行为的数字文件，以利用算法自动将特定行为归为所研究的生物体。一方面，本专利技术提供了一种用于运用从多个视角获得的图像自动从多个行为范例中识别行为的新颖并且统一的架构。这个统一的架构为自动行为识别以及在多种实验范例中的分析提供基础并提供公共基层，所述多种实验范例包括但不限于，家居笼行为、癫痫、 水迷宫、迷宫、移动、物体辨认、恐惧条件下的僵直、强迫游泳、悬尾、药物反应、步态分析、和社交互动等等。一方面，生物体的整体及其身体部位(如果有)，它们的相关颜色信息和它们的动态动作都被包括在不同的算法中来分析复杂的行为。本专利技术一方面包括实在和虚拟的多种不同场所。例如，Liang的美国专利申请公开号No. 2004/0141635中描述的虚拟区域，其全部内容以引用方式合并于此。另一方面，分析算法允许结合不同模块来获得单个操作中的多行为组的结果。总而言之，本系统接收或记录来自多视角的多生物体的图像。所述图像被数字化、 压缩和索引(如果必要)并被分析以识别特定的预定行为。所述行为利用不同的方法识别，例如概率性和/或确定性方法。特别地，系统利用一个或多个以下方法来识别行为基于规则的分析、标号解析过程、序列分析、状态变化分析、隐马尔可夫模型(Hidden Markov Modeling(HMM))等。并且，系统可以被配置来识别动物行为作为新的行为和作为具有特定时间节律或日夜节律。首先，图像被分析来检测前景物体和执行身体部位分割。检测和分割可通过背景消去来实现，如Liang在美国专利申请No. 6，678，413中所述，其全部内容以引用方式合并于此。在前景物体和单独的身体部位被识别后，基于该行为所属的范例，应用行为识别的不同方法。这些方法包括例如，基于规则的分析、标号解析过程、序列分析、状态变化分析，例如隐马尔可夫模型(HMM)。本系统能够高准确度地识别多动物行为。通过利用视场间分割算法进行立体视场中的连接物体分割，解决了遮挡问题(在摄像机视场中某些东西阻挡动物的情况)。系统也利用立体视场整合过程和动物尺寸标准化过程来提高动物行为识别的可靠性。本专利技术的系统能够识别自动行为和社会行为。识别的社会行为包括统治/服从行为、挑衅/逃跑行为、母性行为和性交行为。该系统对于群居环境中的识别自动/社交行为尤其有用，其中，遮挡问题可能会妨碍其它系统的准确的行为识别。立体视场技术能够解决遮挡问题并提高结果的可靠性。附图说明图1是优选的立体视场多动物多场所行为分析系统的示意图；图2是优选的立体视场多动物行为分析系统的示意性框图；图3是本专利技术的优选的行为分析模块的高阶流程图；图4(a)_(c)是与优选的视场间对应过程相关的多视角的参考线和点的示意图；图5(a)_(b)是与优选的视场间对应过程相关的俯视和侧视物体的示意图；图6(a)_(c)是与优选的动物分割过程相关的多动物的多视场的示意图；图7(a)_(c)是优选的动物分割过程的示意图；图8是优选的动物分隔过程的框图；图9(a)_(c)是示出优选的尺寸标准化过程的示意图；图10是本专利技术的优选的序列分析模块的高阶流程图；图11是配置用于统治/服从行为分析的优选的立体视场多动物场所的示意图；图12是配置用于性交行为分析的优选的立体视场多动物场所的示意图；图13(a)是具有优选的顶部开放笼盖的立体视场多动物场所的示意图；图13(b)_(d)是等角视图、侧视图和俯视图中顶部建模的示意图。具体实施例方式总体来说，本专利技术识别被实时监控或来自记录的两种或两种以上生物体的行为。 优选的实施例包括具有多个连接至计算机的摄像机系统。特别地，计算机包括一个或多个程序，这些程序可以识别生物体、追踪它们的活动、区分生物体的不同形状的部位，以及识别这些生物体的一种或多种行为。所述计算机可以是，例如，使用Wi本文档来自技高网...

【技术保护点】
１．一种行为分析系统，包括：场所；至少第一摄像机和第二摄像机，所述第一摄像机设置用以捕获来自第一视场的所述场所的图像，以及所述第二摄像机设置用以捕获来自第二视场的所述场所的图像，第一视场与第二视场不同；数据库，所述数据库包括生物体的行为的定义；计算机，所述计算机连接至第一摄像机、第二摄像机和数据库；所述计算机包括计算机程序；所述计算机程序接收至少第一视场图像和第二视场图像作为输入；所述计算机程序包括行为分析模块；所述行为分析模块能够识别至少来自第一视场图像的第一视场物体和来自第二视场图像的第二视场物体；利用第一视场物体和第二视场物体，确定至少第一生物体和第二生物体；确定至少第一生物体的至少一个空间关系随时间的变化；以及识别存储在数据库中的哪种行为对应于至少第一生物体的至少一个空间关系。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：白雪生，
申请(专利权)人：聪慧系统公司，
类型：发明
国别省市：US