一种基于关键点检测的小鼠旷场实验运动行为分析方法技术

本发明专利技术公开了一种基于关键点检测的小鼠旷场实验运动行为分析方法，包括：(a)采集实验视频，确定实验区域；(b)基于卷积神经网络的小鼠关键点检测模型，检测视频图像中小鼠的鼻尖、左耳、右耳和尾根，返回关键点坐标；(c)计算相邻帧间关键点的运动距离，以距离阈值筛选出异常关键点；(d)对关键点坐标进行清洗，使用卡尔曼滤波预测轨迹，消除测量误差的影响；(e)由计算得到的关键点坐标确定小鼠旷场实验中的运动参数，生成相关图形报表。本发明专利技术基于关键点检测的小鼠旷场实验运动行为分析方法，具有很强的鲁棒性，对于环境、光照改变等具有很强的抗干扰能力，大大简化了分析行为学指标的流程，该行为学分析手段方便、全面和精细。全面和精细。全面和精细。

【技术实现步骤摘要】
一种基于关键点检测的小鼠旷场实验运动行为分析方法


[0001]本专利技术涉及行为检测
，尤其是涉及一种基于关键点检测的小鼠旷场实验运动行为分析方法。

技术介绍

[0002]动物行为可以看作是动物表达心理和生理的肢体语言，是基因与环境相互作用的复杂结果，也是动物自身综合机能的体现，动物行为能为判断动物的心理和生理状态提供依据。二十世纪七十年代以来，动物行为学的相关研究受到各国科学家的关注，己成为生命科学研究领域极为活跃以及重要的一个分支学科，动物行为学研究不仅要观察动物的自然行为活动，更重要的是在特定实验室条件下，观察动物的行为及其变化，进而研究实验动物的神经功能、心理过程和药物作用等，这对生物科学、神经科学、病理学以及遗传学等研究有着重要的意义。
[0003]在实验室动物行为研究中，小鼠旷场实验的应用非常广泛，旷场实验因为其实验操作简单，所得数据量丰富，一次实验就可以对小鼠的自发活动、探索行为及焦虑、抑郁状态进行定量评价，人类难以治愈的许多疾病都可以在小鼠身上进行模拟，故其活动范围、活动频率、特定体态等行为指标广泛应用于药物作用的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点检测的小鼠旷场实验运动行为分析方法，其特征在于：包括：(a)采集实验视频，确定实验区域；(b)基于卷积神经网络的小鼠关键点检测模型，检测视频图像中小鼠的鼻尖、左耳、右耳和尾根，返回关键点坐标；(c)计算相邻帧间关键点的运动距离，以距离阈值筛选出异常关键点；(d)对关键点坐标进行清洗，使用卡尔曼滤波预测轨迹，消除测量误差的影响；(e)由计算得到的关键点坐标确定小鼠旷场实验中的运动参数，生成相关图形报表；所述步骤(a)中，使用摄像头采集图像，显示图像的正中央存在一正方形区域，实验时将旷场实验箱底部对准正方形区域，人为确定实验网格的数量，程序自动划分网格区域；所述步骤(b)中的小鼠关键点检测模型基于卷积神经网络实现，检测图像中小鼠的鼻尖、左耳、右耳和尾根，该模型具有如下特征：(b1)基于空洞卷积扩大网络的感受野，并采用具有不同膨胀率的空洞卷积捕捉多尺度信息；(b2)网络整体采用编解码结构，编码部分使用残差网络进行特征提取和数据降维，解码部分使用转置卷积提高分辨率，并且采用跳跃连接的方式融合深浅层特征；(b3)使用热力图加坐标偏移的方式预测关键点，提升预测关键点坐标的精准性，在计算损失函数时需要计算两部分的损失，对于类别概率部分，使用二分类交叉熵损失，对于坐标预测部分，使用Huber损失；(b4)构建具有直走、静止、修饰、直立、转身5种不同小鼠活动，3种不同摄像高度，4种不同背景的小鼠关键点检测数据集对模型进行训练；(b5)构建小鼠关键点检测数据集对模型进行训练，该数据集包含5种小鼠基本活动，为直走、静止、修饰、直立和转身，3种摄像高度，为60cm、70cm和80cm，4种灰度背景，为白、浅灰、深灰和黑，涵盖了小鼠旷场实验的大部分实验场景；所述步骤(c)中，计算相邻帧间关键点移动的距离，使用箱线图判断移动距离数据的分布，并将移动距离大于Q3+1.5IQR的坐标点定义为异常点；所述步骤(d)中,对步骤(c)中检测出的关键点进行插值处理，消除异常值的影响，进一步使用卡尔曼滤波预测关键点坐标，消除测量误差的影响；所述步骤(e)中，使用处理后的四个关键点的坐标计算行为学实验中的运动参数，利用两耳中间点坐标计算小鼠所在的位置、运动的速度，并绘制运动轨迹；利用两耳中间点和尾根连线可计算小鼠在相邻帧偏转的角度，进而计算小鼠运动的角速度、旋转的圈数；利用鼻尖和两耳中间点连线可判别小鼠嗅探的方向；所述步骤(e)中，根据步骤(a)中设定的网格数量，自动统计各网格内的运动参数，并自行对比外网格和内网格运动参数，实现计算实验小鼠在旷场实验箱中所在网格的时序图，各个网格内的运动速度，滞留次数，滞留时间和运动路程。2.根据权利要求1所述的基于关键点检测的小鼠旷场实验运动行为分析方法，其特征在于：步骤(a)中采集实验视频，确定实验区域的方法为：(a1)采用的摄像头为USB变焦摄像头，采集图像尺寸为640*480，帧率为30，摄像头距离旷场实验箱底部70cm左右，实验时，通过调节摄像头焦距及角度将图像中的正方形框对准到旷场实验箱底部，以确定实验区域；
(a2)采用的旷场实验箱尺寸为45*45*40cm，背景颜色采用与小鼠身体颜色对比度高的白色和浅灰色，实验时将实验设备放置到黑暗安静的环境中，使用暖色补光灯提供照明；(a3)在算法中人为设定旷场实验要划分的网格数量，并定义外网格及内网格区域，实验时设定实验时间，算法自行记录视频，并生成.avi格式的视频文件。3.根据权利要求1所述的基于关键点检测的小鼠旷场实验运动行为分析方法，其特征在于：步骤(b)中对步骤(a)中采集的视频进行关键点检测，基于卷积神经网络的关键点检测模型具有如下特征：(1)小鼠关键点检测模型输入为640*480大小，主干网络为具有5个残差块的残差网络，残差网络用于特征提取与数据降维，图像经残差网络后下采样16倍输出40*30*2048的特征图，然后使用转置卷积提高分辨率，进行4倍的上采样，输出80*60*12的特征图，分别用于类别预测与坐标偏移；(2)小鼠关键点检测模型使用空洞卷积扩大网络的感受野，并融合多尺度信息；在残差模块的block4模块中第一个残差单元的3*3卷积代替为ASPP模块，ASPP模块中具有1个1
×
1卷积，膨胀率分别为1、2、4的3
×
3空洞卷积，和一个全局平均池化；(3)小鼠关键点检测模型使用解编码结构融合深浅层特征，block3中的特征图和deconv2拼接，block4中的特征图与deconv1拼接，以此融合深浅层特征；(4)小鼠关键点检测模型使用热力图和坐标偏移的方式预测关键点，模型输出80*60*12的特征图，其中80*16*4用来预测关键点的类别概率，其余80*16*8用于预测关键点现对于所在网格中心点的坐标偏移，在计算损失函数时，需要计算两部分的损失函数，如式1
‑
3所示，类别概率部分使用二分类交叉熵损失，坐标预测使用Huber损失；...

【专利技术属性】
技术研发人员：朱俊才，王治忠，徐正阳，王松伟，牛晓可，杨庭瑞，张彦昆，
申请(专利权)人：郑州布恩科技有限公司，
类型：发明
国别省市：