【技术实现步骤摘要】
本专利技术涉及目标检测及姿态估计，尤其涉及基于yolo和st-gcn算法融合的实验鼠类行为分析方法。
技术介绍
1、啮齿动物，尤其鼠类是较常用的实验对象，对实验鼠类动物的行为分析是科学研究中不可或缺的一部分。自1965年以来，涉及大鼠和小鼠的学术论文及引文的数量快速增长，实验室中大鼠和小鼠的使用日益增多。在大量鼠类实验中，通常进行分类处理和对比实验，通过解剖、称重等方式分析实验动物的组间差异。对实验动物的定量行为分析可以提供一种直观且无创的途径，帮助研究者更好地研究实验动物的神经功能、心理过程、药物作用等，不仅便于控制实验条件，提高实验的准确性和可重复性，还可以用动物行为数据解释实验结果，为科学研究提供可靠的数据和结论。在生物医学研究、药物研发和动物医疗等领域，对实验动物的检测和行为分析主要基于获取实验动物的位置、姿态、轨迹等基本运动信息，进而进行其行为数据的研究，从而保证实验可靠性，探索复杂的生命现象。
2、在对实验鼠类动物进行实验时往往需要对其行为进行长期拍摄以便进行后续分析，基于深度学习的目标检测和姿态估计算法无需人工或外物干预，针对目标动物的一段影像记录进行分析，检测实验鼠类动物更多更细致的肢体关键点，获得更全面更准确的行为数据，在行为分析方面具有巨大的优势。
3、申请号为cn201910756856.4的专利技术虽然能够做到实时追踪小鼠活动，并且基于小鼠范围矩形是否交叉判断其异常行为，但是仅仅实现了目标检测，不能对小鼠的动态骨架和姿态进行分析。用矩形交叉判断行为的方法误差较大，不能对更细致的行为
4、申请号为cn202010514432.x的专利技术提出了一种基于yolo的关键点目标检测方法，虽然能够做到关键点目标检测，但是只能检测人脸五个关键点，局限性较小，无法应用在实验鼠类动物行为分析中。
技术实现思路
1、本专利技术公开了基于yolo和st-gcn算法融合的实验鼠类行为分析装置和方法。目的是对实验鼠类动物行为进行更灵活、精细、全面的测量，无干扰地检测分析鼠类动物行为，保障实验结果的客观性，为科学研究提供可靠的数据和结论。其中，所述装置和方法包括yolo和st-gcn融合模型、行为分析系统。
2、所述行为分析系统部署于可供连接的主板，并且搭配usb摄像头硬件，该硬件应具有夜视功能，用于在实时动态环境下采集实验鼠类动物的图像或视频后送入行为分析系统。通过yolo算法模型实现目标检测和姿态估计，自动捕捉动态骨骼点，准确获取实验鼠类动物的骨骼点数据，然后通过st-gcn算法模型对上一模型得出的数据进行动态骨架建模，实现实验鼠类动物的行为分析，并得出目标的行为识别、质心数据、肢体长度、运动轨迹等行为数据。
3、实验鼠类动物数据集的数据标定，数据集中包含至少一个鼠类动物目标的图像，根据数据集的类型不同分为静态图像数据集和时序视频数据集；所述静态图像数据集用于yolo对实验鼠类动物的目标检测，提取17个特征值，包括1个目标检测框特征和16个骨架点特征；所述时序视频数据集用于st-gcn对实验鼠类动物的行为分类，标定8种行为，能够较全面地描述其姿态；
4、融合yolo和st-gcn算法进行模型训练，得到训练后的实验鼠类动物的行为分析模型，即实验鼠类动物的行为分析模型包括最优yolo模型和经评估后的st-gcn模型；所述最优yolo模型用于鼠类动物的目标检测和姿态估计，自动捕捉动态骨骼点数据；所述经评估后的st-gcn模型用于对上一模型得出的数据进行动态骨架建模，实现实验鼠类动物的行为分析；
5、所述行为分析系统部署在可供连接的主板，并且搭配有usb摄像头硬件用于采集实验鼠类动物的图像或视频后送入行为分析系统。所述行为分析系统根据目标动作模式的行为识别、质心数据、肢体长度、运动轨迹等行为数据。
6、本专利技术中，采用两种算法融合实现目标检测和姿态估计，自动捕捉动态骨骼点，动态骨架建模，实现实验鼠类动物的行为分析。两种深度学习算法如下：
7、yolo算法：yolo算法属于单阶段目标检测算法，基于整张图片进行预测，用于解决目标检测和姿态估计问题。通过yolo算法模型实现目标检测和姿态估计，不仅能准确识别鼠类目标，还能自动捕捉动态骨骼点，准确获取实验鼠类动物的骨骼点数据。
8、st-gcn算法：st-gcn算法将图卷积网络扩展到时空图模型，是一种通过提取骨骼关节点在时间和空间上的特征，对动态骨架建模完成动作识别的方法。st-gcn接收来自上述最优目标检测模型提取的实验鼠类动物骨骼关键点数据作为输入，通过骨架时空图映射构建实验鼠类动物动态骨架。
9、具体包括如下步骤：
10、步骤1，所述静态图像数据集提取17个特征值，包括目标检测框、鼻点、左耳、右耳、颈部点、左前膝、左前爪、左后膝、左后爪、右前膝、右前爪、右后膝、右后爪、背起点、背中点、背终点、尾点。所述时序视频数据集标定8种行为，包括蹲卧、弯曲、伸展、站立、修饰、悬挂、饮水、进食；
11、步骤2，首先通过yolo算法得到实验鼠类动物的预测框(bounding box)，同时得到各个骨骼点(keypoints)坐标数据。yolo模型对每个预测框，输出预测框中心坐标、预测框高度和宽度、预测框置信度和识别置信度：
12、bbox＝{cx,cy,height,width,boxconf,clsconf}
13、式中，bbox表示目标检测预测框的相关信息集合，cx表示输出预测框中心点横坐标，cy表示输出预测框中心点纵坐标，height表示预测框高度，width表示预测框宽度，boxconf表示预测框置信度，clsconf表示识别置信度；
14、对每个骨骼点，包含坐标位置和置信度(x,y,conf)：
15、kn＝{k0x,k0y,k0conf0,k1x,k1y,k1conf1,...,knx,kny,knconfn}
16、共定义了16个骨骼点，n＝0,1,...,15；(knx,kny)表示每一个骨骼关键点，conf表示骨骼关键点的置信度。
17、步骤3，st-gcn模型使用时序视频数据集进行训练，其接收来自上述yolo模型提取的实验鼠类动物骨骼关键点kn数据作为输入，通过时序信息和骨架时空图映射构建实验鼠类动物动态骨架。骨架时空图由节点(node)和边(edge)组成，其中节点就是骨架中的骨骼点，边存在两种连接关系，一种是同一帧内某个骨架数据各个节点之间的连接关系，另一是同一节点在不同帧之间的连接关系。时空图g＝(v,e)的计算公式如下：
18、v＝{vti|t＝1,...,n,i＝1,...,n}
19、es＝{vtivtj|(i,j)∈h}
20、ef＝{vtiv(t+1)i}
21、其中v为实验鼠类动物骨骼关键点特征，用于构造单帧的空间域，vti表示不同节点的特征，t表示不同帧的节点，i表示同一帧中不同节本文档来自技高网...
【技术保护点】
1.一种基于YOLO和ST-GCN算法的针对实验鼠类动物骨架建模的行为分析装置，其特征在于，所述装置包括摄像头、采集卡、主板和处理器，所述摄像头用于采集实验鼠类动物的图像或视频，图像或视频数据通过采集卡传输至主板；主板部署有YOLO和ST-GCN融合算法，以实现对实验鼠类动物骨架建模的行为分析；
2.根据权利要求1所述的装置，其特征在于，所述YOLO和ST-GCN融合算法具体是：
3.根据权利要求2所述的装置，其特征在于，所述最优YOLO模型是通过以下步骤训练获得：
4.根据权利要求2所述的装置，其特征在于，所述最优ST-GCN模型通过以下步骤获得：
5.根据权利要求2所述的装置，其特征在于，所述16个骨骼点包括鼻点、左耳、右耳、颈部点、左前膝、左前爪、左后膝、左后爪、右前膝、右前爪、右后膝、右后爪、背起点、背中点、背终点、尾点。
6.根据权利要求2所述的装置，其特征在于，所述8种行为包括蹲卧、弯曲、伸展、站立、修饰、悬挂、饮水、进食。
7.根据权利要求1所述的装置，其特征在于，所述摄像头为具有夜视功能的US
8.一种基于YOLO和ST-GCN算法的针对实验鼠类动物骨架建模的行为分析方法，基于权利要求1-7任一项所述的装置，其特征在于摄像头采集图像数据传输至主板，基于所采集图像数据分析实验鼠类的行为，具体包括：
9.根据权利要求8所述的方法，其特征在于，所述标准的SoftMax分类器通过以下步骤获得姿态估计预测结果：
10.根据权利要求8所述的方法，其特征在于它还包括骨架建模：ST-GCN模型接收来自最优YOLO模型提取的实验鼠类动物骨骼关键点Kn数据作为输入，通过时序信息和骨架时空图映射构建实验鼠类动物动态骨架。
...【技术特征摘要】
1.一种基于yolo和st-gcn算法的针对实验鼠类动物骨架建模的行为分析装置，其特征在于，所述装置包括摄像头、采集卡、主板和处理器，所述摄像头用于采集实验鼠类动物的图像或视频，图像或视频数据通过采集卡传输至主板；主板部署有yolo和st-gcn融合算法，以实现对实验鼠类动物骨架建模的行为分析；
2.根据权利要求1所述的装置，其特征在于，所述yolo和st-gcn融合算法具体是：
3.根据权利要求2所述的装置，其特征在于，所述最优yolo模型是通过以下步骤训练获得：
4.根据权利要求2所述的装置，其特征在于，所述最优st-gcn模型通过以下步骤获得：
5.根据权利要求2所述的装置，其特征在于，所述16个骨骼点包括鼻点、左耳、右耳、颈部点、左前膝、左前爪、左后膝、左后爪、右前膝、右前爪、右后膝、右后爪、背起点、背中点、背终...
【专利技术属性】
技术研发人员：朱松盛，曾宪州，龚明雄，尹源畅，赵亦婷，
申请(专利权)人：南京医科大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。