一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统技术方案

本发明专利技术公开了一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统，该系统包含注意力机制模块M1、局部姿态识别模型训练模块M2，局部姿态识别预测模块M3、全局姿态还原模块M4，实现了对佩戴有光纤设备的动物行为学红外低分辨率视频的关键节点高精度识别，大幅度减少了人工校验的时长解决了动物蜷缩、旋转以及拍摄光照波动等问题的影响，可广泛应用于脑成像领域。

【技术实现步骤摘要】
一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统本专利技术涉及图像处理领域，特别涉及一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统。
技术介绍
神经元的行为与动物活动息息相关。为了探索特定行为下由神经元构成的复杂网络是如何连接和交互的，常常需要对动物行为进行定量分析。在当前的大数据高频率采集条件下，手工处理的效率既耗时又容易出错，但由于自然动物行为的动态性、复杂性以及周围因素干扰，使得自动识别存在极大的挑战。佩戴有微型显微镜的动物，在激光信号传输过程中头部带有光纤，由于光纤的遮挡和晃动会对行为分析造成较大的挑战。同时，在长时间实验记录过程中，图像光照等环境条件常常会发生不可忽略的波动，对特征的稳定性造成干扰。除此之外，为了不干扰穿戴式荧光显微镜激发成像，在记录的行为时常常使用红外摄像机记录，而红外图像往往对比度低、分辨率差、纹理信息模糊，显著增加了实验动物行为的自动识别难度。前人尝试使用物理标记的方法会干扰动物的自然行为；也有人尝试利用深度相机在自然空间中对动物行为进行定位，但这些技术的成像条件和对场景变化敏感；传统的姿态识别方法依赖于特征本文档来自技高网...

【技术保护点】
1.一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统，其特征在于：该系统包含注意力机制模块M1、局部姿态识别模型训练模块M2，局部姿态识别预测模块M3、全局姿态还原模块M4，其中：/n注意力机制模块M1功能为将采集到的动物行为学图像序列

【技术特征摘要】
1.一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统，其特征在于：该系统包含注意力机制模块M1、局部姿态识别模型训练模块M2，局部姿态识别预测模块M3、全局姿态还原模块M4，其中：
注意力机制模块M1功能为将采集到的动物行为学图像序列中，通过目标检测方法逐帧检测动物的质心位置，得到动物质心位置坐标序列{(xj，yj)，j＝1....t}，以动物质心位置坐标(xj，yj)为矩形中心，根据图像坐标范围为获取长为s、宽为z的矩形裁剪图像将每帧对应的裁剪图像按照采集时间排列，得到包含目标动物的裁剪图像序列其中t为总采样帧数；
局部姿态识别模型训练模块M2功能为由目标动物裁剪图像序列分别生成训练图像序列和预测图像序列根据图像序列输入群等变RseNet-50卷积神经网络训练得到局部姿态识别模型T；
局部姿态识别预测模块M3利用局部姿态识别模型T和群等变RseNet-50卷积神经网络预测机制，对图像序列进行动物关键节点局部置信度预测，得到关键节点局部置信度图像序列及局部预测关键点坐标序列
全局姿态还原模块M4功能为利用局部预测关键点坐标序列与动物质心位置坐标序列{(xj，yj)，j＝1....NP}的像素坐标匹配关系，得到全局关键点坐标序列


2.如权利要求1所述的一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统，其特征在于所述的注意力机制模块M1中的目标检测采用粒子滤波算法，其步骤为：
第一步，在初始时刻假设目标动物的颜色分布为{qu}u＝1，2，...，B，统计空间信息，计算落入每个区间的像素位置的均值向量和协方差矩阵；
第二步：根据假设目标动物的颜色分布建立初始状态样本集其中N表示设置跟踪粒子数；
第三步：计算粒子状态转移，在时刻k(k＞0)，根据重要性采样原理和前一时刻的粒子位置预测此刻的粒子的状态；
第四步：粒子权值计算，根据通过当前时刻的观测值Zt来计算每个粒子的权重，之后进行归一化处理：计算k时刻目标状态的最小均方误差估计：
第五步：重采样，根据样本的权值从样本集重新抽取N个样本，对粒子集...

【专利技术属性】
技术研发人员：王瑶，高伟政，
申请(专利权)人：南京景瑞康分子医药科技有限公司，
类型：发明
国别省市：江苏;32