一种斑马鱼心血管功能智能识别与评价方法技术

本发明专利技术公开了一种斑马鱼心血管功能智能识别与评价方法，所述方法通过拍摄斑马鱼显微镜下图像，预处理后输入训练好的斑马鱼识别分类模型，过滤掉不利于观测的斑马鱼图像，再通过斑马鱼细胞、组织分割模型得到细胞或组织的分割结果，经过细胞追踪算法与波形分析得到血细胞流速、心率、射血分数的信息数据，以评估心血管功能并将其可视化。所述方法能够提升斑马鱼实验数据分析处理的效率，自动从实验获取的大量图像中筛选合适的图像数据并分析得到具有研究价值的评估心血管功能的信息数据，减少人工操作，处理流程简单，需要调整的参数相对较少，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。物的研发提供有力的技术支持。

【技术实现步骤摘要】
一种斑马鱼心血管功能智能识别与评价方法


[0001]本专利技术涉及图像处理领域，具体为一种斑马鱼心血管功能智能识别与评价方法。

技术介绍

[0002]斑马鱼作为小型模式生物，其具有体积小、基因组成与人类相近、幼鱼身体光学透明便于观察、快速生长繁殖优点，被广泛应用于生物医学研究实验。显微镜技术进步使研究人员能够获得大量斑马鱼显微图像，通过分析这些显微图像，可以获取心率、射血分数与血流细胞流速的信息数据以用于评估心血管功能，从而评估药物效果、进行基因遗传学分析或心血管疾病研究。
[0003]然而，由于在录制活体斑马鱼图像过程中，往往会出现图像中斑马鱼位姿扭曲畸形、斑马鱼所处位姿无法清晰地观察到指定器官组织、斑马鱼被杂物遮挡等情况，人工整理筛选出便于分析的斑马鱼图像相当繁琐费时。计算血流细胞流速时，人工地追踪连续多帧上多个细胞，效率低。现有的多目标自动追踪方法大多可以分成三个步骤，获取检测结果，提取检测目标外观特征或运动特征，根据特征匹配前后两帧检测到的目标。检测的效果对追踪结果影响很大，现有的检测方案大多基于诸如YOLO、Fast R
‑
CNN等深度学习目标检测模型或是传统的二值化方法，然而由于获取的斑马鱼图像存在细胞粘连、分辨率低、背景噪声，明暗变化的现象，检测往往存在较大误差。YOLO、Fast R
‑
CNN深度学习目标检测模型训练还需要大量的标注好的图像数据，实验成本较大。计算心率、射血分数时，现有的方法通常是对斑马鱼心脏荧光图像设定动态或静态阈值二值化处理提取分割心脏区域，获取心脏面积，通过每一帧与初始帧的差值查找波峰波谷，这种方法在图片分辨率低、明暗变化、其他组织部位微弱荧光干扰的情况下效果相对较差。而且在计算心率和射血分数时，由于心脏面积波形存在毛刺以及噪声，帧差法查找波峰波谷准确性相对较差。
[0004]因此，亟待开发一种智能化、自动化的斑马鱼心血管功能识别与评价方法，用于斑马鱼的相关实验研究。

技术实现思路

[0005]本专利技术的目的在于提升从斑马鱼图像中分析计算斑马鱼心率、射血分数、血流细胞流速的数据处理流程的自动化、智能化程度，以更好地评估斑马鱼心血管功能，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。
[0006]为了实现上述目的，本专利技术采用的技术方案为：
[0007]一种斑马鱼心血管功能智能识别与评价方法，包括：对红细胞荧光斑马鱼视频、心脏荧光斑马鱼视频的每一帧图像进行预处理，然后分别利用构建的斑马鱼图像识别分类模型筛选出适合姿态的细胞荧光时序图像和心脏荧光时序图像；将筛选的时序图像进行预处理，利用构建的斑马鱼图像细胞/心脏分割模型分别对细胞荧光时序图像中的细胞、心脏荧光时序图像的心脏进行分割；然后：对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速；对分割出的心脏计算心脏区域的面积，绘制心脏面积随时
间变化波形图，获取射血分数，心率数据；最后输出细胞流速、心率、射血分数的信息数据，以评估心血管功能。
[0008]作为优选，构建所述斑马鱼图像识别分类模型时，包括如下步骤：
[0009](A
‑
1)分别采集细胞荧光斑马鱼图像/心脏荧光斑马鱼图像，对图像进行调整尺寸和数据增强，完成图像的预处理；
[0010](A
‑
2)对预处理后的图像，进行人工分类，以带有分类信息的图像作为数据集对斑马鱼图像识别分类模型进行训练，获得斑马鱼图像识别分类模型以对细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行分类。
[0011]作为优选，进行分类时，按照侧向位姿、腹向位姿、背向位姿、视野没有斑马鱼、斑马鱼位姿扭曲畸形分类。也可以根据需要增加或者删除分类。以满足各种计算和评估的需要。
[0012]作为优选，所述斑马鱼图像识别分类模型采用resnet50神经网络模型；训练过程中，使用随机梯度下降法作为模型训练的优化器，采用交叉熵损失函数作为损失函数；由imagenet数据集上训练好的模型初始化模型参数作为resnet50神经网络模型的初始化模型参数。
[0013]作为优选，构建所述斑马鱼图像细胞/心脏分割模型时，包括如下步骤：
[0014](B
‑
1)对利用斑马鱼图像识别分类模型筛选出来的细胞荧光时序图像/心脏荧光时序图像，分别进行调整大小和数据增强，完成图像的预处理；
[0015](B
‑
2)对预处理后的图像中的感兴趣区域进行标注，得到掩膜，以图像和对应的掩模作为数据集，对分割模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行细胞分割和心脏分割的斑马鱼图像细胞分割模型和斑马鱼图像心脏分割模型。
[0016]作为优选，所述分割模型采用unet分割模型；训练时使用Adam优化器优化模型参数，采用dice损失函数作为损失函数。
[0017]实际识别与评价时，可以利用相机录制斑马鱼显微图像，传输至计算机中并存储；然后转化为多帧图像，进一步预处理后进行所述的斑马鱼心血管功能智能识别与评价。
[0018]作为优选，对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞流速的具体步骤如下：
[0019](C
‑
1)对所述斑马鱼图像细胞/心脏分割模型输出的图像进行形态学开运算和形态学腐蚀操作，得相互分离的细胞区域；
[0020](C
‑
2)提取细胞区域的轮廓，计算轮廓的包围盒，作为各帧图像中细胞的包围盒；
[0021](C
‑
3)利用卡尔曼滤波器和匈牙利匹配算法完成每个细胞的匹配跟踪，获得每个细胞的运动轨迹；
[0022](C
‑
4)根据细胞运动轨迹，计算每个被追踪的细胞在被追踪期间的平均移动速度，进而获得细胞流速。
[0023]作为优选，步骤(C
‑
3)中：
[0024](I)针对某一目标细胞，根据该细胞上一帧的状态，利用卡尔曼滤波器预估获取该目标细胞在当前帧的预测包围盒；
[0025](II)计算预测包围盒和当前帧实际检测到的包围盒的交并比，构建分配代价矩阵，将分配代价矩阵输入匈牙利匹配算法，获取匹配结果，更新轨迹：(i)若存在实际检测到
的包围盒与预测包围盒相匹配，则以该实际检测到的包围盒信息更新目标细胞的状态；(ii)若在设定时间内都没有检测到细胞包围盒与预测包围盒匹配，则不再追踪；(iii)如果某个检测得到的细胞包围盒和所有现有的目标的交并比都小于设定值，建立一个新的追踪目标。
[0026]作为优选，对分割出的心脏区域计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据时，包括如下步骤：
[0027](D
‑
1)针对分割出的心脏区域，提取斑马鱼心脏轮廓，计算每一帧斑马鱼心脏区域的面积；
[0028](D
‑
2)绘制心脏面积随时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种斑马鱼心血管功能智能识别与评价方法，其特征在于，包括：对细胞荧光斑马鱼视频、心脏荧光斑马鱼视频的每一帧图像进行预处理，然后分别利用构建的斑马鱼图像识别分类模型筛选出适合姿态的细胞荧光时序图像和心脏荧光时序图像；将筛选的时序图像进行预处理，利用构建的斑马鱼图像细胞/心脏分割模型分别对细胞荧光时序图像中的细胞、心脏荧光时序图像的心脏进行分割；然后：对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速；对分割出的心脏计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据；最后输出细胞流速、心率、射血分数的信息数据，以评估心血管功能。2.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，构建所述斑马鱼图像识别分类模型时，包括如下步骤：(A
‑
1)分别采集细胞荧光斑马鱼图像/心脏荧光斑马鱼图像，对图像进行调整尺寸和数据增强，完成图像的预处理；(A
‑
2)对预处理后的图像，进行人工分类，以带有分类信息的图像作为数据集对分类模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行分类的斑马鱼图像识别分类模型。3.根据权利要求2所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，所述斑马鱼图像识别分类模型采用resnet50神经网络模型；训练过程中，使用随机梯度下降法作为模型训练的优化器，采用交叉熵损失函数作为损失函数；由imagenet数据集上训练好的模型初始化模型参数作为resnet50神经网络模型的初始化模型参数。4.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，构建所述斑马鱼图像细胞/心脏分割模型时，包括如下步骤：(B
‑
1)对利用斑马鱼图像识别分类模型筛选出来的细胞荧光时序图像/心脏荧光时序图像，分别进行调整大小和数据增强，完成图像的预处理；(B
‑
2)对预处理后的图像中的感兴趣区域进行标注，得到掩膜，以图像和对应的掩模作为数据集，对分割模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行细胞分割和心脏分割的斑马鱼图像细胞分割模型和斑马鱼图像心脏分割模型。5.根据权利要求4所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，所述斑马鱼图像细胞/心脏分割模型采用unet分割模型；训练时使用Adam优化器优化模型参数，采用dice损失函数作为损失函数。6.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速的具体步骤如下：(C
‑
1)对所述斑马鱼图像细胞分割模型输出的图像进行形态学开运算和形态学腐蚀操作，消除图像上微小噪点，分离粘连的细胞；(C
‑
2)提取细胞区域的轮廓，计算轮廓的包围盒，作为各...

【专利技术属性】
技术研发人员：贺永，纪海纳，李杨宁，
申请(专利权)人：浙江大学，
类型：发明
国别省市：