FISH图像信号自动检测分析方法、装置、设备以及介质制造方法及图纸

本发明专利技术涉及图像分割领域，具体涉及FISH图像信号自动检测分析方法、装置、设备以及介质，通过人工智能图像分割方法对一张FISH图像进行肿瘤细胞的识别、背景信号的排除、荧光信号的计数、信号比值的计算以及图像的合成等功能，从而实现对FISH图像信号的自动检测分析，可以更快的处理数据，准确性也非常高，大大减少医生的工作任务，并提高诊断的准确率和工作效率，为乳腺癌患者的靶向治疗及预后预测提供更为精准客观的数据支持。更为精准客观的数据支持。更为精准客观的数据支持。

【技术实现步骤摘要】
FISH图像信号自动检测分析方法、装置、设备以及介质


[0001]本专利技术涉及图像分割领域，特别涉及FISH图像信号自动检测分析方法、装置、设备以及介质。

技术介绍

[0002]乳腺癌是女性最常见的恶性肿瘤之一。我国女性乳腺癌发病率逐年升高, 给女性健康造成极大的威胁。人表皮生长因子受体2（Human epidermal growth factor receptor
‑
2，HER2）过表达是乳腺癌明确的预后指标和药物治疗效果的预测指标，针对该靶点的新药不断涌现，极大地改善了这个群体的预后。因此，HER2基因扩增状态的检测及判读具有重要意义。
[0003]荧光原位杂交（fluorescent in situ hybridization，FISH）是检测HER2基因扩增状态最常用的方法，目前临床病理科多采用人工方法对检测结果进行判读，不仅需要较高的人工成本，且受主观因素及训练程度的影响，人工判读存在较大的观察者间变异。

技术实现思路

[0004]有鉴于此，本专利技术实施例中提供FISH图像信号自动检测分析方法、装置、设备以及介质。
[0005]第一方面，本专利技术实施例中提供一种FISH图像信号自动检测分析方法，包括：利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜，其中所述FISH图像中具有若干个蓝色细胞，所述蓝色细胞内具有团簇状的绿色荧光信号和橙色荧光信号；将得到的多个单细胞的掩膜经过不同通道上的图片映射分别只包含绿色荧光信号或者橙色荧光信号的单细胞图片；利用机器学习分水岭算法设计的信号技术算法对多个所述单细胞图片进行荧光信号计数，分别得到具有橙色荧光信号或绿色荧光信号的单细胞对应的个数。
[0006]作为一种可选的方案，所述利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜之前，还包括：通过对批量细胞数据进行标注，获得可供监督学习的神经网络训练的数据集，将所述数据集按照预设比例分为训练集和测试集；利用所述训练集对所述深度学习神经网络进行训练，待所述深度学习神经网络收敛后利用所述测试集进行测试，待满足要求后确定所述深度学习神经网络完成训练。
[0007]作为一种可选的方案，所述通过对批量细胞数据进行标注之前，还包括：对所述批量细胞数据进行预处理，在数据预处理的阶段，对于所述批量细胞数据进行精细标注，建立用于FISH检测分析的细胞实例分割数据库，所述细胞实例分割数据库为COCO数据集格式，利用labelme标注工具进行精细标注，标注文件为json格式的数据。
[0008]作为一种可选的方案，所述利用预训练好的深度学习神经网络对FISH图像进行实
例分割得到多个单细胞的掩膜之后，还包括：所述深度学习神经网络将单细胞的掩膜以矩形检测框的形式分割为一张张包含单细胞小图。
[0009]作为一种可选的方案，所述利用机器学习分水岭算法设计的信号技术算法对多个所述单细胞图片进行荧光信号计数，分别得到具有橙色荧光信号或绿色荧光信号的单细胞对应的个数，包括：对所述单细胞图片进行灰度化得到灰度图像；通过膨胀得到确定的背景区域，通过距离转换得到确定的前景区域，剩余部分为不确定区域；对所述确定的前景区域进行连接组件处理，得到标记图像；根据所述标记图像对所述单细胞图片利用分水岭算法将所述灰度图像中的所有像素按照灰度值进行分类，并设定测地距离阈值；确定灰度值最小的像素点并标记为灰度值最低点，以所述灰度值最低点为起始点所述测地距离阈值从最小值开始增长；水平面在增长的过程中会碰到周围的邻域像素，测量所述邻域像素到起始点的测地距离，如果小于设定阈值，则将所述邻域像素淹没，否则在所述邻域像素上设置大坝，完成对所述邻域像素的分类；随着水平面越来越高，会设置更多更高的大坝，直到灰度值的最大值，所有区域都在分水岭线上相遇，利用所述大坝完成对整个图像像素的分区；更新标记图像，得到识别结果。
[0010]作为一种可选的方案，所述深度学习神经网络以改进的Mask R
‑
CNN实例分割网络作为主干网络，Mask R
‑
CNN是在Faster R
‑
CNN的基础上加了一个用于预测目标分割Mask的分支，用于预测目标的Bounding Boxes信息、类别信息以及分割Mask信息。
[0011]第二方面，本专利技术实施例中提供一种FISH图像信号自动检测分析装置，包括：分割推理单元，用于利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜，其中所述FISH图像中具有若干个蓝色细胞，所述蓝色细胞内具有团簇状的绿色荧光信号和橙色荧光信号；映射单元，用于将得到的多个单细胞的掩膜经过不同通道上的图片映射分别只包含绿色荧光信号或者橙色荧光信号的单细胞图片；荧光信号计数单元，用于利用机器学习分水岭算法设计的信号技术算法对多个所述单细胞图片进行荧光信号计数，分别得到具有橙色荧光信号或绿色荧光信号的单细胞对应的个数。
[0012]作为一种可选的方案，还包括：预训练单元，用于通过对批量细胞数据进行标注，获得可供监督学习的神经网络训练的数据集，将所述数据集按照预设比例分为训练集和测试集，利用所述训练集对所述深度学习神经网络进行训练，待所述深度学习神经网络收敛后利用所述测试集进行测试，待满足要求后确定所述深度学习神经网络完成训练。
[0013]第三方面，本专利技术实施例中提供一种计算机设备，包括：至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的FISH图像信号自动检测分析方法。
[0014]第四方面，本专利技术实施例中提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的FISH图像信号自动检测分析方法。
[0015]本专利技术实施例中提供一种FISH图像信号自动检测分析方法、装置、设备以及介质，通过人工智能图像分割方法对一张FISH图像进行肿瘤细胞的识别、背景信号的排除、荧光信号的计数、信号比值的计算以及图像的合成等功能，从而实现对FISH图像信号的自动检测分析，可以更快的处理数据，准确性也非常高，大大减少医生的工作任务，并提高诊断的准确率和工作效率，为乳腺癌患者的靶向治疗及预后预测提供更为精准客观的数据支持。
附图说明
[0016]图1为本专利技术实施例中提供一种FISH图像信号自动检测分析方法的流程图；图2为本专利技术实施例中提供一种FISH图像信号自动检测分析方法中样本数据展示示意图；图3a为本专利技术实施例中提供一种FISH图像信号自动检测分析方法中标注样例的示意图；图3b为本专利技术实施例中提供一种FISH图像信号自动检测分析方法中数据库展示的示意图；图4为本专利技术实施例中提供一种FISH图像信号自动检测分析方法中深度学习神经网络的网络架构示意图；图5为本专利技术实施例中提供一种FISH图像信号自动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种FISH图像信号自动检测分析方法，其特征在于，包括：利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜，其中所述FISH图像中具有若干个蓝色细胞，所述蓝色细胞内具有团簇状的绿色荧光信号和橙色荧光信号；将得到的多个单细胞的掩膜经过不同通道上的图片映射分别只包含绿色荧光信号或者橙色荧光信号的单细胞图片；利用机器学习分水岭算法设计的信号技术算法对多个所述单细胞图片进行荧光信号计数，分别得到具有橙色荧光信号或绿色荧光信号的单细胞对应的个数。2.根据权利要求1所述的FISH图像信号自动检测分析方法，其特征在于，所述利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜之前，还包括：通过对批量细胞数据进行标注，获得可供监督学习的神经网络训练的数据集，将所述数据集按照预设比例分为训练集和测试集；利用所述训练集对所述深度学习神经网络进行训练，待所述深度学习神经网络收敛后利用所述测试集进行测试，待满足要求后确定所述深度学习神经网络完成训练。3.根据权利要求2所述的FISH图像信号自动检测分析方法，其特征在于，所述通过对批量细胞数据进行标注之前，还包括：对所述批量细胞数据进行预处理，在数据预处理的阶段，对于所述批量细胞数据进行精细标注，建立用于FISH检测分析的细胞实例分割数据库，所述细胞实例分割数据库为COCO数据集格式，利用labelme标注工具进行精细标注，标注文件为json格式的数据。4.根据权利要求1所述的FISH图像信号自动检测分析方法，其特征在于，所述利用预训练好的深度学习神经网络对FISH图像进行实例分割得到多个单细胞的掩膜之后，还包括：所述深度学习神经网络将单细胞的掩膜以矩形检测框的形式分割为一张张包含单细胞小图。5.根据权利要求1所述的FISH图像信号自动检测分析方法，其特征在于，所述利用机器学习分水岭算法设计的信号技术算法对多个所述单细胞图片进行荧光信号计数，分别得到具有橙色荧光信号或绿色荧光信号的单细胞对应的个数，包括：对所述单细胞图片进行灰度化得到灰度图像；通过膨胀得到确定的背景区域，通过距离转换得到确定的前景区域，剩余部分为不确定区域；对所述确定的前景区域进行连接组件处理，得到标记图像；根据所述标记图像对所述单细胞图片利用分水岭算法将所述灰度图像中的所有像素按照灰度值进行分类，并设定测地距离阈值；确定灰度值最小的像素点并标记为灰度值最低点，以所述灰度值最低点为起始点所述测地距离阈值从最小...

【专利技术属性】
技术研发人员：高文，林慧兰，刘源，郝志成，段秀梅，吴迪，王玥，
申请(专利权)人：吉林大学第一医院，
类型：发明
国别省市：