基于多通道信息融合的细胞分类方法和装置制造方法及图纸

本发明专利技术提供一种基于多通道信息融合的细胞分类方法和装置，通过利用细胞实例分割模型，对细胞核图像进行实例分割，得到细胞核图像中各个细胞的细胞区域后，从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像，再将任一细胞在各通道的细胞荧光图像输入至二分类模型中，以利用二分类模型对该细胞在各通道的细胞荧光图像进行图像特征提取，提取并融合各个通道下的信号点特征，得到该细胞的融合图像特征，并基于该细胞的融合图像特征对该细胞进行分类，得到该细胞的细胞分类结果，可以更好地对细胞荧光图像的信号点特征进行提取和学习，并进行有效的特征融合，从而对该细胞做出更合理的判断，提高了细胞分类的效率和准确率。率和准确率。率和准确率。

【技术实现步骤摘要】
基于多通道信息融合的细胞分类方法和装置


[0001]本专利技术涉及细胞分类
，尤其涉及一种基于多通道信息融合的细胞分类方法和装置。

技术介绍

[0002]荧光原位杂合（Fluorescent In Situ Hybridization，FISH）是一种细胞遗传学技术，可以用来对核酸进行检测和定位。荧光标记的核酸探针只和具有高度相似性的核酸杂合，可用于染色体上基因的定位，或在分子生态学中用来标记不同分类细菌或古菌中的核糖体RNA。基于多个荧光标记的FISH显微成像能够特异性的对于疾病进行高灵敏度的检测，因此对细胞在不同通道下的荧光成像进行检测，可以确认任一细胞是否为目标细胞。例如可以通过四通道荧光信号点图像和Dapi图像对视野内的细胞进行逐个检测判断，确定某一细胞是否为循环异常细胞（Circulating genetically Abnormal Cell，CAC）。
[0003]目前检测CAC细胞的做法通常是根据细胞的Dapi图像对细胞进行定位检测，然后根据定位细胞的四个通道信号点图像的荧光信号点个数来确定该细胞是不是CAC细胞。然而，该传统方法是人工对细胞的每个通道的信号点进行识别、判断，费时费力，效率太低。此外，还有种方式可以基于深度学习的目标检测模型对细胞的荧光信号点进行信号点检测，然后再根据识别出来的荧光信号点数量来判断该细胞是否是CAC细胞。该方式的问题则在于其风险程度高，如果一个通道的荧光信号点未被正确识别，则会影响对该细胞类型的判断，导致细胞分类错误。

技术实现思路

[0004]本专利技术提供一种基于多通道信息融合的细胞分类方法和装置，用以解决现有技术中传统人工检测方式效率太低、基于深度学习的检测方式则风险程度高、容易导致分类错误的缺陷。
[0005]本专利技术提供一种基于多通道信息融合的细胞分类方法，包括：获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像；基于细胞实例分割模型，对所述细胞核图像进行实例分割，得到所述细胞核图像中各个细胞的细胞区域；基于所述细胞核图像中各个细胞的细胞区域，从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像；将任一细胞在各通道的细胞荧光图像输入至二分类模型中，以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取，得到所述任一细胞的融合图像特征，并基于所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果。
[0006]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取，得到所述任一细胞的
融合图像特征，并基于所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果，具体包括：基于所述二分类模型中的特征提取层，分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取，得到所述任一细胞在各通道的通道图像特征；基于所述二分类模型中的融合层，将所述任一细胞在各通道的通道图像特征进行融合，得到所述任一细胞的融合图像特征；基于所述二分类模型中的分类层，结合所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果。
[0007]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述基于所述二分类模型中的特征提取层，分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取，得到所述任一细胞在各通道的通道图像特征，具体包括：基于所述二分类模型的特征提取层中的多个连续深度可分离卷积层，对所述任一细胞在各个通道的细胞荧光图像依次进行图像特征提取，得到最后一层深度可分离卷积层输出的所述任一细胞在各个通道的通道图像特征；其中，每一深度可分离卷积层中的卷积核被分为多组，卷积核的组数与所述细胞荧光图像的数量相同，每一组卷积核用于对相应通道的细胞荧光图像进行图像特征提取，所述特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加。
[0008]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述基于所述二分类模型中的融合层，将所述任一细胞在各通道的通道图像特征进行融合，得到所述任一细胞的融合图像特征，具体包括：基于所述融合层中的初次融合层，对所述任一细胞在各通道的通道图像特征的拼接结果进行初次融合，得到所述任一细胞的初始融合特征；基于所述融合层中的融合编码层，对所述任一细胞的初始融合特征进行特征编码，得到所述任一细胞的融合图像特征。
[0009]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述初次融合层由卷积层构成，所述融合编码层由编码器构成。
[0010]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述二分类模型中的分类层由两个全连接层构成。
[0011]根据本专利技术提供的一种基于多通道信息融合的细胞分类方法，所述细胞实例分割模型和所述二分类模型是基于如下步骤训练得到的：基于样本细胞核图像以及所述样本细胞核图像中每个细胞轮廓的坐标信息，训练得到所述细胞实例分割模型；基于所述样本细胞核图像中每个细胞轮廓的坐标信息，对与所述样本细胞核图像在同一视野下拍摄的各通道的样本荧光信号点图像进行裁切，得到各个样本细胞在各通道的样本细胞荧光图像；基于所述样本细胞在各通道的样本细胞荧光图像以及所述样本细胞的类别标签，训练得到所述二分类模型。
[0012]本专利技术还提供一种基于多通道信息融合的细胞分类装置，包括：图像获取单元，用于获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图
像；细胞分割单元，用于基于细胞实例分割模型，对所述细胞核图像进行实例分割，得到所述细胞核图像中各个细胞的细胞区域；图像切割单元，用于基于所述细胞核图像中各个细胞的细胞区域，从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像；细胞分类单元，用于将任一细胞在各通道的细胞荧光图像输入至二分类模型中，以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取，得到所述任一细胞的融合图像特征，并基于所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果。
[0013]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
[0014]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
[0015]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
[0016]本专利技术提供的基于多通道信息融合的细胞分类方法和装置，通过利用细胞实例分割模型，对细胞核图像进行实例分割，得到细胞核图像中各个细胞的细胞区域后，从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像，再将任一细胞在各通道的细胞荧光图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多通道信息融合的细胞分类方法，其特征在于，包括：获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像；基于细胞实例分割模型，对所述细胞核图像进行实例分割，得到所述细胞核图像中各个细胞的细胞区域；基于所述细胞核图像中各个细胞的细胞区域，从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像；将任一细胞在各通道的细胞荧光图像输入至二分类模型中，以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取，得到所述任一细胞的融合图像特征，并基于所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果。2.根据权利要求1所述的基于多通道信息融合的细胞分类方法，其特征在于，所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取，得到所述任一细胞的融合图像特征，并基于所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果，具体包括：基于所述二分类模型中的特征提取层，分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取，得到所述任一细胞在各通道的通道图像特征；基于所述二分类模型中的融合层，将所述任一细胞在各通道的通道图像特征进行融合，得到所述任一细胞的融合图像特征；基于所述二分类模型中的分类层，结合所述任一细胞的融合图像特征对所述任一细胞进行分类，得到所述任一细胞的细胞分类结果。3.根据权利要求2所述的基于多通道信息融合的细胞分类方法，其特征在于，所述基于所述二分类模型中的特征提取层，分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取，得到所述任一细胞在各通道的通道图像特征，具体包括：基于所述二分类模型的特征提取层中的多个连续深度可分离卷积层，对所述任一细胞在各个通道的细胞荧光图像依次进行图像特征提取，得到最后一层深度可分离卷积层输出的所述任一细胞在各个通道的通道图像特征；其中，每一深度可分离卷积层中的卷积核被分为多组，卷积核的组数与所述细胞荧光图像的数量相同，每一组卷积核用于对相应通道的细胞荧光图像进行图像特征提取，所述特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加。4.根据权利要求2所述的基于多通道信息融合的细胞分类方法，其特征在于，所述基于所述二分类模型中的融合层，将所述任一细胞在各通道的通道图像特征进行融合，得到所述任一细胞的融合图像特...

【专利技术属性】
技术研发人员：吕行，王华嘉，邝英兰，叶莘，
申请(专利权)人：珠海横琴圣澳云智科技有限公司，
类型：发明
国别省市：