基于联合模型的弯曲染色体图像拉直方法技术

本发明专利技术公开了一种基于联合模型的弯曲染色体图像拉直方法，其包括：作用形变场到现实笔直染色体来实现弯曲染色体的模拟；通过第一UNet编码器的卷积操作和Transformer层的自注意力引导来提取现实笔直染色体和模拟弯曲染色体各自的局部和全局形态学特征，使用解码回归建立两种染色体的形态学特征映射关系，即为形态学拉直形变场；计算长度和弯曲程度，从结构上进一步修正形态学拉直形变场，得到初次修正的形态学拉直形变场；接着通过第二UNet对初次修正的形态学拉直形变场再次进行形态学和结构的二次细节修正优化；最后将待预测的现实弯曲染色体依次输入到初次修正和二次修正的形态学拉直形变场，即可得到最终的拉直染色体。本发明专利技术方法通用性强、准确性高。准确性高。准确性高。

Straightening method of curved chromosome image based on joint model

【技术实现步骤摘要】
基于联合模型的弯曲染色体图像拉直方法


[0001]本专利技术涉及医学图像处理领域，尤其涉及基于联合模型的弯曲染色体图像拉直方法。

技术介绍

[0002]染色体核型分析是研究特纳综合征、唐氏综合征和克里杜聊天综合症等遗传疾病的基本步骤，因为染色体的非刚性的特点，它们在染色的显微图像中往往会随机弯曲。这种弯曲变形会增加条带特征的分析的难度，阻碍染色体类型的分类及异常的识别。染色体矫正可以让细胞遗传学家更清楚地观察分析染色体，从而提高染色体核型分析的效率。在弯曲染色体矫正中，形态学特征（条带信息）和结构特征可以用于染色体类型的分类及异常的识别。因此在矫正过程中，保留二者的特征是十分重要的。
[0003]之前针对染色体拉直任务的工作主要与几何方法相关，可以大致分为两个方向：提取中轴线作为拉直染色体信息还原的参考和利用弯曲点对染色体进行分段。对于前者，大多数染色体拉直方法一般使用形态学进行区域的腐蚀操作，先获取粗略的中心线结果，然后通过连通域的计算来删除连通域较多的点，从而对提取的粗略中心线进行优化，得到精细的中心线。此中心线将作为参考用于染色体的拉直，而染色体的细节部分将沿着该中心线进行迭代插值和还原。然而由于这类方法不容易准确提取中心线，染色体往往不能按照正确的参考中心线进行特征还原，拉直染色体的条带信息容易丢失。
[0004]另一类方法利用弯曲点来拉直染色体。对于该类方法，一般需要人为标记或通过分析水平和垂直方向的投影向量来获取弯曲点作为染色体分段的关键点。在用弯曲点对染色体进行分段之后，该类方法将会对这些染色体段进行旋转和插值缝合以重建得到拉直的染色体。尽管这类几何方法可以拉直染色体，但部分染色体的插值缝合可能包含不连续的条带特征且部分结构可能发生改变。
[0005]深度学习技术在染色体类型分类方面取得了巨大成就，但很少有研究将深度学习应用于染色体的拉直任务上。也有研发人员开发了首个基于深度学习的变换模型来矫正染色体中的形态。该方法应用条件生成对抗网络来创建弯曲染色体和骨架图之间的映射。虽然校正后的染色体有效地保留条带特征，但染色体长度未能保持一致。此外，对于每条特定的染色体都需要开发一个特殊的模型用于染色体的拉直校正。因此此方法在临床实践中应用的可行性需要进一步考量。

技术实现思路

[0006]本专利技术的目的在于针对目前染色体拉直后染色体形态学和结构特征保留较差，拉直算法通用性不强的问题，提供一种适用于不同曲率不同类型的弯曲染色体拉直方法。
[0007]本专利技术的目的是通过以下技术方案来实现的：一种基于联合模型的弯曲染色体图像拉直方法，所述联合模型包括由在第一UNet网络的编码器和解码器之间嵌入Transformer网络中的Transformer层所形成的融合网络
TransUNet，以及第二UNet网络；所述TransUNet用于构建融合染色体形态学和结构的特征关系；所述第二UNet网络用于对TransUNet构建的特征关系进行优化；该方法包括如下步骤：步骤一：选取现实中染色体图像数据，计算每个染色体的弯曲程度，选取弯曲程度小于设定阈值的染色体，作为现实笔直染色体，在其上作用不同力度的形变场来生成对应的模拟弯曲染色体；步骤二：通过第一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的局部的形态学特征，再通过Transformer层的自注意力引导分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的全局形态学特征；基于全局和局部形态学特征，使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系，根据形态学特征关系计算形态学拉直形变场，然后将形态学拉直形变场作用在模拟弯曲染色体上，得到初步预测的拉直染色体；步骤三：计算现实笔直染色体和初步预测的拉直染色体的长度和曲率，以笔直染色体为目标，初次修正形态学拉直形变场，并将初次修正后的形态学拉直形变场作用在初步预测的拉直染色体上，得到结构校正的拉直染色体；步骤四：利用第二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉直染色体的特征信息，参照步骤二和步骤三，从形态学和结构方面对形态学拉直形变场再进行细节上的优化，得到二次修正的形态学拉直形变场；步骤五：将待预测的现实弯曲染色体图像数据输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体。
[0008]进一步地，所述步骤一包括如下子步骤：（1.1）根据中心线算法提取现实中染色体图像数据的中心线集L
c
，在中心线上等间距选取五个点，并计算染色体的弯曲程度S
d
，选取S
d
小于设定阈值的染色体构建现实笔直染色体集C
s
，其中，x,y为中心线上等间距选取的五个点的坐标；（1.2）利用步骤（1.1）中得到的一条现实笔直染色体c
s
，c
s
属于C
s
中的一条染色体，构建一个与染色体图像大小相同的形变场M，在形变场上随机选取该染色体中心线l
c
上的点i，作用在点i上的力为p
i
，生成一个表示力作用的变形方向的随机向量v和表示力作用强度的权重w，得到形变作用力p
i
+wv；（1.3）利用步骤（1.2）中得到的形变作用力p
i
+wv，对染色体c
s
进行弯曲，得到模拟弯曲染色体x
b
。
[0009]进一步地，所述步骤二包括如下子步骤：（2.1）将步骤（1.1）得到的现实笔直染色体c
s
和（1.3）得到的对应的模拟弯曲染色体x
b
输入至第一UNet的卷积层，通过卷积层的卷积操作解码分别获得两者对应的局部特征f
lcs
和f
lxb
；
（2.2）将步骤（2.1）得到的局部特征f
lcs
和f
lxb
分别分成相同大小的特征块f
lcsi
和f
lxbi
，并分别按顺序将特征块f
lcsi
和f
lxbi
排序，分别转化成一维序列s
cs
和s
xb
；将s
cs
和s
xb
均映射到拉登空间生成嵌入块向量z
cs
和z
xb
；然后通过Transformer层，利用自注意力引导分别获得与嵌入块向量对应的全局特征向量f
gcs
和f
gxb
；（2.3）将局部特征f
lcs
和全局特征f
gcs
进行融合上采样得到f
cs
，将局部特征f
lxb
和全局特征f
gxb
进行融合上采样得到f
xb
，建立现实笔直染色体c
s
和模拟弯曲染色体x
b
间的形态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述联合模型包括由在第一UNet网络的编码器和解码器之间嵌入Transformer网络中的Transformer层所形成的融合网络TransUNet，以及第二UNet网络；所述TransUNet用于构建融合染色体形态学和结构的特征关系；所述第二UNet网络用于对TransUNet构建的特征关系进行优化；该方法包括如下步骤：步骤一：选取现实中染色体图像数据，计算每个染色体的弯曲程度，选取弯曲程度小于设定阈值的染色体，作为现实笔直染色体，在其上作用不同力度的形变场来生成对应的模拟弯曲染色体；步骤二：通过第一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的局部的形态学特征，再通过Transformer层的自注意力引导分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的全局形态学特征；基于全局和局部形态学特征，使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系，根据形态学特征关系计算形态学拉直形变场，然后将形态学拉直形变场作用在模拟弯曲染色体上，得到初步预测的拉直染色体；步骤三：计算现实笔直染色体和初步预测的拉直染色体的长度和曲率，以笔直染色体为目标，初次修正形态学拉直形变场，并将初次修正后的形态学拉直形变场作用在初步预测的拉直染色体上，得到结构校正的拉直染色体；步骤四：利用第二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉直染色体的特征信息，参照步骤二和步骤三，从形态学和结构方面对形态学拉直形变场再进行细节上的优化，得到二次修正的形态学拉直形变场；步骤五：将待预测的现实弯曲染色体图像数据输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体。2.根据权利要求1所述的基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述步骤一包括如下子步骤：（1.1）根据中心线算法提取现实中染色体图像数据的中心线集L
c
，在中心线上等间距选取五个点，并计算染色体的弯曲程度S
d
，选取S
d
小于设定阈值的染色体构建现实笔直染色体集C
s
，其中，x,y为中心线上等间距选取的五个点的坐标；（1.2）利用步骤（1.1）中得到的一条现实笔直染色体c
s
，c
s
属于C
s
中的一条染色体，构建一个与染色体图像大小相同的形变场M，在形变场上随机选取该染色体中心线l
c
上的点i，作用在点i上的力为p
i
，生成一个表示力作用的变形方向的随机向量v和表示力作用强度的权重w，得到形变作用力p
i
+wv；（1.3）利用步骤（1.2）中得到的形变作用力p
i
+wv，对染色体c
s
进行弯曲，得到模拟弯曲染色体x
b
。3.根据权利要求2所述的基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述
步骤二包括如下子步骤：（2.1）将步骤（1.1）得到的现实笔直染色体c
s
和（1.3）得到的对应的模拟弯曲染色体x
b
输入至第一UNet的卷积层，通过卷积层的卷积操作解码分别获得两者对应的局部特征f
lcs
和f
lxb
；（2.2）将步骤（2.1）得到的局部特征f
lcs
和f
lxb
分别分成相同大小的特征...

【专利技术属性】
技术研发人员：郑孙易，杨林，李竞雄，水忠益，
申请(专利权)人：西湖大学，
类型：发明
国别省市：