基于RNN从病理图片识别微卫星不稳定性状态的方法技术

本发明专利技术提供一种基于RNN从病理图片识别微卫星不稳定性状态的方法，首先获得对患者组织样本进行细胞染色后的目标病理切片图；提取组织区域并按照预设分辨率进行分割，得到所有组织区域的小图片；对所有的小图片进行肿瘤区域/正常区域分类；随机选择预设的N张分类为肿瘤区域的小图片并使用staintools库进行染色归一化；将归一化后的小图片输入预设的特征提取模型中，编码为M维特征向量，得到N

【技术实现步骤摘要】
基于RNN从病理图片识别微卫星不稳定性状态的方法


[0001]本专利技术涉及计算机医学图像信息处理
，特别涉及一种基于RNN从病理图片识别微卫星不稳定性状态的方法(a RNN method to predict the MSI status of stained pathological images，缩写WiseMSI@R)、电子设备及计算机可读存储介质。

技术介绍

[0002]微卫星不稳定性(Microsatellite Instability，MSI)是指由于错配修复或复制错误等引起的简单重复序列的增加或丢失，导致微卫星的长度发生改变。MSI发生的主要原因是参与配对错误修复的基因功能发生缺陷，因而不能正常的校正复制错误，引起微卫星的DNA发生改变，使其不能正常地发挥调控作用。MSI容易导致细胞增殖及分化异常，甚至促发恶性肿瘤形成。与正常组织相比，在肿瘤中的微卫星更容易导致微卫星长度发生改变。研究表明MSI与结直肠癌、胃癌、子宫内膜癌等肿瘤发生密切相关。其中大约15％的散发性结直肠癌与MSI相关，90％以上的遗传性非息肉病性结直肠癌(HNPCC，也称Lynch综合症)与MSI相关，因此对MSI检测在临床上具有重要意义。MSI根据程度可以被分成3类：微卫星高度不稳定(MSI
‑
H)、微卫星低度不稳定(MSI
‑
L)、微卫星稳定(MSS)。对患者组织样本的病理切片图进行MSI分析后获得MSI分数，并进一步判别MSI类别。
[0003]请参考图1，现有技术中一种获取患者组织样本的MSI分数的方法如下：
[0004]A.获得病人的病理切片图，去除图片的空白区域，筛选出病理切片图的组织区域。
[0005]B.将筛选出的组织区域进行切分，并使用staintools库进行染色归一化，获得所有组织区域的小图片(分辨率为256
×
256)。
[0006]C.使用数据集训练分类模型(ResNet34)，将上一步获得的所有小图片先缩小为224
×
224的大小，随后输入模型进行组织类型的分类，得到每一张小图片的类型。组织类别包含：脂肪(ADI)、背景(BACK)、碎片(DEB)、淋巴细胞(LYM)、粘液(MUC)、平滑肌(MUS)、正常结肠粘膜(NORM)、癌症相关基质(STR)、结直肠腺癌上皮细胞(TUM)。
[0007]D.只选择肿瘤类型的区域的坐标标记在原始病理切片图上。
[0008]E.将所有标记的区域重新切分，并使用staintools库进行染色归一化，获得分辨率为512
×
512的小图片(或称为补丁patch)。
[0009]F.将上一步获得的所有补丁先缩小为224
×
224的大小，输入分类模型(MobileNet_v2)，得到每一个补丁的MSI分数。
[0010]G.平均此病理图片的所有补丁的MSI分数，获得病人的MSI结果。
[0011]上述模型使用的ResNet及MobileNet都属于卷积神经网络(CNN)，目前已经普遍用应在计算机视觉领域，在ImageNet中的分类准确率也都达到了很好的结果。但是病理切片图不同于普通图片可以直接输入进模型进行相应任务的训练，很多病理切片图的分辨率达到了10000
×
10000级别，所以上述方法在图片进入模型前需要先切分成小型图片，当病理切片图达到50000
×
50000级别时，切分出的肿瘤区域小图片数量大约为5000～50000，这样对一张病理切片图进行检测时需要对成千上万张的小图片进行卷积操作，极大的占用计算
资源；当病理切片图较小时，切分出的肿瘤区域小图片又通常不足100。这样小图片数量差异较大的病理切片图在分类模型中占用的样本资源差异较大，影响MSI分类模型的准确率。

技术实现思路

[0012]本专利技术的目的是提供一种基于RNN从病理图片识别微卫星不稳定性状态的方法、电子设备及计算机可读存储介质，随机选择N张肿瘤区域的小图片进行特征编码，采用循环神经网络模型进行分类预测，节省计算资源并提高MSI预测的准确性。
[0013]为了实现以上目的，本专利技术提供了一种基于RNN从病理图片识别微卫星不稳定性状态的方法，包括如下步骤：
[0014]S1、获得对患者组织样本进行细胞染色后的目标病理切片图；
[0015]S2、对所述目标病理切片图提取组织区域并按照预设分辨率进行分割，得到所有组织区域的小图片；
[0016]S3、对所有的小图片进行肿瘤区域/正常区域分类；
[0017]S4、随机选择预设的N张分类为肿瘤区域的小图片并使用staintools库进行染色归一化；
[0018]S5、将归一化后的小图片输入预设的特征提取模型中，编码为M维特征向量，得到N
×
M特征矩阵；
[0019]S6、将N
×
M特征矩阵输入预先训练好的预测模型，获得所述预测模型输出的所述目标病理切片图的MSI分数，所述预测模型为循环神经网络模型。
[0020]进一步的，在步骤S6中，所述预测模型包括LSTM神经网络；
[0021]所述预测模型预测所述目标病理切片图的MSI分数的方法包括：
[0022]S61，所述LSTM神经网络将所述N
×
M特征矩阵变换为低维特征向量；
[0023]S62，将得到的低维特征向量经过两层全连接层后映射至类别空间中并softmax激活获得MSI分数。
[0024]进一步的，所述M维特征向量为1024维向量，所述低维特征向量为256维向量。
[0025]进一步的，所述步骤S62采用如下表达式获得MSI分数：
[0026]p＝softmax((W
k
ReLU(W
j
h+b
j
)+b
k
)
[0027]式中，p代表MSI分数，W
k
、b
k
、W
j
、b
j
代表两个全连接层的权重参数，h代表所述低维特征向量。
[0028]进一步的，所述预测模型为GRU网络或双向RNN网络。
[0029]进一步的，在步骤S4中，若所述目标病理切片图对应肿瘤区域的小图片不足N张，则用空白小图片补足。
[0030]进一步的，所述步骤S5中所述特征提取模型为VGGNet、AlexNet、InceptionNet或ResNet架构的卷积神经网络模型。
[0031]进一步的，所述特征提取模型采用ResNet50模型。
[0032]进一步的，在步骤S3中，对所有的小图片进行肿瘤区域/正常区域分类的方法包括：
[0033]将步骤S2获得的每一小图片输入预先训练好的分类模型，获得所述分类模型输出的每一小图片的类别为肿瘤区域或正常类型；所述分类模型为卷积神经网络模型。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RNN从病理图片识别微卫星不稳定性状态的方法，其特征在于，包括如下步骤：S1、获得对患者组织样本进行细胞染色后的目标病理切片图；S2、对所述目标病理切片图提取组织区域并按照预设分辨率进行分割，得到所有组织区域的小图片；S3、对所有的小图片进行肿瘤区域/正常区域分类；S4、随机选择预设的N张分类为肿瘤区域的小图片并使用staintools库进行染色归一化；S5、将归一化后的小图片输入预设的特征提取模型中，编码为M维特征向量，得到N
×
M特征矩阵；S6、将N
×
M特征矩阵输入预先训练好的预测模型，获得所述预测模型输出的所述目标病理切片图的MSI分数，所述预测模型为循环神经网络模型。2.如权利要求1所述的基于RNN从病理图片识别微卫星不稳定性状态的方法，其特征在于，在步骤S6中，所述预测模型包括LSTM神经网络；所述预测模型预测所述目标病理切片图的MSI分数的方法包括：S61，所述LSTM神经网络将所述N
×
M特征矩阵变换为低维特征向量；S62，将得到的低维特征向量经过两层全连接层后映射至类别空间中并softmax激活获得MSI分数。3.如权利要求2所述的基于RNN从病理图片识别微卫星不稳定性状态的方法，其特征在于，所述M维特征向量为1024维向量，所述低维特征向量为256维向量。4.如权利要求2所述的基于RNN从病理图片识别微卫星不稳定性状态的方法，其特征在于，所述步骤S62采用如下表达式获得MSI分数：p＝softmax((W
k
ReLU(W
j
h+b
j
)+b
k
)式中，p代表MSI分数，W
k
、b
k
、W
j
、b
j
代表两个全连接...

【专利技术属性】
技术研发人员：全雪萍，严令华，蔡微菁，习铖杭，
申请(专利权)人：常州桐树生物科技有限公司，
类型：发明
国别省市：