图像识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像识别方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：对于第n轮识别过程，获取第n个图像序列，第n个图像序列中包括M张二维医学图像，M张二维医学图像是在N个随访时间对同一机体部位进行扫描得到的随访图像；获取前n

【技术实现步骤摘要】
图像识别方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种图像识别方法、装置、设备及存储介质。

技术介绍

[0002]在人工智能(Artificial Intelligence，AI)时代，AI的应用范围已经遍及各个领域，比如医学领域便是其中一种。针对医学领域，在AI的赋能下，医学的技术性得到了前所未有的提高，这使得医学领域近乎每天都发生革命性的变化。
[0003]在医学领域中，利用机器学习技术对医学图像进行识别，能够实现对疾病的病情状态进行预测。相关技术中，通常是利用机器学习技术对病灶区域的单个CT(Computed Tomography，电子计算机断层扫描)图像进行识别，比如将单个CT图像输入卷积神经网络进行识别，以此来预测疾病的病情状态。
[0004]上述图像识别方式仅依据单个的CT图像，数据较为单一，据此得到的预测结果缺乏准确性，即图像识别的准确性不高。

技术实现思路

[0005]本申请实施例提供了一种图像识别方法、装置、设备及存储介质，能够提高图像识别的准确性。所述技术方案如下：
[0006]一方面，提供了一种图像识别方法，所述方法包括：
[0007]对于第n轮识别过程，获取第n个图像序列，所述第n个图像序列中包括M张二维医学图像，所述M张二维医学图像是在N个随访时间对同一机体部位进行扫描得到的随访图像；n和M为不小于2的整数；
[0008]获取前n
‑
1轮识别过程预测得到的n
‑
1个前序医学状态和n
‑
1个医学进展状态；其中，所述前序医学状态用于指示在前序一轮识别过程中所述机体部位的医学状况，所述医学进展状态用于指示在任意一轮识别过程中预测的下一阶段的医学状况进展；
[0009]对所述第n个图像序列进行预处理和特征提取；基于得到的特征数据、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态，预测所述机体部位在第n轮识别过程中的第n医学状态和第n+1医学进展状态，所述第n医学状态用于指示在第n轮识别过程中所述机体部位的医学状况。
[0010]另一方面，提供了一种图像识别装置，所述装置包括：
[0011]第一获取模块，被配置为对于第n轮识别过程，获取第n个图像序列，所述第n个图像序列中包括M张二维医学图像，所述M张二维医学图像是在N个随访时间对同一机体部位进行扫描得到的随访图像；n和M为不小于2的整数；
[0012]第二获取模块，被配置为获取前n
‑
1轮识别过程预测得到的n
‑
1个前序医学状态和n
‑
1个医学进展状态；其中，所述前序医学状态用于指示在前序一轮识别过程中所述机体部位的医学状况，所述医学进展状态用于指示在任意一轮识别过程中预测的下一阶段的医学
状况进展；
[0013]识别模块，被配置为对所述第n个图像序列进行预处理和特征提取；基于得到的特征数据、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态，预测所述机体部位在第n轮识别过程中的第n医学状态和第n+1医学进展状态，所述第n医学状态用于指示在第n轮识别过程中所述机体部位的医学状况。
[0014]在一些实施例中，所述第一获取模块，被配置为确定时序上相邻且最近扫描得到的M张随访图像，将所述M张随访图像作为所述第n个图像序列。
[0015]在一些实施例中，所述识别模块被配置为：
[0016]对所述第n个图像序列进行预处理，得到新图像；
[0017]将所述新图像输入图像识别网络的预测模型进行特征提取，并将所述预测模型输出的特征数据作为所述图像识别网络的第一全连接层的输入；
[0018]获取所述第一全连接层输出的第一特征向量；对所述第一特征向量、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态进行特征融合，并将融合后的第二特征向量输入所述图像识别网络的第二全连接层；
[0019]经过所述第二全连接层，将所述第二特征向量整合为所述第n医学状态和所述第n+1医学进展状态。
[0020]在一些实施例中，所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态为特征向量形式，所述识别模块被配置为：
[0021]对所述第一特征向量、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态进行向量拼接，得到所述第二特征向量。
[0022]在一些实施例中，所述预测模型中包括顺次相连的多个残差块；其中，任意一个残差块中均包括一个恒等映射和至少两个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；或，
[0023]所述预测模型中包括紧密连接块；其中，一个所述紧密连接块中包括至少两个紧密连接层；对于任意一个紧密连接块，各个紧密连接层的输入包括所述紧密连接块中之前所有紧密连接层的输出。
[0024]在一些实施例中，所述至少两个卷积层中的第一卷积层、第二卷积层以及第三卷积层顺序连接，所述恒等映射由所述第一卷积层的输入端指向所述第三卷积层的输出端；所述识别模块被配置为：
[0025]将所述新图像输入所述预测模型的第一个残差块；
[0026]对于任意一个残差块，接收上一个残差块的输出，并基于所述第一卷积层、所述第二卷积层和所述第三卷积层，对所述上一个残差块的输出进行特征提取；
[0027]获取所述第三卷积层的输出，将所述第三卷积层的输出以及所述上一个残差块的输出传递到下一个残差块；
[0028]获取所述预测模型的最后一个残差块的输出，得到所述特征数据。
[0029]在一些实施例中，所述识别模块被配置为：
[0030]对所述M张二维医学图像分别进行图像重建，得到M张三维医学图像；
[0031]获取各张三维医学图像在不同角度上的切片图像；
[0032]将各张三维医学图像的切片图像分别输入不同通道的卷积层进行特征提取，得到
至少两张特征图；
[0033]对所述至少两张特征图进行数据增强处理，得到多张增强图像；
[0034]对所述多张增强图像进行图像融合，得到所述新图像。
[0035]在一些实施例中，所述第一获取模块，还被配置为对于第一轮识别过程，获取第一个图像序列，所述第一个图像序列中包括M张二维医学图像，所述M张二维医学图像中包括一张基准图像和M
‑
1张随访图像；
[0036]所述识别模块，还被配置为根据所述第一个图像序列，预测所述机体部位在第一轮识别过程中的第一医学状态和第一医学进展状态，所述第一医学状态用于指示在第一轮识别过程中所述机体部位的医学状况。
[0037]另一方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：对于第n轮识别过程，获取第n个图像序列，所述第n个图像序列中包括M张二维医学图像，所述M张二维医学图像是在N个随访时间对同一机体部位进行扫描得到的随访图像；n和M为不小于2的整数；获取前n
‑
1轮识别过程预测得到的n
‑
1个前序医学状态和n
‑
1个医学进展状态；其中，所述前序医学状态用于指示在前序一轮识别过程中所述机体部位的医学状况，所述医学进展状态用于指示在任意一轮识别过程中预测的下一阶段的医学状况进展；对所述第n个图像序列进行预处理和特征提取；基于得到的特征数据、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态，预测所述机体部位在第n轮识别过程中的第n医学状态和第n+1医学进展状态，所述第n医学状态用于指示在第n轮识别过程中所述机体部位的医学状况。2.根据权利要求1所述的方法，其特征在于，所述获取第n个图像序列，包括：确定时序上相邻且最近扫描得到的M张随访图像，将所述M张随访图像作为所述第n个图像序列。3.根据权利要求1所述的方法，其特征在于，所述对所述第n个图像序列进行预处理和特征提取；基于得到的特征数据、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态，预测所述机体部位在第n轮识别过程中的第n医学状态和第n+1医学进展状态，包括：对所述第n个图像序列进行预处理，得到新图像；将所述新图像输入图像识别网络的预测模型进行特征提取，并将所述预测模型输出的特征数据作为所述图像识别网络的第一全连接层的输入；获取所述第一全连接层输出的第一特征向量；对所述第一特征向量、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态进行特征融合，并将融合后的第二特征向量输入所述图像识别网络的第二全连接层；经过所述第二全连接层，将所述第二特征向量整合为所述第n医学状态和所述第n+1医学进展状态。4.根据权利要求3所述的方法，其特征在于，所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态为特征向量形式，所述对所述第一特征向量、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态进行特征融合，包括：对所述第一特征向量、所述n
‑
1个前序医学状态和所述n
‑
1个医学进展状态进行向量拼接，得到所述第二特征向量。5.根据权利要求3所述的方法，其特征在于，所述预测模型中包括顺次相连的多个残差块；其中，任意一个残差块中均包括一个恒等映射和至少两个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；或，所述预测模型中包括紧密连接块；其中，一个所述紧密连接块中包括至少两个紧密连接层；对于任意一个紧密连接块，各个紧密连接层的输入包括所述紧密连接块中之前所有紧密连接层的输出。6.根据权利要求5所述的方法，其特征在于，所述至少两个卷积层中的第一卷积层、第二卷积层以及第三卷积层顺序连接，所述恒等映射由所述第一卷积层的输入端指向所述第三卷积层的输出端；
所述将所述新图像输入图像识别网络的预测模型进行特征提取，包括：将所述新图像输入所述预测模型的第一个残差块；对于任意一个残差块，接收上一个残差块的输出，并基于所述第一卷积层、所述第二卷积层和所述第三卷积层，对所述上一个残差块的输出进行特征提取；获取所述第三卷积层的输出，将所述第三卷积层的输出以及所述上一个残差块的输出传递到下一个残差块；获取所述预测模型的最后一个残差块的输出，得到所述特征数据。7.根据权利要求3所述的方法，其特征在于，所述对所述第n个图像序列进行预处理，得到新图像，包括：对所述M张二维医学图像分别进行图像重建，得到M张三维医学图像；获取各张三维医...

【专利技术属性】
技术研发人员：徐海波，孙文博，熊俊峰，伍健荣，朱艳春，钱天翼，杨昊臻，时允凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：