一种基于深度学习的多模态影像处理方法和系统技术方案

本发明专利技术涉及一种基于深度学习的多模态影像处理方法和系统，所述方法包括：步骤S1：作多模态影像数据获取和分析以获取影像特征；步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。本发明专利技术通过跨模态影像分析方式，能够快速的定位目标区域并进行分类，大大的提高了深度神经网络模型的训练效率和基于深度学习的多模态影像处理效率。效率和基于深度学习的多模态影像处理效率。效率和基于深度学习的多模态影像处理效率。

【技术实现步骤摘要】
一种基于深度学习的多模态影像处理方法和系统


[0001]本专利技术属于影像处理
，尤其涉及一种基于深度学习的多模态影像处理方法和系统。

技术介绍

[0002]目前，人工智能已经取得飞速发展，深度学习算法在图像识别领域已取得较好成效，基于深度学习算法的智能识别系统在医学图像的识别领域已有应用，深度卷积神经网络是近年构建医学人工智能模型的常用方法之一，它通过分层的卷积处理提取图像的不同维度的特征信息，所提取的特征则输入后续特定网络进行特定任务，如分类、分割、配准、检测、降噪等。
[0003]全扫面切片技术也可以实现病理切片数字化，随着全切片图像的采集、处理和分析方面技术的发展，数字病理在过去的十年内逐渐的应用到科研及临床中，医学影像已成为临床上辅助疾病诊断的主要方式。相比较钼靶、核磁共振等其他影像，超声具有辐射少、价格便宜、对致密性组织检测敏感等优点。
[0004]就结直肠癌来说，结直肠癌(colorectal cancer,CRC)是严重威胁人类健康的常见恶性肿瘤之一，位列全球常见肿瘤的第三位及肿瘤致死因素的第二位。由于直肠的解剖部位特殊，尚缺乏有效的早期诊断方式，大多数患者初诊时即为局部进展期(cT3
‑
4和/或N+)，单纯手术治疗的局部复发率高。局部进展期直肠癌患者的标准治疗模式推荐为新辅助放化疗(neoadjuvant chemoradiotherapy,NACRT)联合全直肠系膜切除术(total mesorectal excision,TME)，这一治疗模式有效提高了患者局部控制率，局部复发率下降至目前的10％左右。NACRT也被证实对原发肿瘤具有良好的降期作用，10％
‑
30％的患者原发肿瘤和阳性淋巴结可以完全退缩，达到病理完全缓解。(pathological complete response，pCR)，极大地改善了患者的远期疗效。pCR是指手术切除的组织标本经过病理学检验，未发现有肿瘤细胞残留。
[0005]然而，有部分患者对放化疗不敏感，新辅助放化疗不仅不能让该部分患者获益，同时带来了治疗相关毒性并且增加经济负担，甚至延误治疗导致肿瘤进展。因此，如能预先区别“放疗敏感”与“放疗不敏感”这两类患者显得尤为重要，一方面可对具有较高放射敏感性的直肠癌患者采用观察等待策略，而避免不必要的手术；另一方面可对放疗不敏感的直肠癌患者采用更强烈的治疗方式以获得更好的疗效。对于直肠来说，目标区域的位置结构，图像特征存在较大的差异，这就使得训练和使用效率往往很低；其目标区域往往难以定位和分类，影像数据中蕴含的内部特征也难以被发现；本专利技术通过跨模态影像分析方式，能够快速的定位目标区域并进行分类，大大的提高了深度神经网络模型的训练效率和基于深度学习的多模态影像处理效率。

技术实现思路

[0006]为了解决现有技术中的上述问题，本专利技术提出了一种基于深度学习的多模态影像
处理方法和系统，所述方法包含：
[0007]步骤S1：作多模态影像数据获取和分析以获取影像特征；其中：所述影像特征包括多种类型的影像特征；
[0008]步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；具体为：确定不同模态影像数据的同类影像特征之间的第一关系，确定不同模态影像数据对应的目标子区域的同类影像特征之间的第二关系；确定针对每个目标子区域的第二关系和第一关系的一致情况，基于一致情况确定显著子区域；
[0009]所述步骤S2具体包括如下步骤；
[0010]步骤S21：针对每类影像特征，确定两个或者两个以上模态的影像数据之间的第一关系；其中：第一关系分别和每种影像特征类型相对应；每种影像特征类型对应一个第一关系；第一关系是针对影像特征中的全部或者部分特征值的计算关系；
[0011]步骤S22：确定目标子区域；具体为：将目标区域按照预设方式划分为多个目标子区域；
[0012]步骤S23：针对每种模态的影像数据的每个目标子区域计算影像特征；确定不同模态影像数据的对应目标子区域的同类影像特征之间的第二关系；判断第二关系和第一关系是否一致，并基于一致情况确定显著子区域；
[0013]步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；
[0014]步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。
[0015]进一步的，所述多模态影像数据包括：CT、MR和/或PET。
[0016]进一步的，所述目标区域为结直肠区域。
[0017]进一步的，通过人工标注的方式获取目标区域。
[0018]进一步的，所述基于分别得到的分类结果得到最终的分类结果，具体为:将分别得到的分类结果做加权求和后得到最终的分类结果。
[0019]一种基于深度学习的多模态影像处理系统，所述系统包含：服务器和计算终端；所述服务器用于实现上述基于深度学习的多模态影像处理方法。
[0020]进一步的，所述服务器和计算终端均为多个。
[0021]进一步的，所述服务器是云服务器。
[0022]一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的基于深度学习的多模态影像处理方法。
[0023]一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的基于深度学习的多模态影像处理方法。
[0024]本专利技术的有益效果包括：
[0025](1)充分的利用影像数据的多模态特点，跨模态确定需关注的显著区域，在确定的过程中全面分析各种类型的影像特征关系，以发现可能存在的差异化特点以定位显著区域，提高了影像处理效率；
[0026](2)通过基于纹理分析的目标子区域划分和一致性判断，在保持合理计算量的同时支持影像特征的增加，使得真正感兴趣的目标能够快速被发现，或者在不同的影像特征
类型场景下被发现；
[0027](3)通过显著区域的扩充，在不改变原有神经网络模型的基础上提高不同信息素在神经网络模型中作用的发挥，提高了模型训练和使用效率；
【附图说明】
[0028]此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：
[0029]图1为本专利技术的基于深度学习的多模态影像处理方法示意图。
[0030]图2为本专利技术的卷积神经网络模型示意图。
【具体实施方式】
[0031]下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定通过
[0032]如附图1所示，本专利技术提出一种基于深度学习的多模态影像处理方法，所述方法包括如下步骤：
[0033]步骤S1：作多模态影像数据获取和分析以获取影像特征；具体为：获取多模态影像数据，针对每个模态的影像数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模态影像处理方法，其特征在于，包括：步骤S1：作多模态影像数据获取和分析以获取影像特征；其中：所述影像特征包括多种类型的影像特征；步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；具体为：确定不同模态影像数据的同类影像特征之间的第一关系，确定不同模态影像数据对应的目标子区域的同类影像特征之间的第二关系；确定针对每个目标子区域的第二关系和第一关系的一致情况，基于一致情况确定显著子区域；所述步骤S2具体包括如下步骤；步骤S21：针对每类影像特征，确定两个或者两个以上模态的影像数据之间的第一关系；其中：第一关系分别和每种影像特征类型相对应；每种影像特征类型对应一个第一关系；第一关系是针对影像特征中的全部或者部分特征值的计算关系；步骤S22：确定目标子区域；具体为：将目标区域按照预设方式划分为多个目标子区域；步骤S23：针对每种模态的影像数据的每个目标子区域计算影像特征；确定不同模态影像数据的对应目标子区域的同类影像特征之间的第二关系；判断第二关系和第一关系是否一致，并基于一致情况确定显著子区域；步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。2.根据权利要求1所述的基于深度学习的多模态影像处理方法，其特征在于，所述多模态影像数据包括...

【专利技术属性】
技术研发人员：赵峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：