一种多尺度自注意力无监督域自适应算法制造技术

本发明专利技术涉及一种多尺度自注意力无监督域自适应算法，步骤为：S1、甲状腺超声图像的选取与标注；S2、构造多尺度网络结构对甲状腺超声图像特征进行提取；S3、使用自注意力模块对超声图像进行自注意力图的生成；S4、基于生成对抗思想，使用混合域判别器来对隐藏特征进行探索，并对特征进行域混合操作。本发明专利技术通过实验验证了AI辅助诊断系统对不同数据分布的数据的适应性存在问题；同时，提出了多尺度自注意力域自适应算法来克服超声影像中不同域超声影像所造成的域偏移问题，取得了良好的效果。在相同条件下，可以使模型在不同数据分布的超声影像上进行测试时平均准确率可以达到90％，极大的克服了AI辅助诊断系统在不同超声影像域当中的适应性问题。

【技术实现步骤摘要】
一种多尺度自注意力无监督域自适应算法
本专利技术属于医疗辅助领域，涉及到使用不同超声影像数据集训练的神经网络模型的迁移学习领域，特别涉及一种多尺度自注意力无监督域自适应算法。
技术介绍
甲状腺结节是在世界范围内广泛存在的临床问题。据相关研究调查表明全世界三分之二的人群存在甲状腺结节。甲状腺结节表现为硬性无痛肿块，生长速度较快，后期可以迅速生长从而导致发声、呼吸困难，甚至导致继发性功效亢进或癌变，严重威胁人民的生命安全。目前医院的甲状腺检测手段大多以超声甲状腺结节检查为主。但超声甲状腺结节的检出率在20-76％以内，同时甲状腺医疗图像大多分辨率较低、图像模糊，病灶与正常组织间差异过小，甲状腺结节的检测精准度与定位问题一直困扰着医学从业者。随着人工智能的逐渐成熟，深度学习在临床医学当中也逐渐开始广泛应用。AI辅助诊断系统可以快速帮助专业医生在超声影像中快速判断病灶区域的良恶性，极大的增加了医生的诊断效率与准确率。然而，大多数AI辅助诊断系统都是基于深度学习模型构造的。目前的研究表明，深度学习模型是由数据驱动的。如果深度学习模型的目标场景数据与训练模型数据的数据分布不一致，那么就会导致深度学习模型无法达到理想当中的准确率，从而影响到AI辅助诊断系统对患者病灶诊断的适应性。提高AI辅助诊断系统对不同数据分布的超声影像的诊断准确率与适应性，对深度学习在临床医学的应用有着重要的意义。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种多尺度自注意力无监督域自适应算法，大幅度提升AI辅助诊断系统在不同数据分布上的诊断准确率；且对甲状腺超声影像的语义信息迁移效果比主流无监督域自适应算法更优。本专利技术解决其技术问题是通过以下技术方案实现的：一种多尺度自注意力无监督域自适应算法，其特征在于：所述方法的步骤为：S1、甲状腺超声图像的选取与标注；S2、构造多尺度网络结构对甲状腺超声图像特征进行提取；S3、使用自注意力模块对超声图像进行自注意力图的生成；S4、基于生成对抗思想，使用混合域判别器来对隐藏特征进行探索，并对特征进行域混合操作。而且，在专业医院进行甲状腺超声影像的采集，采集医院中不同型号和设置生成的的甲状腺超声图像历史数据，选择较为清晰的图像，并且确保良恶性两者保持相同的比例，并由专业医师对结节部位进行良好的标注。而且，利用多尺度特征提取网络对图像的特征进行抽象提取，充分提取到不同层级的可迁移语义信息。而且，进行自注意力图的生成，基于提取到的特征图，将特征图与最终结果之间增加一个自注意力模块，通过K、V、Q三个模块的共同交互，完成对自注意力图的生成，从而增强对甲状腺超声影像中几何特征的提取。而且，配合GAN思想构造域判别器模型对标记进行去除，通过构造极大极小游戏来实现对可迁移语义信息的转移。本专利技术的优点和有益效果为：1、本专利技术一种多尺度自注意力无监督域自适应算法，通过实验验证了AI辅助诊断系统对不同数据分布的数据的适应性存在问题；同时，提出了多尺度自注意力域自适应算法来克服超声影像中不同域超声影像所造成的域偏移问题，取得了良好的效果。2、本专利技术一种多尺度自注意力无监督域自适应算法，在四个不同的域之间进行迁移，依次进行九次域迁移实验。在相同条件下，可以使模型在不同数据分布的超声影像上进行测试时平均准确率可以达到90％，极大的克服了AI辅助诊断系统在不同超声影像域当中的适应性问题。附图说明图1为本专利技术的算法流程图；图2为本专利技术的多尺度自注意力网络结构示意图；图3为本专利技术的混合域判别器示意图。具体实施方式下面通过具体实施例对本专利技术作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本专利技术的保护范围。本专利技术主要由四个步骤组成。由图1所示，多尺度特征网络可以更好的提取甲状腺超声影像中的多尺度语义信息，并且增强对可迁移特征的提取。自注意力模块对每一种尺度的特征进行几何特征增强，增加了整个模型的可解释性。最后，本专利技术使用混合域判别器进行对抗训练，通过极大极小游戏对抗的方式，训练出可以良好适用于目标域数据的分类器。很好的克服了由不同数据域所造成的域偏移现象。一种多尺度自注意力无监督域自适应算法，其特征在于：具体步骤如下：步骤S0101：在专业医院进行数据采集，收集不同患者的甲状腺实际超声影像，采集每一年的数据，对每一年的数据都进行采集。同时需要记录每一张超声影像所归属的数据分布。由不同设置和型号的超声仪器生成相关的超声影像被分到不同域数据集中。步骤S0102：将收集到的数据进行整理，配合专业医师对这些图像的结节的良恶性进行标注，保持良性和恶性超声影像比例均衡，从而确保目标检测模型对良性和恶性的结节特征都可以学习到。最后以VOC2007数据集的格式对甲状腺超声图像数据与标注进行整理。步骤S0201：为了进一步提取很好的甲状腺超声影像的特征，我们采用多尺度特征提取网络对甲状腺超声影像进行特征提取。步骤S0202：在步骤S0201的基础上，利用自注意力模块增强提取到的多尺度特征，使特征图中的几何信息得到增强。步骤S0203：为了探索不同域特征之间的隐藏特征，本专利技术构造了混合域判别器来提取隐藏特征。通过对不同域之间的特征进行特征图混合和标签混合，对不同域间的隐藏特征进行了充分的探索。步骤S0301：进行对抗训练，其损失函数可以表示为：步骤S0401：在上述步骤进行训练之后，即可对目标域的超声影像进行准确度验证。图2展示了多尺度自注意力网络的整体结构，其中红色部分为特征提取器(FeatureExtractor)，在特征提取器的每一个尺度特征都使用自注意力模块进行增强(SelfAttention)。对于每一个经过自注意力模块处理过的特征使用域判别器(DomainDiscriminator)构成域判别损失。整个网络对分类损失及多尺度域判别损失进行优化。如图3所示，本专利技术采用了一种混合域判别器代替常规的域判别器，通过对提取到的特征进行混合，使得网络对不同域特征中的隐藏特征进行探索。进一步增强了对可迁移特征的提取。如表1所示，本专利技术在不同域的甲状腺超声影像上进行了实验。实验一共采用了4种不同域的数据，共有6800张不同域的甲状腺超声影像，不同域的良恶性比例为1:1。通过从源域到目标域的域自适应迁移学习，实验结果表明，本专利技术对超声影像不同域之间的迁移具有良好的积极效果。表1本专利技术在不同域超声影像上的效果提升对照表尽管为说明目的公开了本专利技术的实施例和附图，但是本领域的技术人员可以理解：在不脱离本专利技术及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本专利技术的范围不局限于实施例和附图所公开的内容。本文档来自技高网...

【技术保护点】
1.一种多尺度自注意力无监督域自适应算法，其特征在于：所述方法的步骤为：/nS1、甲状腺超声图像的选取与标注；/nS2、构造多尺度网络结构对甲状腺超声图像特征进行提取；/nS3、使用自注意力模块对超声图像进行自注意力图的生成；/nS4、基于生成对抗思想，使用混合域判别器来对隐藏特征进行探索，并对特征进行域混合操作。/n

【技术特征摘要】
1.一种多尺度自注意力无监督域自适应算法，其特征在于：所述方法的步骤为：
S1、甲状腺超声图像的选取与标注；
S2、构造多尺度网络结构对甲状腺超声图像特征进行提取；
S3、使用自注意力模块对超声图像进行自注意力图的生成；
S4、基于生成对抗思想，使用混合域判别器来对隐藏特征进行探索，并对特征进行域混合操作。


2.根据权利要求1所述的多尺度自注意力无监督域自适应算法，其特征在于：所述步骤S1的具体操作为：在专业医院进行甲状腺超声影像的采集，采集医院中不同型号和设置生成的的甲状腺超声图像历史数据，选择较为清晰的图像，并且确保良恶性两者保持相同的比例，并由专业医师对结节部位进行良好的标注。


3.根据权利要求1所...

【专利技术属性】
技术研发人员：李雪威，张誉鏻，于瑞国，喻梅，刘志强，高洁，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12