基于格拉姆矩阵与风格域转换的近红外荧光成像方法技术

本发明专利技术属于生物医学分子影像领域，具体涉及了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法、系统及装置，旨在解决近红外二区长波长窗口中的纳米粒子探针具有毒性和缺乏监管批准等缺点。本发明专利技术包括：获取高质量荧光图像和低质量荧光图像并将其作为训练集，构建并训练基于格拉姆矩阵与风格域转换的生成式对抗网络，将真实获取的数据输入至训练好的网络中，得到具有长波长近红外二区窗口风格高质量荧光图像以及循环变换荧光图像。本发明专利技术基于机器学习的方法可以提升已在临床广泛使用的近红外荧光成像技术的精度，而不必顾虑具体的光学参数和生物学特性的差异；利于研究荧光探针在体内的具体分布，对临床决策和实践具有极大的意义。有极大的意义。有极大的意义。

【技术实现步骤摘要】
基于格拉姆矩阵与风格域转换的近红外荧光成像方法


[0001]本专利技术属于生物医学分子影像领域，具体涉及了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法、系统及装置。

技术介绍

[0002]近红外荧光成像已成为一种新兴的在体成像方法，在毫米组织深度中具有高时空分辨率。在长波长近红外二区窗口(>1500nm)中成像能够有效抑制光散射和最大化成像穿透深度，具有高质量成像特性。然而，在近红外二区长波长窗口中成像的纳米粒子探针具有毒性和缺乏监管批准等缺点，难以进行临床转化。另一方面，在短波长近红外窗口(700
‑
1300nm)下可以使用具有生物安全性的荧光探针进行成像，但在这个窗口下成像时，光散射和自发荧光严重影响组织与背景的信号比率及其分辨率。因此，亟待新的近红外荧光成像方法，能够提升成像时的组织与背景信号比率及分辨率，并对图像进行批量、无参考的量化分析，从而实现在使用具有生物安全性的荧光探针条件下的高质量成像。
[0003]利用基于格拉姆矩阵与风格域转换的近红外荧光成像方法及装置可以提高近红外图像的成像质量，从而更精准地描绘复杂组织形态和确定肿瘤边界，进一步拓展荧光成像在血管成像、引导手术、肿瘤诊疗、药代动力学等预临床和临床方面的应用。
[0004]基于此，本专利技术提供了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法。

技术实现思路

[0005]为了解决现有技术中的上述问题，即在近红外二区长波长窗口中成像的纳米粒子探针具有毒性和缺乏监管批准等缺点，难以进行临床转化的问题，本专利技术提供了一种基于格拉姆矩阵与风格域转换的近红外荧光成像方法，所述方法包括：
[0006]采集待进行近红外荧光成像的生物体对应的低质量近红外荧光图像，并输入训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，得到具有长波长近红外二区窗口风格高质量荧光图像以及循环变换荧光图像；
[0007]所述基于格拉姆矩阵与风格域转换的生成式对抗网络其训练方法为：
[0008]步骤S100、获取高质量荧光图像和低质量荧光图像；
[0009]其中，所述高质量荧光图像为荧光团发射并进行多参数变换集成后的长波长近红外二区窗口下产生的近红外荧光图像；所述低质量荧光图像为荧光团发射的短波长近红外窗口荧光图像；
[0010]步骤S200、将所述高质量荧光图像和所述低质量荧光图像作为训练集，构建并训练基于格拉姆矩阵与风格域转换的生成式对抗网络。
[0011]在一些优选的实施方式中，所述高质量荧光图像，其获取方法为：
[0012]步骤S110：采集图像尺寸相同且不成对的非匹配短波长近红外窗口荧光图像和长波长近红外二区窗口荧光图像，将所述长波长近红外二区窗口荧光图像进行数据聚合，集
成为近红外荧光图片的目标转换域，得到集成荧光图像；
[0013]步骤S120：对所述集成荧光图像进行多参数几何变换得到增强的高质量荧光图像；
[0014]其中，所述多参数几何变换包括旋转变换、平移变换、欧氏变换、仿射变换中的一个或多个。
[0015]在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其构建方法为：
[0016]通过第一生成器和第二生成器构建基于格拉姆矩阵与风格域转换的生成式对抗网络；所述第一生成器为通过图像正转换的域风格编解码的生成器；所述第二生成器为图像逆转换的域风格编解码的生成器；
[0017]所述第一生成器、所述第二生成器均由域风格编码网络和域风格解码网络组成。
[0018]在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法为：
[0019]步骤S210、将所述低质量荧光图像输入至所述第一生成器中的域风格编码网络中，得到第一编码特征图；
[0020]步骤S220、将所述第一编码特征图输入至所述第一生成器中的域风格解码网络中，得到第一训练图像；
[0021]步骤S230、将所述第一训练图像输入至所述第二生成器中的域风格编码网络中，得到第二编码特征图；
[0022]步骤S240、将所述第二编码特征图输入至所述第二生成器中的域风格解码网络中，得到第二训练图像；
[0023]步骤S250、将所述高质量荧光图像输入至所述第二生成器中的域风格编码网络，得到第三编码特征图；
[0024]步骤S260、将所述第三编码特征图输入至所述第二生成器中的域风格解码网络中，得到第三训练图像；
[0025]步骤S270、将所述第三训练图像输入至所述第一生成器中的域风格编码网络，得到第四编码特征图；
[0026]步骤S280、将所述第四编码特征图输入至所述第一生成器中的域风格解码网络中，得到第四训练图像。
[0027]在一些优选的实施方式中，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法还包括：
[0028]步骤S290、通过格拉姆矩阵计算所述第一训练图像与所述高质量荧光图像的风格相关性、所述第二训练图像与所述低质量荧光图像的风格相关性、所述第三训练图像与所述低质量荧光图像的风格相关性、所述第四训练图像与所述高质量荧光图像的风格相关性，并根据所述风格相关性对所述基于格拉姆矩阵与风格域转换的生成式对抗网络进行修正。
[0029]步骤S300、计算所述第二训练图像与所述低质量荧光图像的语义相关性、所述第四训练图像与所述高质量荧光图像的语义相关性，并根据所述语义相关性对所述基于格拉姆矩阵与风格域转换的生成式对抗网络进行修正。
[0030]在一些优选的实施方式中，计算所述风格相关性方法为：
[0031]获取所述卷积神经网络第c层中向量化特征图a及向量化特征图b之间在i处的内积
[0032][0033]其中，所述H
c
为图像第c层的矢量化特征图矩阵；
[0034]计算N层风格特征加权相关性，当所述x为高质量荧光图像、所述y为所述第一训练图像和所述第四训练图像时，表示所述高质量荧光图像与所述第一训练图像和所述第四训练图像之间的平稳多尺度表示，并捕获风格信息得到风格相关性L
s
；
[0035]当所述x为所述低质量荧光图像时、所述y为所述第二训练图像和所述第三训练图像时，表示所述低质量荧光图像与所述第二训练图像和所述第三训练图像之间的平稳多尺度表示，并捕获风格信息得到风格相关性L
s
：
[0036][0037]其中，w
c
为第c层的权重值，所述向量化特征图a和所述向量化特征图b为所述x在第c层的两个不同特征图。
[0038]在一些优选的实施方式中，计算语义相关性的方法为：
[0039]获取所述卷积神经网络的深层特征F用于表征图像的语义内容，计算M层语义特征加权相关性，得到高质量荧光图像m与第四训练图像n之间的高层语义表示、低质量荧光图像m与第二训练图像n之间的高层语义表示，作为所述第四训练图像与所述高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于格拉姆矩阵与风格域转换的近红外荧光成像方法，其特征在于，所述方法包括：采集待进行近红外荧光成像的生物体对应的低质量近红外荧光图像，并输入训练好的基于格拉姆矩阵与风格域转换的生成式对抗网络中，得到具有长波长近红外二区窗口风格高质量荧光图像以及循环变换荧光图像；所述基于格拉姆矩阵与风格域转换的生成式对抗网络其训练方法为：步骤S100、获取高质量荧光图像和低质量荧光图像；其中，所述高质量荧光图像为荧光团发射并进行多参数变换集成后的长波长近红外二区窗口下产生的近红外荧光图像；所述低质量荧光图像为荧光团发射的短波长近红外窗口荧光图像；步骤S200、将所述高质量荧光图像和所述低质量荧光图像作为训练集，构建并训练基于格拉姆矩阵与风格域转换的生成式对抗网络。2.根据权利要求1所述的基于格拉姆矩阵与风格域转换的近红外荧光成像方法，其特征在于，所述高质量荧光图像，其获取方法为：步骤S110：采集图像尺寸相同且不成对的非匹配短波长近红外窗口荧光图像和长波长近红外二区窗口荧光图像，将所述长波长近红外二区窗口荧光图像进行数据聚合，集成为近红外荧光图片的目标转换域，得到集成荧光图像；步骤S120：对所述集成荧光图像进行多参数几何变换得到增强的高质量荧光图像；其中，所述多参数几何变换包括旋转变换、平移变换、欧氏变换、仿射变换中的一个或多个。3.根据权利要求1所述的基于格拉姆矩阵与风格域转换的近红外荧光成像方法，其特征在于，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其构建方法为：通过第一生成器和第二生成器构建基于格拉姆矩阵与风格域转换的生成式对抗网络；所述第一生成器为通过图像正转换的域风格编解码的生成器；所述第二生成器为图像逆转换的域风格编解码的生成器；所述第一生成器、所述第二生成器均由域风格编码网络和域风格解码网络组成。4.根据权利要求3所述的基于格拉姆矩阵与风格域转换的近红外荧光成像方法，其特征在于，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法为：步骤S210、将所述低质量荧光图像输入至所述第一生成器中的域风格编码网络中，得到第一编码特征图；步骤S220、将所述第一编码特征图输入至所述第一生成器中的域风格解码网络中，得到第一训练图像；步骤S230、将所述第一训练图像输入至所述第二生成器中的域风格编码网络中，得到第二编码特征图；步骤S240、将所述第二编码特征图输入至所述第二生成器中的域风格解码网络中，得到第二训练图像；步骤S250、将所述高质量荧光图像输入至所述第二生成器中的域风格编码网络，得到第三编码特征图；步骤S260、将所述第三编码特征图输入至所述第二生成器中的域风格解码网络中，得到第三训练图像；
步骤S270、将所述第三训练图像输入至所述第一生成器中的域风格编码网络，得到第四编码特征图；步骤S280、将所述第四编码特征图输入至所述第一生成器中的域风格解码网络中，得到第四训练图像。5.根据权利要求4所述的基于格拉姆矩阵与风格域转换的近红外荧光成像方法，其特征在于，所述基于格拉姆矩阵与风格域转换的生成式对抗网络，其训练方法还包括：步骤S290、通过格拉姆矩阵计算所述第一训练图像与所述高质量荧光图像的风格相关性、所述第二训练图像与所述低质量荧光图像的风格相关性、所述第三训练图像与所述低质量荧光图像的风格相关性、所述第四训练图像与所述高质量荧光图像的风格相关性，并根据所述风格相关性对所述基于格拉姆矩阵与风格域转换的生成式对抗网络进行修正。步骤S300、计算所述第二训练图像与所述低质量荧光图像的语义相关性、所述第四训练图像与所述高质量荧光图像的语义相关性，并根据所述语义相关性对所述基于格拉姆矩阵与风格域转...

【专利技术属性】
技术研发人员：田捷，胡振华，符礼丹，鲍杰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：