一种跨模态图像转换方法及装置制造方法及图纸

本发明专利技术提供一种跨模态图像转换方法及装置。其中，该方法包括：确定源模态图像对应的源模态矩阵向量；将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练得到的。采用本发明专利技术公开的跨模态图像转换方法，能够利用注意力模型对整体信息的学习能力，来实现不同模态间图像的变换，提高了跨模态图像转换的效率和稳定性，同传统方法相比，具有更好的适应性和通用性。

【技术实现步骤摘要】
一种跨模态图像转换方法及装置
本专利技术涉及计算机图像处理
，具体涉及一种跨模态图像转换方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。
技术介绍
近年来，计算机图像处理技术得到了快速的发展，而在计算机图像研究领域中，图像转换技术是一项重要的研究内容。图像转换旨在研究数据域之间的关系，并解决如何将一个模态的图像转换成另一个模态的图像。跨模态图像转换技术在多个领域有着重要的应用，例如汽车驾驶应用的红外与可见光图像的信息融合，医疗应用中CT(ComputedTomography)图像与MRI(MagneticResonanceImaging)图像的融合对照等等，从而实现多模态信息融合。同一场景中不同模态的图像可从不同手段获得有用信息，互为补充，比如红外和可见光图像。变换后的图像可用于与目标模态图像的对比、配准或其它分析。然而，不同模态图像成像介质不同，内容差别很大，不利于跨模态信息的联合分析。现有技术中，为方便在相同条件下比较，往往需要将不同模态图像映射到同一模态对齐，再比较不同模态的信息。传统方法是基于特定模态下的成本文档来自技高网...

【技术保护点】
1.一种跨模态图像转换方法，其特征在于，包括：/n确定源模态图像对应的源模态矩阵向量；/n将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练得到的。/n

【技术特征摘要】
1.一种跨模态图像转换方法，其特征在于，包括：
确定源模态图像对应的源模态矩阵向量；
将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练得到的。


2.根据权利要求1所述的跨模态图像转换方法，其特征在于，所述确定源模态图像对应的源模态矩阵向量，具体包括：
将所述源模态图像进行切分，获得若干个源模态小块；
将所述源模态小块分别变换为对应的一维向量，基于所述一维向量构成所述源模态图像对应的源模态矩阵向量。


3.根据权利要求1所述的跨模态图像转换方法，其特征在于，所述全局注意力模型为基于注意力机制的变换器模型；
所述将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像，具体包括：
将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量；
将所述编码矩阵向量输出到所述变换器模型中的解码器部分，获得相应的解码矩阵向量；
将所述解码矩阵向量输入至目标嵌入层反投影为目标模态小块，并拼接所述目标模态小块，得到相应的目标模态图像。


4.根据权利要求3所述的跨模态图像转换方法，其特征在于，所述编码器部分包含多个顺次连接的编码层；
所述将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量，具体包括：
将所述编码后的源模态矩阵向量输入至第1个编码层，得到第1个编码层输出的编码向量；
将第i个编码层输出的编码向量作为第i+1个编码层的输入向量进行迭代处理，并将最后一个编码层输出的编码向量作为所述编码矩阵向量；其中，i为大于1的整数。


5.根据权利要求3所述的跨模态图像转换方法，其特征在于，所述...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：上海;31