图像处理、图像处理模型的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像处理、图像处理模型的训练方法、装置、设备及介质，属于人工智能技术领域，涉及人工智能技术领域中的计算机视觉技术。该图像处理方法包括：获取待处理图像和图像处理模型，图像处理模型包括编码模型和解码模型，编码模型包括注意力模型和卷积模型，注意力模型基于全局信息进行编码，卷积模型基于局部信息进行编码；调用注意力模型和卷积模型基于全局信息和局部信息对待处理图像进行编码，得到目标编码特征；调用解码模型对目标编码特征进行解码，得到目标图像特征；基于目标图像特征，获取分割结果。此方式，目标图像特征通过综合关注全局信息和局部信息得到，关注的信息较丰富，可靠性较高，有利于提高分割结果的准确性。果的准确性。果的准确性。

【技术实现步骤摘要】
图像处理、图像处理模型的训练方法、装置、设备及介质


[0001]本申请实施例涉及人工智能
，特别涉及一种图像处理、图像处理模型的训练方法、装置、设备及介质。

技术介绍

[0002]随着人工智能技术的发展，对图像进行处理的应用场景越来越多。其中，一种应用场景为：图像中包括参考对象的子图像，调用图像处理模型对图像进行处理，以分割出图像中的子图像，得到该图像的分割结果。
[0003]相关技术中，获取图像的分割结果所依据的图像特征是通过仅关注局部信息得到的特征，关注的信息较局限，使得图像特征的可靠性较差，进而导致获取的分割结果的准确性较差。

技术实现思路

[0004]本申请实施例提供了一种图像处理、图像处理模型的训练方法、装置、设备及介质，可用于提高图像特征的可靠性，进而提高获取的分割结果的准确性。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0006]获取待处理图像和图像处理模型，所述图像处理模型包括编码模型和解码模型，所述编码模型包括注意力模型和卷积模型，所述注意力模型基于全局信息进行编码，所述卷积模型基于局部信息进行编码；
[0007]调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征；
[0008]调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征；
[0009]基于所述目标图像特征，获取所述待处理图像的分割结果。
[0010]还提供了一种图像处理模型的训练方法，所述方法包括：
[0011]获取样本图像、所述样本图像的标签信息和初始图像处理模型，所述初始图像处理模型包括初始编码模型和初始解码模型，所述初始编码模型包括初始注意力模型和初始卷积模型；
[0012]调用所述初始注意力模型和所述初始卷积模型基于全局信息和局部信息对所述样本图像进行编码，得到样本编码特征；
[0013]调用所述初始解码模型对所述样本编码特征进行解码，得到样本图像特征；
[0014]基于所述样本图像特征，获取所述样本图像的分割结果；
[0015]基于所述样本图像的分割结果和所述样本图像的标签信息，对所述初始图像处理模型进行训练，得到图像处理模型。
[0016]另一方面，提供了一种图像处理装置，所述装置包括：
[0017]第一获取单元，用于获取待处理图像和图像处理模型，所述图像处理模型包括编
码模型和解码模型，所述编码模型包括注意力模型和卷积模型，所述注意力模型基于全局信息进行编码，所述卷积模型基于局部信息进行编码；
[0018]第二获取单元，用于调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征；
[0019]第三获取单元，用于调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征；
[0020]第四获取单元，用于基于所述目标图像特征，获取所述待处理图像的分割结果。
[0021]在一种可能实现方式中，所述编码模型的数量为至少一个，所述第二获取单元，用于调用第一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征和连接特征；从第二个编码模型开始，调用下一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对上一个编码模型输出的基础特征进行编码，得到下一个编码模型输出的基础特征和连接特征，直至得到倒数第二个编码模型输出的基础特征和连接特征，从所述第一个编码模型到所述倒数第二个编码模型的各个编码模型输出的连接特征用于为执行调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征的步骤提供数据支持；调用最后一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述倒数第二个编码模型输出的基础特征进行编码，得到所述最后一个编码模型输出的连接特征，将所述最后一个编码模型输出的连接特征作为所述目标编码特征。
[0022]在一种可能实现方式中，所述第一个编码模型中的注意力模型包括第一注意力模型，所述第二获取单元，还用于调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征，得到所述第一个编码模型输出的基础特征；基于所述第一个编码模型输出的基础特征，获取所述第一个编码模型输出的连接特征。
[0023]在一种可能实现方式中，所述第二获取单元，还用于调用所述第一个编码模型中的卷积模型基于局部信息对所述待处理图像进行编码，得到第一编码特征；调用所述第一注意力模型基于全局信息对所述待处理图像进行编码，得到第二编码特征；对所述第一编码特征和所述第二编码特征进行融合，得到融合特征；基于所述融合特征，获取所述第一个编码模型输出的基础特征。
[0024]在一种可能实现方式中，所述第二获取单元，还用于获取所述待处理图像的各个图像块的块特征，对所述各个图像块的块特征进行映射，得到所述各个图像块的映射特征；获取图像块位置特征；基于所述各个图像块的映射特征和所述图像块位置特征，获取所述待处理图像的参考特征；调用所述第一注意力模型基于全局信息对所述待处理图像的参考特征进行编码，得到所述第二编码特征。
[0025]在一种可能实现方式中，所述第一注意力模型包括注意力模块和非线性处理模块，所述第二获取单元，还用于调用所述注意力模块对所述参考特征进行处理，得到第一中间特征；将所述第一中间特征和所述参考特征进行拼接，得到待处理特征；调用所述非线性处理模块对所述待处理特征进行处理，得到第二中间特征；将所述第二中间特征和所述待处理特征进行拼接，得到所述第二编码特征。
[0026]在一种可能实现方式中，所述第二获取单元，还用于调用所述第一个编码模型中
的卷积模型基于局部信息对所述待处理图像进行编码，得到第一编码特征；调用所述第一注意力模型基于全局信息对所述第一编码特征进行编码，得到第三编码特征；基于所述第三编码特征，获取所述第一个编码模型输出的基础特征。
[0027]在一种可能实现方式中，所述第二获取单元，还用于调用所述第一注意力模型基于全局信息对所述待处理图像进行编码，得到第二编码特征；调用所述第一个编码模型中的卷积模型基于局部信息对所述第二编码特征进行编码，得到第四编码特征；基于所述第四编码特征，获取所述第一个编码模型输出的基础特征。
[0028]在一种可能实现方式中，所述第一个编码模型中的注意力模型包括第二注意力模型，所述第二获取单元，还用于调用所述第一个编码模型中的卷积模型基于局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征；调用所述第二注意力模型基于全局信息对所述第一个编码模型输出的基础特征进行编码，得到所述第一个编码模型输出的连接特征。
[0029]还提供了一种图像处理模型的训练装置，所述装置包括：
[0030]第一获取单元，用于获取样本图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像和图像处理模型，所述图像处理模型包括编码模型和解码模型，所述编码模型包括注意力模型和卷积模型，所述注意力模型基于全局信息进行编码，所述卷积模型基于局部信息进行编码；调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征；调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征；基于所述目标图像特征，获取所述待处理图像的分割结果。2.根据权利要求1所述的方法，其特征在于，所述编码模型的数量为至少一个，所述调用所述注意力模型和所述卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到目标编码特征，包括：调用第一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征和连接特征；从第二个编码模型开始，调用下一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对上一个编码模型输出的基础特征进行编码，得到下一个编码模型输出的基础特征和连接特征，直至得到倒数第二个编码模型输出的基础特征和连接特征，从所述第一个编码模型到所述倒数第二个编码模型的各个编码模型输出的连接特征用于为执行调用所述解码模型对所述目标编码特征进行解码，得到目标图像特征的步骤提供数据支持；调用最后一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述倒数第二个编码模型输出的基础特征进行编码，得到所述最后一个编码模型输出的连接特征，将所述最后一个编码模型输出的连接特征作为所述目标编码特征。3.根据权利要求2所述的方法，其特征在于，所述第一个编码模型中的注意力模型包括第一注意力模型，所述调用第一个编码模型中的注意力模型和卷积模型基于全局信息和局部信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征和连接特征，包括：调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征；基于所述第一个编码模型输出的基础特征，获取所述第一个编码模型输出的连接特征。4.根据权利要求3所述的方法，其特征在于，所述调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征，包括：调用所述第一个编码模型中的卷积模型基于局部信息对所述待处理图像进行编码，得到第一编码特征；调用所述第一注意力模型基于全局信息对所述待处理图像进行编码，得到第二编码特征；对所述第一编码特征和所述第二编码特征进行融合，得到融合特征；基于所述融合特征，获取所述第一个编码模型输出的基础特征。5.根据权利要求4所述的方法，其特征在于，所述调用所述第一注意力模型基于全局信
息对所述待处理图像进行编码，得到第二编码特征，包括：获取所述待处理图像的各个图像块的块特征，对所述各个图像块的块特征进行映射，得到所述各个图像块的映射特征；获取图像块位置特征；基于所述各个图像块的映射特征和所述图像块位置特征，获取所述待处理图像的参考特征；调用所述第一注意力模型基于全局信息对所述待处理图像的参考特征进行编码，得到所述第二编码特征。6.根据权利要求5所述的方法，其特征在于，所述第一注意力模型包括注意力模块和非线性处理模块，所述调用所述第一注意力模型基于全局信息对所述待处理图像的参考特征进行编码，得到所述第二编码特征，包括：调用所述注意力模块对所述参考特征进行处理，得到第一中间特征；将所述第一中间特征和所述参考特征进行拼接，得到待处理特征；调用所述非线性处理模块对所述待处理特征进行处理，得到第二中间特征；将所述第二中间特征和所述待处理特征进行拼接，得到所述第二编码特征。7.根据权利要求3所述的方法，其特征在于，所述调用所述第一个编码模型中的卷积模型和所述第一注意力模型基于局部信息和全局信息对所述待处理图像进行编码，得到所述第一个编码模型输出的基础特征，包括：调用所述第一个编码模型中的卷积模型基于局部信息对所述待处理图像进行编码，得到第一编码特征；调用所述第一注意力模型基于全局信息对所述第一编...

【专利技术属性】
技术研发人员：林一，曲志勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：