【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种对齐模块、解码器的训练、图像分割方法、设备及介质。
技术介绍
1、通常在语义分割任务的实际应用中，由于训练图像数据集与实际的测试图像数据集在分布上的差异，分割模型通常在测试图像数据集上表现较差。因此，域自适应(domainadaptation)方法应运而生。
2、然而，在一些情况下，无法获取目标域中足够多的图像数据作为域自适应方法的监督信号，例如在自动驾驶场景下，难以获取到极端恶劣天气如沙尘暴等场景下的街景图，这就导致语义分割在未知域的分割准确性下降。
技术实现思路
1、基于此，有必要针对上述技术问题，提供了一种对齐模块、解码器的训练、图像分割方法、设备及介质，可以实现提高语义分割的准确性。
2、第一方面，本申请实施例提供了一种对齐模块的训练方法，包括：
3、获取第一训练样本，第一训练样本包括源域图像、目标域整体提示文本、至少一个识别对象类型在目标域下的目标域单元提示文本以及源域图像分割真值；
4、对源域图像进行特征提取，得到源域图像特征；
5、对目标域整体提示文本进行特征提取，得到第一目标域文本特征；
6、将源域图像特征和第一目标域文本特征输入到对齐模块进行处理，输出目标域图像特征；
7、对各目标域单元提示文本进行特征提取，得到第二目标域文本特征；
8、根据源域图像分割真值中各识别对象类型对应的分割真值，从目标域图像特征中提取局部特征，并对局部特征和第
9、根据局部特征对齐损失值，调整对齐模块的参数；
10、其中，对齐模块用于训练目标域图像分割模型中的目标域图像解码器；目标域图像分割模型用于对目标域的图像进行语义分割。
11、第二方面，本申请实施例提供了一种目标域图像解码器的训练方法，包括：
12、获取第二训练样本，第二训练样本包括源域图像和源域图像分割真值；
13、对源域图像进行特征提取，得到源域图像特征；
14、将源域图像特征输入到对齐模块进行处理，输出目标域图像特征；其中，对齐模块是通过如本申请任一实施例的对齐模块的训练方法训练得到的；
15、将目标域图像特征输入到目标域图像解码器进行处理，输出目标域图像分割结果；目标域图像解码器用于构建目标域图像分割模型，目标域图像分割模型用于对目标域的图像进行语义分割；
16、根据目标域图像分割结果与源域图像分割真值之间的差异，调整目标域图像解码器的参数。
17、第三方面，本申请实施例提供了一种图像分割方法，包括：
18、将获取的目标域图像输入到已训练的目标域图像分割模型中；目标域图像分割模型包括图像编码器和目标域图像解码器，目标域图像解码器是通过如本申请任一实施例的目标域图像解码器的训练方法训练得到的；
19、通过图像编码器得到目标域图像特征；
20、将目标域图像特征输入至目标域图像解码器进行处理，输出目标域图像分割结果；
21、根据目标域图像分割结果，确定目标对象。
22、第四方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的对齐模块的训练方法、目标域图像解码器的训练方法、或图像分割方法中的步骤。
23、第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的对齐模块的训练方法、目标域图像解码器的训练方法、或图像分割方法中的步骤。
24、上述对齐模块的训练方法、目标域图像解码器的训练方法、或图像分割方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，通过从图像特征中提取局部特征，并与描述该图像局部区域语义信息的提示词的文本特征对齐，实现区域性细节对齐，增加目标域图像特征的准确性和代表性，并基于高准确性的对齐模块，训练目标域图像的解码器，从而构建目标域图像的图像分割模型，进而提高目标域图像分割模型在目标域的分割准确性，解决了现有技术中在图像分割中图像分割模型在未知域的图像分割准确性低的问题，提高目标域图像分割模型的泛化能力。
本文档来自技高网...【技术保护点】
1.一种对齐模块的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述局部特征包括区域特征；
3.根据权利要求2所述的方法，其特征在于，所述根据各所述识别对象类型，对所述源域图像分割真值进行转换，形成各所述识别对象类型的分割真值，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据各所述同一识别对象类型的相似元素的数值，以及各所述不同识别对象类型的相似元素的数值，计算区域特征对齐损失值，包括：
5.根据权利要求1所述的方法，其特征在于，所述局部特征包括像素特征；
6.根据权利要求1所述的方法，其特征在于，所述根据所述局部特征对齐损失值，调整所述对齐模块的参数，包括：
7.一种目标域图像解码器的训练方法，其特征在于，包括：
8.一种图像分割方法，其特征在于，包括：
9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的对齐模块的训练方法、权利要求7中所述的目
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的对齐模块的训练方法、权利要求7中所述的目标域图像解码器的训练方法、或权利要求8中所述的图像分割方法。
...【技术特征摘要】
1.一种对齐模块的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述局部特征包括区域特征；
3.根据权利要求2所述的方法，其特征在于，所述根据各所述识别对象类型，对所述源域图像分割真值进行转换，形成各所述识别对象类型的分割真值，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据各所述同一识别对象类型的相似元素的数值，以及各所述不同识别对象类型的相似元素的数值，计算区域特征对齐损失值，包括：
5.根据权利要求1所述的方法，其特征在于，所述局部特征包括像素特征；
6.根据权利要求1所述的方法，其特征在于，所述根据所述局部特征对齐损失值，调整所述对齐模...
【专利技术属性】
技术研发人员：田倬韬，俞越，杨森乔，刘枢，吕江波，沈小勇，
申请(专利权)人：深圳思谋信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。