指代分割中基于图像-文本融合的数据增强方法技术

本发明专利技术涉及图像数据处理方法技术领域，具体为指代分割中的一种基于图像‑文本融合的数据增强方法。本申请所述的该图像‑文本联合数据增强算法，基于RESMatch+架构对RES采用半监督学习策略，结合了一致性正则化方法，在数据级直接集成图像和文本信息。该算法通过合并mask和连接文本生成新的图像文本对及对应的标签，并保留其语义关系。I‑TJA促进了模式之间的深度融合和交互，促进了模型捕捉视觉和文本信息之间的内在关系的能力，并有效地减少了域差异，显著提高了分割性能。申请人通过大量的实验已验证所述算法的有效性，解决了图文对齐方面的挑战。

【技术实现步骤摘要】

本专利技术涉及图像数据处理方法，具体为指代分割中的一种基于图像-文本融合的数据增强方法。

技术介绍

1、在过去的几年里，深度神经网络的应用在不同的领域显示出了巨大的潜力，在一系列的应用中，指代表达分割(res)在语言驱动的人机交互和图像编辑等领域的使用出现了显著的增长。res是基于文本描述对图片中的目标进行分割，是人机交互的一个重要研究方向。res需要处理图像中的目标及其文本描述，任务的目标是生成精确地勾勒出文本描述指定对象的像素级蒙版。

2、尽管res得到了广泛的应用，但它提出了不同于传统语义分割任务的独特挑战。res需要同时理解视觉信息(图像)和文本描述(描述性短语)，要求网络有能力整合跨越不同数据类型的能力。此外，文本信息通常包含目标对象的属性和关系，需要经过精细注释的训练数据来细粒度地理解文本表达的分割。在现有的研究中，需要大规模的注释和相应的文字描述来实现理解。然而，由于减少对大规模注释数据的需求已经成为传统图像分割的一种趋势，如何减少对更昂贵的文本掩码对的需求仍然没有得到充分的探索。在这项专利技术中，我们提出了一种新的图像-文本联合本文档来自技高网...

【技术保护点】

1.指代分割中基于图像-文本融合的数据增强方法，其特征在于，包括：

2.根据权利要求1所述的指代分割中基于图像-文本融合的数据增强方法，其特征在于，所述步骤2中，半监督学习的网络整体流程为：

3.根据权利要求1所述的指代分割中基于图像-文本融合的数据增强方法，其特征在于，所述复合目标函数为：

4.根据权利要求3所述的指代分割中基于图像-文本融合的数据增强方法，其特征在于，所述LNRMA的表达式为：

【技术特征摘要】

1.指代分割中基于图像-文本融合的数据增强方法，其特征在于，包括：

2.根据权利要求1所述的指代分割中基于图像-文本融合的数据增强方法，其特征在于，所述步骤2中，半监督学习的网络整体流程为：

3...

【专利技术属性】
技术研发人员：臧影，曹润龙，刘青山，陈天润，
申请(专利权)人：湖州师范学院，
类型：发明
国别省市：