【技术实现步骤摘要】
本专利技术属于语言图像多模态融合，具体涉及一种基于数据生成调优与权重自主进化的指代表达理解方法。
技术介绍
1、指代表达理解旨在根据给定的自然语言描述检测特定的对象，与仅能定位固定类别集合内的对象的通用物体检测相比，指代表达理解更加灵活和有目的性。自由形式的语言描述可以指定目标对象的特定视觉属性，如类别、属性、与其他对象的关系、相对/绝对位置等。由于与检测任务的相似性，先前的指代表达理解方法通常遵循通用的物体检测框架，并注重跨模态交互模块的设计。尽管取得了令人印象深刻的性能，但视觉主干网络并没有得到很好的探索。具体而言，视觉主干网络提取具有固定架构和权重的视觉特征，不考虑指代表达，这种被动的特征提取可能会导致提取的视觉特征与各种指代表达所需的特征之间的不匹配，例如缺失或冗余特征。
2、同时，固定的视觉主干网络对图像有固有的偏好，这可能与指代表达的文本无关。理想情况下，视觉主干网络应充分利用指代表达式，因为表达式可以提供关于所需视觉特征的信息和倾向性。一些方法已经注意到了这一现象并提出了相应的解决方案，这些方法通过将精心设计的...
【技术保护点】
1.一种基于数据生成调优与权重自主进化的指代表达理解方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于数据生成调优与权重自主进化的指代表达理解方法，其特征在于，所述N＝6，L＝40，dl＝512。
【技术特征摘要】
1.一种基于数据生成调优与权重自主进化的指代表达理解方法，其特征在于，包括如下步骤：
2.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。