一种语言驱动的一体式图像恶劣天气去除方法技术

本发明专利技术涉及一种语言驱动的一体式图像恶劣天气去除方法，属于计算机视觉和人工智能技术领域，包括：获取输入图像的退化先验P<supgt;emb</supgt;；查询PVL模型，以推理输入图像I<supgt;d</supgt;中的退化情况，产生文本描述P<supgt;txt</supgt;；将所述P<supgt;txt</supgt;投影到P<supgt;emb</supgt;；将输入图像Id<supgt;编</supgt;码为特征X；从可训练的卷积滤波器中选择专家/参数，恢复每个像素的退化；通过P<supgt;emb</supgt;和X计算得出退化图M；基于退化图M，为X的每个像素选择恢复专家，生成中间恢复特征通过交叉注意力机制，逐像素聚合所述根据退化图M改善特征的局部性；使用前馈网络处理聚合后的特征，生成最终的恢复特征将解码为恢复后的图像I<supgt;c</supgt;。本发明专利技术具有计算复杂度低、资源需求少，适应性高、部署使用容易、实施效果好的特点。

【技术实现步骤摘要】

本专利技术涉及一种语言驱动的一体式图像恶劣天气去除方法，属于计算机视觉和人工智能。

技术介绍

1、在恶劣天气条件下进行成像会导致图像退化，这对基于视觉的系统，如自动驾驶汽车和室外监控系统，构成挑战。这些系统要执行全天候服务，必须不受雨、雾和雪等天气条件影响。为了满足安全需求，与使用独立模型应对每种天气条件相比，联合任务处理，即全能型框架，具有更广泛的应用场景。

2、退化图像可以被建模为干净图像和退化残差的掩蔽加性组合。因此，一些工作使用单一网络处理所有类型的退化。虽然学习了共享知识以进行恢复，但他们忽略了不同退化仍具有不同的数学公式，例如，雾模型中散射效应产生的传输图对雨滴模型是不必要的。因此，一些工作使用不同的子网络来学习特定天气知识。然而，这些工作还需要辅助监督来指定子网络，例如退化类型或深度图。此外，现有方法的固定子网络架构限制了学习特定天气知识的多样性及其处理各种天气条件的能力，例如以前未遇到的天气严重程度退化的图像，或者真实世界场景中的混合天气条件，如雪和雾。

3、(1)恶劣天气恢复。恶劣天气恢复领域包含两种不同的方法：特本文档来自技高网...

【技术保护点】

1.一种语言驱动的一体式图像恶劣天气去除方法，其特征在于：所述去除方法包括如下步骤：S1，退化图测量；S2，Top-K混合专家恢复；S3，恢复特征聚合；所述退化图测量包括：使用模型来获取输入图像的退化先验Pemb；通过问题提示T查询PVL模型，以推理输入图像Id中的退化发生、类型和严重程度，产生文本描述Ptxt；通过映射网络将所述Ptxt投影到所述Pemb；使用编码器将所述输入图像Id编码为特征X；所述Top-K专家恢复包括：从可训练的卷积滤波器候选列表中选择专家，以适应性地恢复每个像素的退化；通过所述Pemb和所述X之间的语义对齐计算得出退化图M，用以描述每个像素的退化情况；基于所述退...

【技术特征摘要】

1.一种语言驱动的一体式图像恶劣天气去除方法，其特征在于：所述去除方法包括如下步骤：s1，退化图测量；s2，top-k混合专家恢复；s3，恢复特征聚合；所述退化图测量包括：使用模型来获取输入图像的退化先验pemb；通过问题提示t查询pvl模型，以推理输入图像id中的退化发生、类型和严重程度，产生文本描述ptxt；通过映射网络将所述ptxt投影到所述pemb；使用编码器将所述输入图像id编码为特征x；所述top-k专家恢复包括：从可训练的卷积滤波器候选列表中选择专家，以适应性地恢复每个像素的退化；通过所述pemb和所述x之间的语义对齐计算得出退化图m，用以描述每个像素的退化情况；基于所述退化图m，为所述x的每个像素选择恢复专家，生成中间恢复特征所述恢复特征聚合包括：通过交叉注意力机制，逐像素聚合所述根据所述退化图m改善特征的局部性；使用前馈网络处理聚合后的特征，生成最终的恢复特征将解码为恢复后的图像ic。

2.根据权利要求1所述一种语言驱动的一体式图像恶劣天气去除方法，其特征在于：所述ptxt的定义为：其中，vl(·，·)是pvl模型，l是描述长度，cv1是通道维度。

3.根据权利要求2所述一种语言...

【专利技术属性】
技术研发人员：潘利源，杨宗霖，杨浩，杨焱，梁玮，张睿堃，刘恩齐，董静涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：