基于关键语义保留的多宽高比图像重定向方法及系统技术方案

本发明专利技术公开了一种基于关键语义保留的多宽高比图像重定向方法及系统，至少包括初步重定向模块、重绘区域选取模块与图片引导生成模块；初步重定向模块基于语义缝隙雕刻算法，通过引入带空间先验的显著性图与梯度算子结合，删除能量低的线状区域得到初步重定向结果；重绘区域选取模块以初步重定向模块的输出结果为输入，对初步重定向图中像素移位大的区域进行重新生成，对语义缝隙雕刻未达到目标宽高比的结果进行扩图；图片引导生成模块基于重绘区域选取模块输出的结果，利用原图作为控制条件引导局部重绘，输出图像。本方明解决了传统重定向方法缺失语义的问题，自适应地对突兀像素进行重新生成，输出保留关键语义、符合人类美感的期望宽高比图片。

【技术实现步骤摘要】

本专利技术属于计算机视觉和aigc的，主要涉及了一种基于关键语义保留的多宽高比图像重定向方法及系统。

技术介绍

1、图像重定向技术广泛应用于各种数字媒体和显示设备中，包括手机、平板电脑、计算机显示器和智能电视。随着这些设备显示屏幕比例的多样化，如何在不同设备上显示统一质量的图像成为一个亟待解决的问题。

2、传统的图像重定目标方法，如缩放、裁剪和缝隙雕刻，尽管可以在一定程度上满足需求，但都存在着语义缺失的问题。缩放技术虽然能够保持图像的整体性，但会导致图像内容比例失调，出现严重形变。裁剪技术能够保持图像的局部清晰度，但会丢失重要的图像信息。更复杂的接缝裁剪(seam carving)技术通过删除图像中的低能量路径来实现重定目标，能够在一定程度上保持图像的重要内容。然而，由于缺乏对图像深层语义信息的理解，接缝裁剪在处理复杂图像时会导致重要对象的丢失和图像不连续性的问题。随着深度学习的发展，基于对抗生成网络(gan)的生成方法在一定程度上缓解了语义和像素不连续的问题。然而，生成对抗网络在训练中的不稳定性和生成结果的不一致性也限制了其在实际场景中的应用本文档来自技高网...

【技术保护点】

1.基于关键语义保留的多宽高比图像重定向系统，其特征在于：至少包括初步重定向模块、重绘区域选取模块与图片引导生成模块；

2.如权利要求1所述的基于关键语义保留的多宽高比图像重定向系统，其特征在于：所述图片引导生成模块至少包括ControlNet和IP-Adapter辅助稳定扩散模型，所述ControlNet用于控制重绘区域，IP-Adapter用于控制生成内容。

3.使用如权利要求1所述系统的基于关键语义保留的多宽高比图像重定向方法，其特征在于，具体包括如下步骤：

4.如权利要求3所述的基于关键语义保留的多宽高比图像重定向方法，其特征在于：所述步骤S2...

【技术特征摘要】

1.基于关键语义保留的多宽高比图像重定向系统，其特征在于：至少包括初步重定向模块、重绘区域选取模块与图片引导生成模块；

2.如权利要求1所述的基于关键语义保留的多宽高比图像重定向系统，其特征在于：所述图片引导生成模块至少包括controlnet和ip-adapter辅助稳定扩散模型，所述controlnet用于控制重绘区域，ip-adapter用于控制生成内容。

3.使用如权利要求1所述系统的基于关键语义保留的多宽高比图像重定向方法，其特征在于，具体包括如下步骤：

4.如权利要求3所述的基于关键语义保留的多宽高比图像重定向方法，其特征在于：所述步骤s2中能量的计算公式为：

5.如权利要求4所述的基于关键语义保留的多宽高比图像重定向方法...

【专利技术属性】
技术研发人员：陈浩，沈飞鸿，
申请(专利权)人：东南大学，
类型：发明
国别省市：