【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于全局结构编码的全景图像修复方法。
技术介绍
1、全景图像修复是计算机视觉领域中一项复杂而关键的任务，其主要挑战之一是克服全景图像中的球面畸变问题，以及确保修复过程中全局信息的一致性，全景图像通常是通过将多个图像拼接而成，这导致了球面畸变的出现，因为在球形表面上观察到的物体可能会因其弯曲而被扭曲。这种畸变对于传统的图像修复算法来说是一个挑战，因为它们通常基于平面图像的假设，而无法有效处理球面上的结构信息，例如cn116957977a公开的基于立方体投影格式的双生成器全景图像修复方法，其包括获取待修复全景图像，并将其格式转换为立方体贴图投影格式；将待修复全景图像的前、后、左、右四个面进行拼接，得待修复矩形图像；利用四面生成器对待修复矩形图像进行修复，得重构矩形图像；将重构矩形图像与上、下两面按通道拼接，得多通道的待修复图像；利用六面生成器对多通道的待修复图像进行修复，得重构全景图像；将重构全景图像的格式转换为等距柱状投影格式，即为修复后的全景图像；cn111131689a提供的一种全景图像修复方法和系统，所述方法包括响应于图像采集设备处于待修复区域内，采集素材图像并根据素材图像生成全景图像；待修复区域是由围绕所述图像采集设备的多个标志限定的，每一标志具有唯一的标识符；将全景图像转换为包括底面图像的立面体图像；响应于图像采集设备处于待修复区域外，图像采集设备拍摄包括多个标志和待修复区域的第一图像，并拍摄仅包括待修复区域的第二图像；基于标志确定从底面图像到第一图像的变换矩阵；用变换矩阵对第二图像进
技术实现思路
1、为了解决全景畸变问题，本专利技术提出了一种基于全局结构编码的全景图像修复方法，采用全局结构编码算法有效地处理球面上的物体结构信息，并采用球面几何学建模方法更准确地表示球面上物体的形状和结构，在修复过程中更好地考虑球面上物体的真实形态，从而提高修复的准确性。
2、为实现上述目的，本专利技术通过以下技术方案实现：
3、一种基于全局结构编码的全景图像修复方法，具体包括如下步骤：
4、（1）收集并整理包含全景图像构建全景图像修复数据集；
5、（2）将全景图像修复数据集中的全景图像作为输入图像，采用vit方式将输入图像分割成小块并通过线性层进行特征嵌入得到视觉特征，在特征嵌入过程中，将输入特征划分为像素级的卷积输入；
6、（3）对全景图像进行角点检测和边缘检测，将角点检测和边缘检测的结构输入深度学习网络提取全景图像结构特征分别得到角点特征和边缘特征，并将角点特征和边缘特征进行拼接融合得到结构特征；
7、（4）采用结合深度特征的奇异值分解方式进行视觉特征和结构特征之间的交互得到增强后的视觉特征；
8、（5）使用滤波或去噪技术对增强后的视觉特征进行处理得到经过噪声过滤的视觉特征，再将经过噪声过滤的视觉特征输入到convgru神经网络中得到输出结果；
9、（6）采用全局池化层对步骤（2）得到的视觉特征操作，将其转化为一个高维度的向量，得到全局特征，并从全局特征中提取高维度语义信息得到高纬度的全局特征；
10、（7）将全局特征进行修复，得到增强后的特征；
11、（8）对步骤（7）得到的增强后的特征，通过对当前局部区域与其他区域之间的相似性进行约束得到经过约束处理后的特征；
12、（9）对经过约束处理后的特征进行精细化处理后输出；
13、（10）采用 adam 优化器训练整个网络模型，并对训练好的网络模型进行测试。
14、作为本专利技术的进一步技术方案，步骤（1）所述构建全景图像修复数据集涵包括受到球面畸变影响的全景图像，球面畸变指损坏、缺失或扭曲。
15、作为本专利技术的进一步技术方案，步骤（2）所述vit 方式为：
16、，表示vit处理的函数形式， imagesegmentation 为图像分割函数，linearlayer 为线性层特征嵌入函数，image为输入图像；
17、每个所述卷积输入包含9个不同位置的特征值，每个卷积的特征值是根据全景图像的投影信息获得的，包括1个中心坐标和8个邻域坐标，先获取中心坐标，然后通过邻域投影得到8个邻域坐标，从而确定erp投影的位置，再采用球面切线投影的方法，在球面中心坐标位置将球面上的8邻域投影到平面，从而获得平面上的9个坐标点，具体表示为：
18、，
19、其中为视觉特征，和分别表示中心坐标和邻域坐标的函数；input为经过提取的特征信息；
20、，
21、表示erp投影函数，sphericalprojection 表示球面投影函数，sphericaltangentpatchprojection 表示球面切线投影函数，为球面上与erp上相对应位置的坐标信息。
22、作为本专利技术的进一步技术方案，步骤（3）所述角点检测使用角点检测算法识别全景图像中的关键角点，得到角点的位置和强度信息，其中i为全景图像，为角点的位置，为强度信息；
23、所述边缘检测使用边缘检测算法检测全景图像中的边缘，获得边缘的位置和强度信息，其中为边缘的位置，为强度信息；
24、所述角点特征为；
25、所述边缘特征为；其中表示深度学习网络；
26、所述结构特征为，其中为特征拼接， 为卷积层。
27、作为本专利技术的进一步技术方案，步骤（4）的具体过程表示为：
28、作为本专利技术的进一步技术方案，步骤（5）得到的输出结果为：
29、，其中noisefiltered 表示噪声过滤操作，convgru 表示卷积门控循环单元的操作。
30、作为本专利技术的进一步技术方案，步骤（6）所述全局特征为，globalpooling 表示全局池化操作；高纬度的全局特征为，semanticinfo 表示从全局特征中提取高维度语义信息的操作。
31、作为本专利技术的进一步技术方案，步骤（7）增强后的特征为，其中，α为权重系数，用于平衡对相似性的影响，
32、，
33、β为权重系数，用于平衡与的相似性和与的相似性，表示与 之间的余弦相似性，表示与之间的余弦相似性。
34、作为本专利技术的进一步技术方案，步骤（8）经过约束处理后的特征为：
35、，
36、为步骤（7）增强后的特征， wq, wk, wv 是分别用于查询、键、值的权重矩阵，softmax 是 softmax 激活函数，是 dk 的平方根，其中 dk 是查询/键向量的维度。
37、作为本专利技术的进一步技术方案，步骤（9）的输出结果为：，其中：是本文档来自技高网...
【技术保护点】
1.一种基于全局结构编码的全景图像修复方法，其特征在于，具体包括如下步骤：
2. 根据权利要求1所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（2）所述ViT 方式为：，表示ViT处理的函数形式， ImageSegmentation 为图像分割函数，LinearLayer 为线性层特征嵌入函数，Image为输入图像；
3.根据权利要求2所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（3）所述角点检测使用角点检测算法识别全景图像中的关键角点，得到角点的位置和强度信息，其中I为全景图像，为角点的位置，为强度信息；
4.根据权利要求3所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（4）的具体过程表示为：
5.根据权利要求4所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（5）得到的输出结果为：，其中NoiseFiltered表示噪声过滤操作，ConvGRU 表示卷积门控循环单元的操作。
6.根据权利要求5所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（6）所述全局特征为，Glob
7.根据权利要求6所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（7）增强后的特征为，其中，α为权重系数，用于平衡对相似性的影响，
8.根据权利要求7所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（8）经过约束处理后的特征为：
9.根据权利要求8所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（9）的输出结果为：，其中：是经过约束处理后的特征，Refine 表示特征精细化操作，特征精细化操作包括卷积层和激活层操作。
10.根据权利要求9所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（10）在进行网络训练时，将样本图像的尺寸调整为 256×256，同时采用随机位置放置缺失区域的策略，损失函数为：
...【技术特征摘要】
1.一种基于全局结构编码的全景图像修复方法，其特征在于，具体包括如下步骤：
2. 根据权利要求1所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（2）所述vit 方式为：，表示vit处理的函数形式， imagesegmentation 为图像分割函数，linearlayer 为线性层特征嵌入函数，image为输入图像；
3.根据权利要求2所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（3）所述角点检测使用角点检测算法识别全景图像中的关键角点，得到角点的位置和强度信息，其中i为全景图像，为角点的位置，为强度信息；
4.根据权利要求3所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（4）的具体过程表示为：
5.根据权利要求4所述基于全局结构编码的全景图像修复方法，其特征在于，步骤（5）得到的输出结果为：，其中noisefiltered表示噪声过滤操作，convgru 表示卷积门控循环单元的操作。
6.根据权利要...
【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，谭连盛，董玉超，李贤超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。