纹理生成方法、装置、设备及计算机可读存储介质制造方法及图纸

技术编号:33652456 阅读:61 留言:0更新日期:2022-06-02 20:30
本公开提供了一种纹理生成方法、装置、设备及计算机可读存储介质;方法包括:获取待转换图像的查询特征图、键特征图和值特征图;所述查询特征图包括纹理空间中的多个待查询像素点;所述键特征图用于表征所述待转换图像的语义特征;所述值特征图用于结合每一所述待查询像素点的注意力特征图确定每一所述待查询像素点的纹理参数;所述注意力特征图由所述查询特征图和所述键特征图确定;基于注意力机制,将所述查询特征图、所述键特征图和所述值特征图生成目标纹理特征图。特征图生成目标纹理特征图。特征图生成目标纹理特征图。

【技术实现步骤摘要】
纹理生成方法、装置、设备及计算机可读存储介质


[0001]本公开涉及纹理生成技术,尤其涉及一种纹理生成方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。其中,三维物体重建(3D object reconstruction)是人工智能的重要分支,在实际的工程应用中,需要生成纹理数据,以对特定的三维模型进行重建。传统技术中基于单一图像难以得到准确的纹理特征。

技术实现思路

[0003]本公开实施例提供一种纹理生成方法、装置、设备及计算机可读存储介质,能够提升纹理特征图中纹理参数的真实性。
[0004]本公开实施例的技术方案是这样实现的:
[0005]本公开实施例提供一种纹理生成方法,包括:
[0006]获取待转换图像的查询特征图、键特征图和值特征图;所述查询特征图包括纹理空间中的多个待查询像素点;所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纹理生成方法,其特征在于,包括:获取待转换图像的查询特征图、键特征图和值特征图;所述查询特征图包括纹理空间中的多个待查询像素点;所述键特征图用于表征所述待转换图像的语义特征;所述值特征图用于结合每一所述待查询像素点的注意力特征图确定每一所述待查询像素点的纹理参数;所述注意力特征图由所述查询特征图和所述键特征图确定;基于注意力机制,将所述查询特征图、所述键特征图和所述值特征图生成目标纹理特征图;所述目标纹理特征图包括每一所述待查询像素点对应的纹理参数。2.根据权利要求1所述的方法,其特征在于,所述基于注意力机制,将所述查询特征图、所述键特征图和所述值特征图生成目标纹理特征图,包括:对所述注意力机制的输入特征图进行不同尺度的特征提取处理,得到多个尺度对应的输入特征;所述输入特征图包括所述查询特征图、所述键特征图和所述值特征图;将每一所述尺度对应的输入特征输入至对应的转换模块,得到每一所述尺度对应的输出特征;融合每一所述尺度对应的输出特征,得到所述目标纹理特征图。3.根据权利要求2所述的方法,其特征在于,所述对所述注意力机制的输入特征图进行不同尺度的特征提取处理,得到多个尺度对应的输入特征,包括:对所述输入特征图进行多次下采样处理,得到预设尺度对应的输入特征;对所述预设尺度对应的输入特征,进行多次上采样处理,得到多个尺度对应的输入特征;所述下采样处理的次数和所述上采样处理的次数相同。4.根据权利要求2所述的方法,其特征在于,所述将每一所述尺度对应的输入特征输入至对应的转换模块,得到每一所述尺度对应的输出特征,包括:针对每一所述尺度,融合所述查询特征图和所述查询特征图的位置编码,得到第一输入特征;融合所述键特征图和所述键特征图的位置编码,得到第二输入特征;基于所述第一输入特征、所述第二输入特征和所述值特征图得到中间特征图;基于所述中间特征图和残差网络确定所述尺度对应的输出特征。5.根据权利要求2所述的方法,其特征在于,所述融合每一所述尺度对应的输出特征,得到所述目标纹理特征图,包括:融合每一所述尺度对应的输出特征,得到多尺度输出特征;基于所述多尺度输出特征,确定所述目标纹理特征图。6.根据权利要求5所述的方法,其特征在于,所述融合每一所述尺度对应的输出特征,得到多尺度输出特征,包括:按照所述多个尺度中最大尺度至最小尺度的顺序,依次对每一所述尺度对应的输出特征进行下采样融合处理,得到每一所述尺度对应的下采样融合特征;所述下采样融合处理用于融合所述尺度对应的输出特征和上一个下采样融合处理得到的下采样融合特征,得到下采样中间特征,并对所述下采样中间特征进行下采样处理,得到所述尺度对应的下采样融合特征;按照所述多个尺度中最小尺度至最大尺度的顺序,依次对每一所述尺度对应的输出特征进行上采样融合处理,得到每一所述尺度对应的上采样融合特征;所述上采样融合处理
用于对上一个上采样融合处理得到的上采样融合特征进行上采样处理,得到上采样中间特征,并融合所述上采样中间特征和所述尺度对应的输出特征,得到所述尺度对应的上采样融合特征;其中,所述最小尺度的上采样融合处理用于对所述最小尺度对应的下采样融合特征进行上采样处理,并融合所述最小尺度对应的输出特征,得到所述最小尺度对应的上采样融合特征;所述最大尺度对应的上采样融合特征为所述多尺度输出特征。7.根据权利要求5所述的方法,其特征在于,在所述多尺度输出特征包括像素特征图的情况下,所述值特征图包括所述待转换图像的原始像素特征;所述基于所述多尺度输出特征,确定所述目标纹理特征图,包括:将所述像素特征图作为所述目标纹理特征图。8.根据权利要求5所述的方法,其特征在于,在所述多尺度输出特征包括纹理流特征图的情况下,所述值特征图包括所述待转换图像的像素分布特征;所述基于所述多尺度输出特征,确定所述目标纹理特征图,包括:基于所述纹理流特征图和所述待转换图像,生成所述目标纹理特征图。9.根据权利要求5所述的方法,其特征在于,在所述多尺度输出特征包括像素特征图、纹理流特征图和置信度特征图的情况下,所述值特征图包括所述待转换图像的原始像素特征和像素分布特征;所述基于所述多尺度输出特征,确定所述目标纹理特征图,包括:基于所述置信度特征图,确定所述纹理空间中每一所述待查询像素点的置信度信息;所述置信度信息包括所述待查询像素点对应所述像素特征图的第一置信度和对应所述纹理流特征图的第二置信度;基于每一所述待查询像素点的所述第一置信度和所述第二置信度,融合所述像素特征图和所述纹理流特征图,得到所述目标纹理特征图。10.根据权利要求9所述的方法,其特征在于,所述基于每一所述待查询像素点的所述第一置信度和所述第二置信度,融合所述像素特征图和所述纹理流特征图,得到所述目标纹理特征图,包括:基于所述像素特征图确定每一所述待查询像素点对应的第一纹理参数;基于所述纹理流特征图和所述待转换图像,确定每一所述待查询像素点对应的第二纹理参数;针对每一所述待查询像素点,分别基于所述第一置信度和所述第二置信度,对所述第一纹理参数和所述第二纹理参数进行加权融合,得到所述待查询像素点对应的纹理参数。11.根据权利要求1至10任一项所述的方法,其特征在于,所述方法由已训练的纹理生成模型实现,所述纹理生成模型的训练过程包括:获取样本图像,将所述样本图像输入至待训练的纹理生成模型,得到所述样本图像对应的预测纹理图像;对所述样本图像对应的预测纹理图像进行渲染,得到所述样本图像对应的预测渲染图像;基于所述样本图像和所述预测渲染图像,确定所述待训练的纹理生成模型的损失值;根据所述损失值对所述待训练的纹理生成模型的参数进行调整,以得到已训练的纹理生成模型。
12.根据权利要求11所述的方法,其特征在于,所述待训练的纹理生成模型的损失值包括第一损失值;所述基于所述...

【专利技术属性】
技术研发人员:许翔宇吕健勤钱晨
申请(专利权)人:南洋理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1