图像生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像生成方法、装置、设备及存储介质，属于三维建模技术领域。本发明专利技术通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。来的训练负担。来的训练负担。

【技术实现步骤摘要】
图像生成方法、装置、设备及存储介质


[0001]本专利技术涉及三维建模
，尤其涉及一种图像生成方法、装置、设备及存储介质。

技术介绍

[0002]神经辐射场NeRF是目前业界主流的三维建模技术之一。通过多角度的图片等信息，还原出物体的三维特征，并可生成新视角下的虚拟渲染图像。在AR/VR/模拟仿真领域有广泛用途。
[0003]传统的NeRF利用图像信息，基于空间位置编码经过神经网络训练，得到隐式空间表达的体积颜色和透明度，再利用体积渲染技术，得到三维空间场景的隐式表达。但是为了表达空间中复杂的场景，传统位置编码利用傅里叶变换将笛卡尔坐标映射到频率的高纬度，随着空间复杂度的增高，对编码维度要求越高，这给神经网络的训练带来了负担。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种图像生成方法、装置、设备及存储介质，旨在解决现有技术传统编码无法适应高维度的要求，增大了神经网络的训练负担的技术问题。
[0006]为实现上述目的，本专利技术提供了一种图像生成方法，所述图像生成方法包括以下步骤：
[0007]获取输入的含待重建物体图像的原始图像集；
[0008]根据所述原始图像集生成原始三维点云；
[0009]将生成的原始三维点云进行压缩变换；
[0010]对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。r/>[0011]可选地，所述将生成的原始三维点云进行压缩变换，包括：
[0012]对生成的原始三维点云进行变换，得到参考三维点云；
[0013]通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云；
[0014]对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。
[0015]可选地，所述对所述生成的原始三维点云进行变换，得到参考三维点云，包括：
[0016]通过连续的三维离散余弦变换对所述原始三维点云的色彩进行变换，得到参考三维点云的变换关系式；
[0017]基于重要性抽样生成采样点，所述采样点在相机拍摄方向对应的射线上；
[0018]将所述采样点代入所述变换关系式得到参考三维点云。
[0019]可选地，所述通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云，包括：
[0020]根据所述参考三维点云确定色彩重要度；
[0021]根据所述色彩重要度对所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。
[0022]可选地，所述对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云，包括：
[0023]对所述压缩后的参考三维点云进行反变换，得到点云的色彩与不透明度；
[0024]根据所述色彩与所述不透明度得到压缩变换后的三维点云。
[0025]可选地，所述对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，包括：
[0026]获取输入的新的拍摄角度所对应的相机位姿；
[0027]根据所述相机位姿以及所述压缩变换后的三维点云中像素点的位置确定新的拍摄角度所对应的拍摄射线方向；
[0028]基于所述拍摄射线方向构建体积渲染关系式；
[0029]根据所述体积渲染关系式对压缩变换后的三维点云的色彩进行积分，以完成渲染，以得到所述待重建物体在所述新的拍摄角度对应的图像。
[0030]可选地，所述基于所述拍摄射线方向构建体积渲染关系式，包括：
[0031]根据压缩变换后的三维点云所处的位置确定光线反射点与透明区域；
[0032]根据所述光线反射点与所述透明区域确定所述拍摄射线方向上的光线分布函数式；
[0033]基于所述光线分布函数式确定体积渲染关系式。
[0034]此外，为实现上述目的，本专利技术还提出一种图像生成装置，所述图像生成装置包括：
[0035]获取模块，用于获取输入的含待重建物体图像的原始图像集；
[0036]生成模块，用于根据所述原始图像集生成原始三维点云；
[0037]压缩模块，用于将生成的原始三维点云进行压缩变换；
[0038]渲染模块，用于对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。
[0039]此外，为实现上述目的，本专利技术还提出一种图像生成设备，所述图像生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像生成程序，所述图像生成程序配置为实现如上文所述的图像生成方法。
[0040]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有图像生成程序，所述图像生成程序被处理器执行时实现如上文所述的图像生成方法。
[0041]本专利技术通过获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像，利用离散余弦变换将点云所在的三维空间进行投影压缩，通过不断采样使得投影到的映射空间将更能表征真实场，通过投影压缩的方式降低了高维度带来的训练负担。
附图说明
[0042]图1是本专利技术实施例方案涉及的硬件运行环境的图像生成设备的结构示意图；
[0043]图2为本专利技术图像生成方法第一实施例的流程示意图；
[0044]图3为本专利技术图像生成方法一实施例中相机拍摄示意图；
[0045]图4为本专利技术图像生成方法一实施例中DCT压缩机示意图；
[0046]图5为本专利技术图像生成方法第二实施例的流程示意图；
[0047]图6为本专利技术图像生成方法第三实施例的流程示意图；
[0048]图7为本专利技术图像生成装置第一实施例的结构框图。
[0049]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0050]应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0051]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的图像生成设备结构示意图。
[0052]如图1所示，该图像生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless
‑
Fidelity，Wi
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述图像生成方法包括：获取输入的含待重建物体图像的原始图像集；根据所述原始图像集生成原始三维点云；将生成的原始三维点云进行压缩变换；对压缩变换后的三维点云进行渲染，并通过渲染后的三维点云生成所述待重建物体在各个不同角度的图像。2.如权利要求1所述的图像生成方法，其特征在于，所述将生成的原始三维点云进行压缩变换，包括：对生成的原始三维点云进行变换，得到参考三维点云；通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云；对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云。3.如权利要求2所述的图像生成方法，其特征在于，所述对所述生成的原始三维点云进行变换，得到参考三维点云，包括：通过连续的三维离散余弦变换对所述原始三维点云的色彩进行变换，得到参考三维点云的变换关系式；基于重要性抽样生成采样点，所述采样点在相机拍摄方向对应的射线上；将所述采样点代入所述变换关系式得到参考三维点云。4.如权利要求2所述的图像生成方法，其特征在于，所述通过所述参考三维点云进行体积压缩，得到压缩后的参考三维点云，包括：根据所述参考三维点云确定色彩重要度；根据所述色彩重要度对所述参考三维点云进行体积压缩，得到压缩后的参考三维点云。5.如权利要求2所述的图像生成方法，其特征在于，所述对所述压缩后的参考三维点云进行反变换，得到压缩变换后的三维点云，包括：对所述压缩后的参考三维点云进行反变换，得到点云的色彩与不透明度；根据所述色彩与所述不透明度得到压缩变换后的三维点云。6.如权利要求1至5中任一项所述的图像生成方法，其特征在...

【专利技术属性】
技术研发人员：张昭，覃梓雨，刘塞，
申请(专利权)人：东风汽车有限公司东风日产乘用车公司，
类型：发明
国别省市：