一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置制造方法及图纸

本发明专利技术公开了一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置，其包括：步骤1，采集珍稀鸟类目标物的离散旋转光场数据；步骤2，估计离散旋转光场数据对应的场景多视点图像对应的相机位姿；步骤3，根据步骤2获取的场景多视点图像对应的相机位姿，获得多视点图像相机位姿的转换矩阵，进而通过NDC中的齐次坐标变换和射线变换，将步骤1采集到的珍稀鸟类目标物的离散旋转光场数据，转换到NDC空间中；步骤4，利用神经辐射场，在离散旋转光场数据NDC空间下生成旋转光场新视点图像；步骤5，根据步骤4生成的旋转光场新视点图像，重构珍稀鸟类三维模型。本发明专利技术属于计算机视觉和计算机图形学的技术。本发明专利技术用于重构珍稀鸟类三维模型。型。型。

【技术实现步骤摘要】
一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置


[0001]本专利技术涉及三维影像重构
，特别是关于一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置。

技术介绍

[0002]鸟类目标物的三维影像重构方法是基于计算机视觉和计算机图形学的技术，旨在从图像或视频数据中提取鸟类的三维形状和结构信息。这些方法在研究鸟类的生态学、行为学、进化学等领域具有重要应用价值。
[0003]重构鸟类目标物的三维影像涉及的技术包括：（1）多视图几何：通过从不同视角获取的图像或视频数据，利用多视图几何原理，推断出鸟类目标物在三维空间中的位置、姿态和形状信息。（2）特征提取和匹配：在鸟类目标物的三维重构中，从图像或视频数据中提取特征，并进行特征匹配以确定对应关系。常用的特征包括角点、边缘、纹理等，通过特征提取和匹配算法，可以识别出鸟类身体的特征点。（3）三维模型生成：通过利用多视图几何和特征匹配得到的信息，可以采用不同的形状重建方法，如三角网格重建、体素重建等，来生成鸟类的三维模型。珍稀鸟类具有形态和羽毛结构复杂的特点，导致点云稀疏以及无法重建遮挡和凹凸部位的问题。本专利技术专利利用基于神经辐射场实现高质量高精度的三维场景重构。

技术实现思路

[0004]本专利技术的目的在于提供一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
[0005]为实现上述目的，本专利技术提供一种基于神经辐射场的珍稀鸟类三维模型重构方法，其包括：步骤1，采集珍稀鸟类目标物的离散旋转光场数据；步骤2，估计离散旋转光场数据对应的场景多视点图像对应的相机位姿；步骤3，根据步骤2获取的场景多视点图像对应的相机位姿，获得多视点图像相机位姿的转换矩阵，进而通过NDC中的齐次坐标变换和射线变换，将步骤1采集到的珍稀鸟类目标物的离散旋转光场数据，转换到NDC（Normalized Device Coordinate，设备坐标归一化）空间中；步骤4，利用神经辐射场，在离散旋转光场数据NDC空间下生成旋转光场新视点图像；步骤5，根据步骤4生成的旋转光场新视点图像，重构珍稀鸟类三维模型。
[0006]进一步地，步骤4的神经辐射场的方法具体包括：步骤41，先用神经场描述鸟类三维模型的几何形状和颜色信息，包含空间位置向量X和方向向量d，然后使用下式（17）将空间位置向量X和方向向量d分别映射到N维空间，获得坐标编码和方向编码，再输入到神经辐射场，由神经辐射场输出该位置的体密
度以及该位置在d方向的颜色值：（17）步骤42，沿着相机光心到达相机的像素点P的原始射线，由下式（18）获得像素点P的颜色值：
ꢀꢀꢀꢀꢀ
（18）式中，为射线在参数S点的体密度，为射线在参数t点的体密度，和分别为沿原始射线r的最近点和最远点，为射线在d方向的像素值。
[0007]进一步地，步骤2的场景多视点图像对应的相机位姿包括旋转矩阵R，旋转矩阵R的获取方法具体包括：步骤21a，将相机绕X轴旋转角的旋转矩阵表示为下式（6），绕y轴旋转角的旋转矩阵表示为下式（7），绕Z轴旋转角的旋转矩阵表示为下式（8）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）步骤22a，通过将上式（6）、式（7）和式(8)相乘，得到的旋转矩阵R表示为下式（9）：（9）。
[0008]进一步地，步骤3中，NDC中的齐次坐标变换的方法具体包括：齐次坐标点对应NDC空间中的坐标点为下式（13）：（13）式中，n、f分别是近、远的剪切平面到原点的距离，r和分别是近剪切平面上场景的右界和上界。
[0009]进一步地，步骤3中，NDC中的射线变换的方法具体包括：将原始射线r变换为NDC空间中的射线，该NDC空间中的射线的原点和方向分别表示为下式（14）、（15）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（14）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（15）式中，n、f分别是近、远的剪切平面到原点的距离，r和分别是近剪切平面上场景的右界和上界，、、分别为原始射线的原点分别在x，y，z方向的坐标值，、、分别为原始射线的方向d分别在x，y，z方向的坐标值。
[0010]本专利技术还提供了一种基于神经辐射场的珍稀鸟类三维模型重构装置，其包括：数据采集单元，其用于采集珍稀鸟类目标物的离散旋转光场数据；相机位姿估计单元，其用于估计离散旋转光场数据对应的场景多视点图像对应的相机位姿；NDC空间转换单元，其用于根据相机位姿估计单元获取的场景多视点图像对应的相机位姿，获得多视点图像相机位姿的转换矩阵，进而通过NDC中的齐次坐标变换和射线变换，将数据采集单元采集到的珍稀鸟类目标物的离散旋转光场数据，转换到NDC空间中；新视点图像获取单元，其用于利用神经辐射场，在离散旋转光场数据NDC空间下生成旋转光场新视点图像；珍稀鸟类三维模型重构单元，其用于根据新视点图像获取单元生成的旋转光场新视点图像，重构珍稀鸟类三维模型。
[0011]进一步地，新视点图像获取单元的神经辐射场的方法具体包括：编码子单元，其用于先用神经场描述鸟类三维模型的几何形状和颜色信息，包含空间位置向量X和方向向量d，然后使用下式（17）将空间位置向量X和方向向量d分别映射到N维空间，获得坐标编码和方向编码，再输入到神经辐射场，由神经辐射场输出该位置的体密度以及该位置在d方向的像素值：（17）像素颜色值计算子单元，其用于沿着相机光心到达相机的像素点P的原始射线，由下式（18）获得像素点P的颜色值：
ꢀꢀꢀꢀꢀꢀ
（18）式中，为射线在参数S点的体密度，为射线在参数t点的体密
度，和分别为沿原始射线r的最近点和最远点，为射线在d方向的像素值。
[0012]进一步地，相机位姿估计单元的场景多视点图像对应的相机位姿包括旋转矩阵R，旋转矩阵R的获取方法具体包括：步骤21a，将相机绕X轴旋转角的旋转矩阵表示为下式（6），绕y轴旋转角的旋转矩阵表示为下式（7），绕Z轴旋转角的旋转矩阵表示为下式（8）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）步骤22a，通过将上式（6）、式（7）和式(8)相乘，得到的旋转矩阵R表示为下式（9）：（9）。
[0013]进一步地，NDC空间转换单元具体包括齐次坐标变换子单元，其用于将齐次坐标点变换为NDC空间中的坐标点，表示为下式（13）：（13）式中，n、f分别是近、远的剪切平面到原点的距离，r和分别是近剪切平面上场景的右界和上界。
[0014]进一步地，NDC空间转换单元具体包括射线变换子单元，其用于将原始射线r变换为NDC空间中的射线，该NDC空间中的射线的原点和方向分别表示为下式（14）、（15）：...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的珍稀鸟类三维模型重构方法，其特征在于，包括：步骤1，采集珍稀鸟类目标物的离散旋转光场数据；步骤2，估计离散旋转光场数据对应的场景多视点图像对应的相机位姿；步骤3，根据步骤2获取的场景多视点图像对应的相机位姿，获得多视点图像相机位姿的转换矩阵，进而通过NDC中的齐次坐标变换和射线变换，将步骤1采集到的珍稀鸟类目标物的离散旋转光场数据，转换到NDC空间中；步骤4，利用神经辐射场，在离散旋转光场数据NDC空间下生成旋转光场新视点图像；步骤5，根据步骤4生成的旋转光场新视点图像，重构珍稀鸟类三维模型。2.如权利要求1所述的基于神经辐射场的珍稀鸟类三维模型重构方法，其特征在于，步骤4的神经辐射场的方法具体包括：步骤41，先用神经场描述鸟类三维模型的几何形状和颜色信息，包含空间位置向量X和方向向量d，然后使用下式（17）将空间位置向量X和方向向量d分别映射到N维空间，获得坐标编码和方向编码，再输入到神经辐射场，由神经辐射场输出该位置的体密度以及该位置在d方向的颜色值：（17）步骤42，沿着相机光心到达相机的像素点P的原始射线，由下式（18）获得像素点P的颜色值：（18）式中，为射线在参数S点的体密度，为射线在参数t点的体密度，和分别为沿原始射线r的最近点和最远点，为射线在d方向的像素值。3.如权利要求1或2所述的基于神经辐射场的珍稀鸟类三维模型重构方法，其特征在于，步骤2的场景多视点图像对应的相机位姿包括旋转矩阵R，旋转矩阵R的获取方法具体包括：步骤21a，将相机绕X轴旋转角的旋转矩阵表示为下式（6），绕y轴旋转角的旋转矩阵表示为下式（7），绕Z轴旋转角的旋转矩阵表示为下式（8）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）步骤22a，通过将上式（6）、式（7）和式(8)相乘，得到的旋转矩阵R表示为下式（9）：
（9）。4.如权利要求1或2所述的基于神经辐射场的珍稀鸟类三维模型重构方法，其特征在于，步骤3中，NDC中的齐次坐标变换的方法具体包括：齐次坐标点对应NDC空间中的坐标点为下式（13）：（13）式中，n、f分别是近、远的剪切平面到原点的距离，r和分别是近剪切平面上场景的右界和上界。5.如权利要求1或2所述的基于神经辐射场的珍稀鸟类三维模型重构方法，其特征在于，步骤3中，NDC中的射线变换的方法具体包括：将原始射线r变换为NDC空间中的射线，该NDC空间中的射线的原点和方向分别表示为下式（14）、（15）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（14）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（15）式中，n、f分别是近、远的剪切平面到原点的距离，r和分别是近剪切平面上场景的右界和上界，、、分别为原始射线的原点分别在x,y,z方向的坐标值，、、分别为原始射线的方向d分别在x,y,z方向的坐标值。6.一种基于神经辐射场的珍稀鸟类三维模型重构装置，其特征在于，包括：数据采集单元，其用于采集珍...

【专利技术属性】
技术研发人员：江红星，刘畅，吕梦雪，路峰，岳修鹏，张树岩，邱钧，
申请(专利权)人：中国林业科学研究院森林生态环境与自然保护研究所国家林业和草原局世界自然遗产保护研究中心北京信息科技大学，
类型：发明
国别省市：