【技术实现步骤摘要】
本专利技术涉及视图合成，尤其涉及一种基于神经辐射场模型的新颖视图合成方法。
技术介绍
1、视图合成是一种计算机视觉技术,它利用观察到的图像来恢复3d场景表示,并能在新的、未观察到的视点上渲染场景。近年来,神经体积表示技术的应用取得了显著进展；
2、现有技术中，视图合成渲染新视图所需条件困难，渲染效果不好。
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在视图合成渲染新视图所需条件困难，渲染效果不好的缺点，而提出的一种基于神经辐射场模型的新颖视图合成方法。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于神经辐射场模型的新颖视图合成方法，包括以下步骤：
4、s1、基于稀疏输入视图构建训练集训练集，在训练集中提取输入视图特征，构建用于新颖视图合成的神经辐射场模型；
5、s2、对s1训练所得神经辐射场模型进行模型参数优化；
6、s1中，基于稀疏输入视图构建训练集，在训练集中提取输入视图特征，构建用于新颖视图合成的神经辐射场模型，包含以下步骤：
7、步骤1，1，通过软件提取稀疏输入视图的内参与外参，内参指与相机自身特性相关的参数，外参为由旋转与平移向量组成的矩阵，
8、参与外参通过开源软件colmap提取，内参为相机焦距、相机像素大小，构成一个3×4的矩阵k，外参为一个4×4的矩阵m，其中左上角3×3为由软件提取的表示视图旋转特性的旋转矩阵右上角的3×1向量为通过软件
9、步骤1，2，针对输入稀疏视图集{ii}(i＝1,……v，v为视图的数量)通过特征提取器提取每张视图的2d特征其中hi为视图i的长度，wi为视图i的宽度，d为特征维度。
10、特征提取方法为：
11、第一步，输入视图通过cnn下采样得到特征fea1，下采样过程包含三个步骤：
12、1)对输入点rgb值进行卷积(cnn)操作，方法为：
13、
14、其中，f(i,j)表示输入视图在点(i,j)的rgb值，g表示卷积核，m和n分别表示卷积核的宽度和高度，(x,y)是输出特征映射中某个像素点的坐标，
15、2)对卷积后的特征的各个维度进行批量归一化，方法为：
16、
17、其中x为输入的某维特征值，μ为该维特征的均值，σ2为该维特征的方差，γ、β分别为可学习的缩放参数与平移参数，ε为防止方差为零的常数，x’为归一化处理后的该维特征值，
18、3)对归一化后的特征各维度使用relu函数处理，输出特征fea1
19、relu(x)＝max(0,x)
20、其中，x为输入的某维的特征值，具体地，relu函数将输入值和零进行比较，如果输入值大于零，则输出为输入值本身，否则输出为零。
21、所设置的参数为：设视图尺寸为h×w，cnn下采样的m与n为7，步长为2，卷积核个数为64，所得特征信息为(h/2,w/2,64)，其中h/2,w/2表示特征的尺度，64为特征的维度。
22、第二步，对第一步输出特征fea1进行多轮多层basic_block模块操作以提取视图的高级特征fea2，basic_block模块操作包含以下步骤：
23、1)对特征进行卷积(cnn)操作，方法为：
24、
25、其中，f(i,j)表示输入视图在点(i,j)的rgb值，g表示卷积核，m和n分别表示卷积核的宽度和高度，(x,y)是输出特征映射中某个像素点的坐标，
26、2)对卷积后的特征的各个维度进行批量归一化，方法为：
27、
28、其中x为输入的某维特征值，μ为该维特征的均值，σ2为该维特征的方差，γ、β分别为可学习的缩放参数与平移参数，ε为防止方差为零的常数，x’为归一化处理后的该维特征值，
29、3)对归一化后的特征各维度使用relu函数处理，输出特征fea1
30、relu(x)＝max(0,x)
31、其中，x为输入的某维的特征值，具体地，relu函数将输入值和零进行比较，如果输入值大于零，则输出为输入值本身，否则输出为零，
32、5)更换卷积核参数，重复执行步骤1)-3)；
33、对fea1进行三轮basic_block模块操作，每轮操作的层数分别为4、5、7，
34、第一轮操作所设置的参数为：第一层basic_block模块步骤1)中cnn的m与n为3，步长为2，卷积核个数为64；步骤4)中第二次cnn其它参数不变，步长修改为1，最终所得特征维度为(h/4,w/4,64)，
35、后三层basic_block模块步骤1)中cnn的m与n为3，步长为1，卷积核个数为64；步骤4)中第二次cnn参数保持不变，最终所得特征维度为(h/4,w/4,64)，
36、第二轮操作所设置的参数为：第一层basic_block模块步骤1)中cnn的m与n为3，步长为2，卷积核个数为128；步骤4)中第二次cnn其它参数不变，步长修改为1，最终所得特征维度为(h/8,w/8,128)，
37、后四层basic_block模块步骤1)中cnn的m与n为3，步长为1，卷积核个数为128；步骤4)中第二次cnn参数保持不变，最终所得特征维度为(h/8,w/8,128)，
38、第三轮操作所设置的参数为：第一层basic_block模块步骤1)中cnn的m与n为3，步长为2，卷积核个数为256，步骤4)中第二次cnn其它参数不变，步长修改为1，最终所得特征维度为(h/16,w/16,256)，
39、后六层basic_block模块步骤1)中cnn的m与n为3，步长为1，卷积核个数为128，；步骤4)中第二次cnn参数保持不变，最终所得特征维度为(h/16,w/16,256)。
40、第三步，对第二步输出特征fea2通过正余弦位置编码器对特征进行编码得到特征fea3，该过程包含三个步骤：
41、1)对输入特征使用正余弦位置编码器进行编码，位置(x,y)像素点正余弦编码器形式为：
42、
43、其中d为特征维数，n为区间内的整数，其步长为2，常数10000用于控制周期性的变化，由上式，对特征点f(x,y)进行位置编码后的向量为：
44、
45、具体操作时截取上述向量的前d维作为点(x,y)经位置编码后的结果pos(x,y)，最后将每个点的位置编码信息pos(x,y)与原特征相加，具体操作为：
46、f’＝f(x,y)+pos(x,y)，
47、所设置的参数为：步骤1)中d为256，
48、第四步，1)首先对经过位置编码后的特征f’进行层归一化得到特征fea3，具体方法为：
【技术保护点】
1.一种基于神经辐射场模型的新颖视图合成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经辐射场模型的新颖视图合成方法，其特征在于，所述S1中，基于稀疏输入视图构建训练集，在训练集中提取输入视图特征，构建用于新颖视图合成的神经辐射场模型，包含以下步骤：
3.根据权利要求1所述的一种基于神经辐射场模型的新颖视图合成方法，其特征在于，所述S2中，对S1训练所得神经辐射场模型进行模型参数优化：
4.根据权利要求1所述的一种基于神经辐射场模型的新颖视图合成方法，其特征在于，所述S3中，基于S1、2所得神经辐射场模型进行新颖视图合成，包含以下步骤：
【技术特征摘要】
1.一种基于神经辐射场模型的新颖视图合成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经辐射场模型的新颖视图合成方法，其特征在于，所述s1中，基于稀疏输入视图构建训练集，在训练集中提取输入视图特征，构建用于新颖视图合成的神经辐射场模型，包含以下步骤：
3...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。