【技术实现步骤摘要】
本申请涉及神经网络的。尤其涉及一种电子设备及其数据处理方法。
技术介绍
1、随着神经网络技术的发展，智能模型开始越来越多地运用在视频或者图像生成领域。例如：神经辐射场（nerf，neural radiance fields）模型可以根据接收的一组或者一系列的已知拍摄视角的拍摄对象的输入图像，渲染出该拍摄对象的不同于已知拍摄视角的新拍摄视角的生成图像的图像集合，甚至还可以根据图像集合得到整个拍摄对象的三维结构和外观。通过多样化数据学习nerf模型重建过程中数据退化方式以及恢复方式，可以提升新场景下nerf模型所渲染的新视角的画质。该类方法提出的模型不需要有在新场景下重新训练，具有场景泛化性，然而目前这类方法只能应用在静态场景下。
2、但是，针对运动状态（也可以称为动态场景）下的拍摄对象来说，随着时间变化，即使在同一个拍摄视角下，拍摄对象的姿态也会发生变化，导致上述具有场景泛化性的插件式nerf新视角画质增强模型失效。因此，需要一种能够在静态、动态场景下均适用的，不需要针对每个场景下重新训练的，可泛化的nerf模型新视角画质增强方法。
技术实现思路
1、本申请提供了一种电子设备及其数据处理方法。
2、第一方面，本申请实施例提供了一种数据处理方法，方法包括：确定训练数据集合，其中，训练数据集合包括拍摄对象的第一训练图像以及第一训练图像对应的第一状态信息，第一状态信息用于表示拍摄对象的对象状态，对象状态包括拍摄对象至少处于运动状态；对应于对象状态为运动状态，确定第一
3、在本申请中，这里的训练数据集合可以是训练图像的图像集合。这里的第一训练图像可以是目标图像而第二训练图像可以是参考图像。第一状态信息可以是第一训练图像的拍摄视角，拍摄对象的第一位置信息和第一姿态变化信息，相对而言，第二状态信息可以是第二训练图像的拍摄视角，拍摄对象的第二位置信息和第二姿态变化信息。对应于拍摄对象处于运动状态，第一状态信息和第二状态信息相同/相近，这里的第一训练图像和第二训练图像可以是预先确定的拍摄视角相近、位置相近、姿态变化小的图像。
4、可以看出，这里的第一状态信息以及第二状态可以是从训练图像获取/解析出的信息。通过结合拍摄对象的位置信息以及姿态变化信息训练后的第二模型，在基于对应运动状态的拍摄对象的输入图像而生成拍摄对象的生成图像时，能够确保生成图像具有能够反映拍摄对象的更加逼真的效果。
5、在上述第一方面的一种可能的实现中，第一拍摄视角包括第一训练图像对应的拍摄设备在空间中的3d坐标以及拍摄设备的水平方向旋转角度以及垂直方向旋转角度。
6、在本申请中，这里的第一拍摄视角可以表示为（x，d），这里的x，也就是，（x，y，z），表示拍摄设备的3d点的坐标。这里的d，也就是，（θ，φ）表示拍摄设备的观测方向，θ和φ可以分别表示水平以及垂直旋转角度。
7、在上述第一方面的一种可能的实现中，第一位置信息和第一姿态变化信息用于表示对应于时间变化拍摄对象的位置变化以及姿态变化。
8、在上述第一方面的一种可能的实现中，对应于第二训练图像对应的第二状态信息与第一状态信息满足预设条件，第一拍摄视角与第二拍摄视角相同、且第一位置信息与第二位置信息之间的第一差值以及第一姿态变化信息与第二姿态变化信息之间的第二差值满足预设差值范围。
9、在本申请中，这里的第二状态信息与第一状态信息满足预设条件可以是选择至少两个训练图像的拍摄视角相同或者相近，相近可以表示两个训练图像的拍摄视角之间的差值满足差值范围，如：拍摄视角之间的差值小于1°；以及至少两个训练图像中的拍摄对象之间的旋转/平移等运动变化程度满足变化范围时，例如：运动变化程度小于1°，也就是，训练图像之间的拍摄对象的位置相近，姿态变化小。
10、在上述第一方面的一种可能的实现中，将第一训练图像、第一状态信息以及第二训练图像、第二状态信息输入第一模型进行训练，得到第二模型，包括：
11、将第一训练图像经过第一模型对应的第一图像训练模块，得到的第一处理图像，其中，第一处理图像包括表示拍摄对象的第一处理数据，第一处理数据包括拍摄对象对应的噪声、模糊和失真中的至少一种；将第一处理图像、第一状态信息以及第二训练图像、第二状态信息经过第一模型对应的第二图像训练模块，对第一处理图像和第二训练图像进行融合处理，得到第二处理图像，其中，第二处理图像包括第一处理数据以及第二处理数据，第二处理数据包括拍摄对象对应的纹理和光影中的至少一种。
12、在本申请中，这里的第一图像训练模块可以是图像退化模块，第二图像训练模块可以是图像混合模块。还可以对第一训练图像进一步执行图像处理，如：分割、改变分辨率等等。将第一训练图像经过第一图像训练模块的图像退化处理得到第一处理图像，也就是，退化图像，这里的第一处理图像可以包含表示拍摄对象的图像退化数据，例如：噪声、模糊和失真等等，经过图像退化处理的第一处理图像可以包括拍摄对象的真实性。这里的第二训练图像，也就是，参考图像，可以包含表示拍摄对象的高清图像数据，例如：表示纹理、光影等等的数据。将第一处理图像、第二训练图像以及第一状态信息、第二状态信息输入第二图像训练进行训练，第二图像训练可以融合第一处理图像和第二训练图像得到包括了第一处理数据以及第二处理数据的生成图像。
13、可以看出，经过训练后的第二模型具有融合来自多个图像数据能够渲染出包括了更佳的图像质量以及拍摄对象的真实的运动状态的生成图像的能力。
14、在上述第一方面的一种可能的实现中，对应于对象状态为拍摄对象处于静止状态，训练数据集合包括拍摄对象的第三训练图像以及第三训练图像对应的第三状态信息，其中，第三状态信息包括第三训练图像的第三拍摄视角。
15、在本申请中，对应静止状态的拍摄对象的输入图像，对第一模型进行训练的过程可以只关注第三训练图像以及第三训练图像对应的第三拍摄视角。
16、在上述第一方面的一种可能的实现中，还包括：
17、将第三训练图像以及第三训练图像对应的第三状态信息输入第一模型进行训练，得到第二模型，其中，第二模型生成的拍摄对象的生成图像呈现拍摄对象的静止状态。
18、可以看出，训练后的第二模型能够同时具有生成运动以及静止的拍摄对象的生成图像的能力。通过本申请的数据处理方法得到的第二模型既可以支持静态场景，也可以支持动态场景，也就是，训练后的第二模型可以具有能够在静态、动态场景下均适用的，不需要针对每个场景下重新训练的，可泛化的nerf模型新视角的画质增强本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一拍摄视角包括所述第一训练图像对应的拍摄设备在空间中的3D坐标以及所述拍摄设备的水平方向旋转角度以及垂直方向旋转角度。
3.根据权利要求2所述的方法，其特征在于，所述第一位置信息和所述第一姿态变化信息用于表示对应于时间变化所述拍摄对象的位置变化以及姿态变化。
4.根据权利要求3所述的方法，其特征在于，对应于所述第二训练图像对应的第二状态信息与所述第一状态信息满足预设条件，所述第一拍摄视角与第二拍摄视角相同、且所述第一位置信息与第二位置信息之间的第一差值以及所述第一姿态变化信息与第二姿态变化信息之间的第二差值满足预设差值范围。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一训练图像、所述第一状态信息以及所述第二训练图像、所述第二状态信息输入第一模型进行训练，得到第二模型，包括：
6.根据权利要求1所述的方法，其特征在于，对应于所述对象状态为所述拍摄对象处于静止状态，所述训练数据集合包括所述拍摄对象的第三训练图像以及所
7.根据权利要求6所述的方法，其特征在于，还包括：
8.一种数据处理方法，其特征在于，所述方法包括：
9.根据权利要求8所述的方法，其特征在于，所述第一拍摄视角包括所述第一输入图像对应的拍摄设备在空间中的3D坐标以及所述拍摄设备的水平方向旋转角度以及垂直方向旋转角度。
10.根据权利要求9所述的方法，其特征在于，所述第一位置信息和所述第一姿态变化信息用于表示对应于时间变化所述拍摄对象的位置变化以及姿态变化。
11.根据权利要求10所述的方法，其特征在于，对应于所述第二输入图像对应的第二状态信息与所述第一状态信息满足预设条件，所述第一拍摄视角与第二拍摄视角相同、且所述第一位置信息与第二位置信息之间的第一差值以及所述第一姿态变化信息与第二姿态变化信息之间的第二差值满足预设差值范围。
12.根据权利要求11所述的方法，其特征在于，所述将所述第一输入图像、所述第一状态信息以及所述第二输入图像、所述第二状态信息输入第一渲染模型，得到所述拍摄对象的渲染图像，包括：
13.根据权利要求8所述的方法，其特征在于，对应于所述对象状态为所述拍摄对象处于静止状态，所述输入数据集合包括所述拍摄对象的第三输入图像以及所述第三输入图像的第三状态信息，其中，所述第三状态信息包括第三拍摄视角。
14.根据权利要求13所述的方法，其特征在于，还包括：
15.一种电子设备，其特征在于，包括：
16.一种计算机程序产品，其特征在于，包括：非易失性计算机可读存储介质,所述非易失性计算机可读存储介质包含用于执行权利要求1-7或者权利要求8-14中任一项所述的数据处理方法的计算机程序代码。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一拍摄视角包括所述第一训练图像对应的拍摄设备在空间中的3d坐标以及所述拍摄设备的水平方向旋转角度以及垂直方向旋转角度。
3.根据权利要求2所述的方法，其特征在于，所述第一位置信息和所述第一姿态变化信息用于表示对应于时间变化所述拍摄对象的位置变化以及姿态变化。
4.根据权利要求3所述的方法，其特征在于，对应于所述第二训练图像对应的第二状态信息与所述第一状态信息满足预设条件，所述第一拍摄视角与第二拍摄视角相同、且所述第一位置信息与第二位置信息之间的第一差值以及所述第一姿态变化信息与第二姿态变化信息之间的第二差值满足预设差值范围。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一训练图像、所述第一状态信息以及所述第二训练图像、所述第二状态信息输入第一模型进行训练，得到第二模型，包括：
6.根据权利要求1所述的方法，其特征在于，对应于所述对象状态为所述拍摄对象处于静止状态，所述训练数据集合包括所述拍摄对象的第三训练图像以及所述第三训练图像对应的第三状态信息，其中，所述第三状态信息包括所述第三训练图像的第三拍摄视角。
7.根据权利要求6所述的方法，其特征在于，还包括：
8.一种数据处理方法，其特征在于，所述方法包括：
9.根据权利要求8所述的方法，其特征在于，所述第一拍摄视角包括...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。