【技术实现步骤摘要】
本申请实施例涉及多媒体通信，尤其是涉及一种图像处理方法、设备及可读存储介质。
技术介绍
1、现有人脸图像新视角合成相关领域中常用神经辐射场(neural radiancefields，nerf)算法、快速神经辐射场(fast nerf)算法和autoint算法，nerf使用神经网络隐式表示三维场景并实现场景渲染；fast nerf预先保存所有nerf表征函数的输出值，在渲染时无需深度模型计算，直接查表即可；autoint首先训练导数网络d，然后将优化的参数代入积分函数网络g，通过对g的计算较快确定所需的投影值信息。但现有方式存在的主要问题为：
2、原始nerf中首先需要确定从相机到一定距离的采样范围，再进行采样，并通常使用均匀采样策略，造成大量采样点并非落于物体表面，进而造成后续神经网络计算过程中产生极大计算资源浪费。
技术实现思路
1、本申请实施例提供一种图像处理方法、设备及可读存储介质，以解决人脸图像新视角合成方案中产生极大的计算资源浪费的问题。
2、第一方面，本申请的实施例提供了一种图像处理方法，包括：
3、根据目标图像，获取目标对象的2d关键点的3d坐标；
4、根据所述目标对象的2d关键点的3d坐标，确定采样射线的采样区域范围以及采样深度范围；
5、基于所述采样射线的采样区域范围和采样深度范围对所述目标对象进行采样，得到多个采样点；
6、根据所述采样点以及预设的神经辐射场模型，得到所述目标对象的渲染结果
7、可选地，所述根据目标图像，获取目标对象的2d关键点的3d坐标，包括：
8、根据目标图像，获取目标对象的2d关键点；
9、根据2d关键点和相机的内外参数，获取所述2d关键点的3d坐标，所述相机用于发射所述采样射线。
10、可选地，所述根据目标图像，获取目标对象的2d关键点，包括：
11、根据目标图像，获取目标对象的2d关键点对应的编号以及坐标，其中，所述目标对象的同一个位置的2d关键点对应的编号相同。
12、可选地，所述目标对象为人脸，所述目标对象的2d关键点包括人脸全表面的关键点。
13、可选地，根据所述采样点以及预设的神经辐射场模型，得到所述目标对象的渲染结果，包括：
14、将每个所述采样点的5d向量进行编码后输入所述预设的神经辐射场模型，得到所述采样点的颜色值和体密度值；
15、根据所述颜色值和体密度值进行渲染处理，得到所述目标对象的渲染结果。
16、第二方面，本申请实施例还提供了一种图像处理装置，包括：
17、第一获取模块，用于根据目标图像，获取目标对象的2d关键点的3d坐标；
18、确定模块，用于根据所述目标对象的2d关键点的3d坐标，确定采样射线的采样区域范围以及采样深度范围；
19、第二获取模块，用于基于所述采样射线的采样区域范围和采样深度范围对所述目标对象进行采样，得到多个采样点；
20、第三获取模块，用于根据所述采样点以及预设的神经辐射场模型，得到所述目标对象的渲染结果。
21、可选地，所述第一获取模块包括：
22、第一获取子模块，用于根据目标图像，获取目标对象的2d关键点；
23、第二获取子模块，用于根据2d关键点和相机的内外参数，获取所述2d关键点的3d坐标，所述相机用于发射所述采样射线。
24、可选地，所述目标对象为人脸，所述目标对象的2d关键点包括人脸全表面的关键点。
25、第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像处理方法的步骤。
26、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
27、本申请的实施例，根据目标图像，获取目标对象的2d关键点的3d坐标；根据所述目标对象的2d关键点的3d坐标，确定采样射线的采样区域范围以及采样深度范围，避免了大量无效采样点，且无需如现有nerf中先粗采样确定物体位置再细采样，减少了采样次数，降低神经网络计算量，减少算力浪费，并且由于大部分采样点落于目标对象表面，减少最终渲染的锯齿和模糊现象，提升了图像新视角合成效果。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据目标图像，获取目标对象的2D关键点的3D坐标，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据目标图像，获取目标对象的2D关键点，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述目标对象为人脸，所述目标对象的2D关键点包括人脸全表面的关键点。
5.根据权利要求1或2所述的方法，其特征在于，根据所述采样点以及预设的神经辐射场模型，得到所述目标对象的渲染结果，包括：
6.一种图像处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括：
8.根据权利要求6或7所述的装置，其特征在于，所述目标对象为人脸，所述目标对象的2D关键点包括人脸全表面的关键点。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。p>
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据目标图像，获取目标对象的2d关键点的3d坐标，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据目标图像，获取目标对象的2d关键点，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述目标对象为人脸，所述目标对象的2d关键点包括人脸全表面的关键点。
5.根据权利要求1或2所述的方法，其特征在于，根据所述采样点以及预设的神经辐射场模型，得到所述目标对象的渲染结果，包括：
6.一种图像处理装置，其特征在于，包括：
...【专利技术属性】
技术研发人员：蔡永辉，蒋晨晨，陈霖甲，罗志平，高明阳，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。