本公开提供了一种图像处理方法、装置、电子设备及存储介质。该方法包括：获取携带时间信息的待处理图像和目标视角；在待处理图像的原视角下构建待处理图像的多个空间点，并根据时间信息和各空间点的空间坐标确定各空间点的时空特征；根据各空间点的时空特征确定各空间点属于各个运动域的概率以及在各个运动域下的运动特征；其中运动域包括：静态域、刚体运动域和非刚体运动域；根据概率和运动特征确定各空间点的运动组合特征；根据目标视角、各空间点的空间坐标和各空间点的运动组合特征进行渲染，获得在目标视角下的待处理图像的重绘图像。该方法可以将待处理图像空间点的运动组合特征作为依据进行分类渲染，从而提高处理效率，节省计算资源。节省计算资源。节省计算资源。
【技术实现步骤摘要】
图像处理方法及装置、存储介质及电子设备
[0001]本公开涉及计算机
，尤其涉及一种图像处理方法及装置、存储介质及电子设备。
技术介绍
[0002]随着计算机技术和计算机图形学技术的发展，三维重建和新视角图像渲染成为图像处理技术研究的重点。随着数字孪生、全息通讯和元宇宙等新概念的提出，工业界也对三维重建和新视角图像渲染的需求逐渐增加。
[0003]相关技术中，在对视频或视频中的图像进行新视角下的重构渲染时，通常是对视频中的每一帧重新新建一个三维模型然后再进行渲染，该方式下的图像处理效率低下，会耗费大量计算资源以及占用大量存储空间。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种图像处理方法、装置、电子设备及存储介质，能够提高渲染处理效率，节省计算资源。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供一种图像处理方法，包括：获取携带有时间信息的待处理图像和目标视角；在待处理图像的原视角下构建待处理图像的多个空间点，并根据时间信息和各空间点的空间坐标确定各空间点的时空特征；根据各空间点的时空特征确定各空间点属于各个运动域的概率，以及根据各空间点的时空特征确定各空间点在各个运动域下的运动特征；其中，运动域包括：静态域、刚体运动域和非刚体运动域；根据概率和运动特征确定各空间点的运动组合特征；根据目标视角、各空间点的空间坐标和各空间点的运动组合特征进行渲染，获得在目标视角下的待处理图像的重绘图像。
[0008]在本公开一个实施例中，在待处理图像的原视角下构建待处理图像的多个空间点，包括：通过运动恢复结构算法处理待处理图像，获得与待处理图像对应的相机位姿，并以相机位姿作为待处理图像的原视角；基于原视角和待处理图像中的像素点构建三维虚拟射线；在各个三维虚拟射线上进行采样，获得多个空间点。
[0009]在本公开一个实施例中，根据各空间点的时空特征确定各空间点属于各个运动域的概率，包括：通过运动域分类模型处理各空间点的时空特征，获得各空间点分别属于静态域、刚体运动域和非刚体运动域的概率。
[0010]在本公开一个实施例中，根据各空间点的时空特征确定各空间点在各个运动域下的运动特征，包括：通过静态特征提取模型处理各空间点的时空特征，获得各空间点的静态域运动特征；通过位移预测模型处理各空间点的时空特征，获得各空间点的位移后时空特
征，并通过静态特征提取模型处理各空间点的位移后时空特征，获得各空间点的刚体运动域运动特征；通过动态特征提取模型处理各空间点的时空特征，获得各空间点的非刚体运动域运动特征。
[0011]在本公开一个实施例中，根据概率和运动特征确定各空间点的运动组合特征，包括：根据各空间点的静态域运动特征和各空间点属于静态域的概率确定各空间点在静态域下的特征分量；根据各空间点的刚体运动域运动特征和各空间点属于刚体运动域的概率确定各空间点在刚体运动域下的特征分量；根据各空间点的非刚体运动域运动特征和各空间点属于非刚体运动域的概率确定各空间点在非刚体运动域下的特征分量；根据各空间点分别在静态域、刚体运动域和非刚体运动域下的特征分量确定各空间点的运动组合特征。
[0012]在本公开一个实施例中，根据目标视角、各空间点的空间坐标和各空间点的运动组合特征进行渲染，获得在目标视角下的待处理图像的重绘图像，包括：通过神经辐射场网络模型处理目标视角、各空间点的空间坐标、运动组合特征，获得各空间点处的色彩值和密度值；根据各空间点处的色彩值和密度值进行渲染，获得在目标视角下的待处理图像的重绘图像。
[0013]在本公开一个实施例中，通过神经辐射场网络模型处理目标视角、各空间点的空间坐标、运动组合特征，获得各空间点处的色彩值和密度值，包括：根据各空间点的空间坐标和目标视角确定各空间点对应的二维坐标；基于各空间点对应的二维坐标，使用双线性插值算法处理各空间点的运动组合特征，获得各空间点所对应二维坐标的差值特征；对各空间点的空间坐标进行编码获得空间坐标编码；通过神经辐射场网络模型处理各空间点所对应二维坐标的差值特征和各空间点的空间坐标编码，获得各空间点处的色彩值和密度值。
[0014]在本公开一个实施例中，根据各空间点处的色彩值和密度值进行渲染，获得在目标视角下的待处理图像的重绘图像，包括：对于每一条三维虚拟射线，根据从三维虚拟射线上采样的所有空间点处的色彩值和密度值进行积分，获得三维虚拟射线对应像素点的重绘色彩值；根据所有三维虚拟射线对应像素点的重绘色彩值进行渲染，获得重绘图像。
[0015]根据本公开的又一个方面，提供一种图像处理装置，包括：获取模块，用于获取携带有时间信息的待处理图像和目标视角；构建模块，用于在待处理图像的原视角下构建待处理图像的多个空间点，并根据时间信息和各空间点的空间坐标确定各空间点的时空特征；特征提取模块，用于根据各空间点的时空特征确定各空间点属于各个运动域的概率，以及根据各空间点的时空特征确定各空间点在各个运动域下的运动特征；其中，运动域包括：静态域、刚体运动域和非刚体运动域；特征组合模块，根据概率和运动特征确定各空间点的运动组合特征；渲染模块，用于根据目标视角、各空间点的空间坐标和各空间点的运动组合特征进行渲染，获得在目标视角下的待处理图像的重绘图像。
[0016]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
[0017]根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的图像处理方法。
[0018]本公开的实施例所提供的图像处理方法，能够先对具有时间信息的待处理图像进
行输入预处理，得到与待处理图像相关的多个空间点的时空特征，然后可以通过训练好的神经网络模型根据时空特征预估出各个空间点属于不同运动域的概率以及在各个运动域下的运动特征，进而将概率和运动特征进行组合得到空间点的运动组合特征，最后可以根据指定的目标视角、空间点的空间坐标和运动组合特征进行渲染，得到目标视角下与待处理图像的重绘图像。可见，本方法可以对携带有时间信息的待处理图像的空间点进行预测和特征提取，得到各空间点的运动组合特征，从而可以在渲染时以运动组合特征为依据对属于不同运动域类别的空间点分别做基于目标视角的渲染，不仅提高了处理效率，也节省了计算资源。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取携带有时间信息的待处理图像和目标视角；在所述待处理图像的原视角下构建所述待处理图像的多个空间点，并根据所述时间信息和各空间点的空间坐标确定所述各空间点的时空特征；根据所述各空间点的时空特征确定所述各空间点属于各个运动域的概率，以及根据所述各空间点的时空特征确定所述各空间点在各个运动域下的运动特征；其中，运动域包括：静态域、刚体运动域和非刚体运动域；根据所述概率和所述运动特征确定所述各空间点的运动组合特征；根据所述目标视角、所述各空间点的空间坐标和所述各空间点的运动组合特征进行渲染，获得在所述目标视角下的所述待处理图像的重绘图像。2.根据权利要求1所述的方法，其特征在于，在所述待处理图像的原视角下构建所述待处理图像的多个空间点，包括：通过运动恢复结构算法处理所述待处理图像，获得与所述待处理图像对应的相机位姿，并以所述相机位姿作为所述待处理图像的原视角；基于所述原视角和所述待处理图像中的像素点构建三维虚拟射线；在各个所述三维虚拟射线上进行采样，获得所述多个空间点。3.根据权利要求1所述的方法，其特征在于，根据所述各空间点的时空特征确定所述各空间点属于各个运动域的概率，包括：通过运动域分类模型处理所述各空间点的时空特征，获得所述各空间点分别属于静态域、刚体运动域和非刚体运动域的概率。4.根据权利要求1所述的方法，其特征在于，根据所述各空间点的时空特征确定所述各空间点在各个运动域下的运动特征，包括：通过静态特征提取模型处理所述各空间点的时空特征，获得所述各空间点的静态域运动特征；通过位移预测模型处理所述各空间点的时空特征，获得所述各空间点的位移后时空特征，并通过所述静态特征提取模型处理所述各空间点的位移后时空特征，获得所述各空间点的刚体运动域运动特征；通过动态特征提取模型处理所述各空间点的时空特征，获得所述各空间点的非刚体运动域运动特征。5.根据权利要求4所述的方法，其特征在于，根据所述概率和所述运动特征确定所述各空间点的运动组合特征，包括：根据所述各空间点的静态域运动特征和各空间点属于静态域的概率确定各空间点在静态域下的特征分量；根据所述各空间点的刚体运动域运动特征和各空间点属于刚体运动域的概率确定各空间点在刚体运动域下的特征分量；根据所述各空间点的非刚体运动域运动特征和各空间点属于非刚体运动域的概率确定各空间点在非刚体运动域下的特征分量；根据所述各空间点分别在静态域、刚体运动域和非刚体运动域下的特征分量确定所述各空间点的运动组合特征。
6.根据权利要求2所述的方法，其特征在于，根据所述目标视角、所述各...
【专利技术属性】
技术研发人员：张琦，杨明川，刘巧俏，邹航，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。