【技术实现步骤摘要】
图像处理方法、神经辐射场的训练方法和神经网络
[0001]本公开涉及人工智能领域，具体涉及机器学习技术、计算机视觉技术、计算机图形学技术和深度学习技术，特别涉及一种图像处理方法、神经辐射场的训练方法、神经网络、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]神经辐射场通过对目标物体进行隐式三维建模进行新视点合成，利用多层感知机将三维空间位置和视角信息映射为目标的三维信息。结合计算机视觉技术和计算机图形学技术，基于神经辐射场和可微分立体渲染法，可以对卫星拍摄的地图照片进行三维信息建模，从而能够实现对地面目标进行新视点图像合成，便于下游任...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：从第一图像提取静态场景特征，所述第一图像为在第一时刻从第一视角拍摄目标场景而得到的，其中，所述静态场景特征表征所述目标场景中处于静态的对象；从第二图像提取动态场景特征，所述第二图像为在不同于所述第一时刻的第二时刻从不同于所述第一视角的第二视角拍摄所述目标场景而得到的，其中，所述动态场景特征表征所述目标场景中处于动态的对象；确定不同于所述第二视角的目标视角，并在与所述目标视角对应的空间区域中确定多个采样点；针对所述多个采样点中的每一个采样点，将该采样点的空间位置信息、所述目标视角、所述静态场景特征以及所述动态场景特征输入经训练的神经辐射场，以得到该采样点的待渲染信息，其中，所述待渲染信息包括静态待渲染信息和动态待渲染信息中的至少一个；以及基于所述多个采样点各自的待渲染信息，渲染目标图像，所述目标图像表征对在所述第二时刻从所述目标视角拍摄所述目标场景而得到的图像的预测结果。2.根据权利要求1所述的方法，其特征在于，所述神经辐射场包括空间信息编码子网络、静态场景建模子网络以及动态场景建模子网络，其中，所述静态待渲染信息包括对应的采样点的静态密度信息和静态颜色信息，所述动态待渲染信息包括对应的采样点的动态密度信息和动态颜色信息，其中，针对所述多个采样点中的每一个采样点，将该采样点的空间位置信息、所述目标视角、所述静态场景特征以及所述动态场景特征输入经训练的神经辐射场，以得到该采样点的待渲染信息，包括：针对所述多个采样点中的每一个采样点，将该采样点的空间位置信息输入所述空间信息编码子网络，以得到该采样点的空间特征向量和静态密度信息；将该采样点的空间特征向量、所述目标视角以及所述静态场景特征输入所述静态场景建模子网络，以得到该采样点的静态颜色信息；以及将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息。3.根据权利要求2所述的方法，其特征在于，针对所述多个采样点中的每一个采样点，将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息，包括：针对所述多个采样点中的每一个采样点，将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息、动态密度信息以及动态场景概率，所述动态场景概率指示该采样点为动态场景的概率，其中，基于所述多个采样点各自的待渲染信息，渲染目标图像，包括：基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息、动态颜色信息以及动态场景概率，渲染所述目标图像。4. 根据权利要求3所述的方法，其特征在于，在与所述目标视角对应的空间区域中确定多个采样点包括：基于所述目标视角，在与所述目标视角对应的空间区域中确定多个采样射线；以及
在所述多个采样射线中的每一个采样射线上确定与该采样射线对应的一个或多个采样点，其中，基于所述多个采样点各自的待渲染信息，渲染目标图像，包括：针对所述多个采样射线中的每一个采样射线，基于与该采样射线对应的一个或多个采样点各自的待渲染信息，得到对该采样射线的渲染结果，其中，所述目标图像中的多个像素对应所述多个采样射线。5. 根据权利要求4所述的方法，其特征在于，基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息、动态颜色信息以及动态场景概率，渲染目标图像，包括：针对所述多个采样射线中的每一个采样射线，确定与该采样射线对应的一个或多个采样点各自的积分项，所述积分项是基于对应的采样点的静态密度信息与静态颜色信息的乘积以及所述对应的采样点的动态密度信息、动态颜色信息、与动态场景概率三者的乘积而确定的；以及基于与该采样射线所述对应的一个或多个采样点各自的积分项进行积分，以得到与该采样射线对应的渲染结果。6. 根据权利要求4所述的方法，其特征在于，在所述多个采样射线中的每一个采样射线上确定与该采样射线对应的一个或多个采样点，包括：在所述多个采样射线中的每一个采样射线上确定与该采样射线对应的一个或多个预采样点；以及将与该采样射线对应的一个或多个预采样点的空间位置信息输入与所述神经辐射场共同训练得到的采样网络，以得到与该采样射线对应的一个或多个采样点。7. 根据权利要求6所述的方法，其特征在于，所述采样网络包括概率密度函数生成子网络和可微分采样网络，其中，将与该采样射线对应的一个或多个预采样点的空间位置信息输入与所述神经辐射场共同训练得到的采样网络，以得到与该采样射线对应的一个或多个采样点，包括：针对所述多个采样射线中的每一个采样射线，将与该采样射线对应的一个或多个预采样点各自的空间位置信息输入所述概率密度函数生成子网络，以得到与该采样射线对应概率密度函数，所述概率密度函数表征对应的采样射线上的各个点属于所述目标场景的概率；以及将与该采样射线对应的概率密度函数输入所述可微分采样网络，以得到与该采样射线对应的所述一个或多个采样点。8.根据权利要求2所述的方法，其特征在于，所述多个采样点中的每一个采样点的空间位置信息是通过对对应的采样点的空间位置坐标进行高频编码而得到的。9.根据权利要求1所述的方法，其特征在于，所述第一时刻早于所述第二时刻。10.一种神经辐射场的训练方法，其特征在于，所述方法包括：确定至少一个第一样本图像对，所述至少一个第一样本图像对中的每一个第一样本图像对包括第一样本图像和第二样本图像，所述第一样本图像为在第一样本时刻从第一样本视角拍摄第一样本场景而得到的，所述第二样本图像为在不同于所述第一样本时刻的第二样本时刻从不同于所述第一样本视角的第二样本视角拍摄所述第一样本场景而得到的；在所述至少一个第一样本图像对所包括的至少一个第二样本图像中确定多个第一样
本像素；针对所述多个第一样本像素中的每一个第一样本像素，确定与该第一样本像素对应的静态场景特征和动态场景特征，其中，与该第一样本像素对应的静态场景特征是从与该第一样本像素对应的第一样本图像中提取的，并且表征对应的第一样本场景中的处于静态的对象，其中，与该第一样本像素对应的动态场景特征是从与该第一样本像素对应的第二样本图像中提取的，并且表征对应的第一样本场景中的处于动态的对象；基于与该第一样本像素对应的第二样本图像的第二样本视角，在与该第二样本视角对应的空间区域中确定与该第一样本像素对应的采样射线；在与该第一样本像素对应的采样射线上确定一个或多个采样点；针对所述一个或多个采样点中的每一个采样点，将该采样点的空间位置信息、与该第一样本像素对应的第一样本图像的第一样本视角、与该第一样本像素对应的第二样本图像的第二样本视角、与该第一样本像素对应的静态场景特征以及与该第一样本像素对应的动态场景特征输入所述神经辐射场，以得到该采样点的待渲染信息，所述待渲染信息包括静态待渲染信息和动态待渲染信息中的至少一个；基于所述一个或多个采样点各自的待渲染信息，得到对与该第一样本像素对应的采样射线的渲染结果；以及基于该第一样本像素的真实值和对与该第一样本像素对应的采样射线的渲染结果，计算该第一样本像素的损失值；以及基于所述多个第一样本像素各自的损失值，调整所述神经辐射场的参数，以得到训练后的神经辐射场。11.根据权利要求10所述的方法，其特征在于，所述神经辐射场包括空间信息编码子网络、静态场景建模子网络以及动态场景建模子网络，其中，所述静态待渲染信息包括对应的采样点的静态密度信息和静态颜色信息，所述动态待渲染信息包括对应的采样点的动态密度信息和动态颜色信息，针对所述一个或多个采样点中的每一个采样点，将该采样点的空间位置信息、与该第一样本像素对应的第一样本图像的第一样本视角、与该第一样本像素对应的第二样本图像的第二样本视角、所述静态场景特征以及所述动态场景特征输入所述神经辐射场，以得到该采样点的待渲染信息，包括：针对所述一个或多个采样点中的每一个采样点，将该采样点的空间位置信息输入所述空间信息编码子网络，以得到该采样点的空间特征向量和静态密度信息；将该采样点的空间特征向量、与该第一样本像素对应的第一样本图像的第一样本视角以及所述静态场景特征输入所述静态场景建模子网络，以得到该采样点的静态颜色信息；以及将该采样点的空间特征向量、与该第一样本像素对应的第二样本图像的第二样本视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息。12.根据权利要求11所述的方法，其特征在于，针对所述一个或多个采样点中的每一个
采样点，将该采样点的空间特征向量、与该第一样本像素对应的第二样本图像的第二样本视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息，包括：针对所述多个采样点中的每一个采样点，将该采样点的空间特征向量、与该第一样本像素对应的第二样本图像的第二样本视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息、动态密度信息以及动态场景概率，所述动态场景概率指示该采样点为动态场景的概率，其中，基于所述一个或多个采样点各自的待渲染信息，得到对与该第一样本像素对应的采样射线的渲染结果，包...
【专利技术属性】
技术研发人员：姬东飞，陆勤，龚建，吴志全，孙珂，刘捷，沈抖，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。