一种场景可泛化的交互式辐射场分割方法技术

本发明专利技术提供一种场景可泛化的交互式辐射场分割方法，涉及图像处理技术领域，方法包括：获取2D图像中的点击点，根据点击点生成2D交互引导图；对2D交互引导图进行扩散处理，得到3D交互引导图，3D交互引导图中的各个网格点对应的值分别反映3D辐射场的各个网格点与点击点之间的相似性；将3D交互引导图和3D辐射场对应的3D不透明度体素模型连接后输入至3D分割神经网络模型，获取前景概率预测体素模型，前景概率预测体素模型中的各个网格点对应一个前景概率预测值，前景概率预测值反映网格点为前景部分的概率；基于前景概率预测体素模型输出3D场景中的前景部分以实现辐射场分割。本发明专利技术可以实现场景可泛化的辐射场分割。可以实现场景可泛化的辐射场分割。可以实现场景可泛化的辐射场分割。

【技术实现步骤摘要】
一种场景可泛化的交互式辐射场分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种场景可泛化的交互式辐射场分割方法。

技术介绍

[0002]神经辐射场是一种3D场景表征方式，其具有良好的3D场景表征能力以及高质量的2D图像渲染效果，在近几年得到很大发展。交互式辐射场分割通过用户在2D图像上的交互标注例如点击或者划线，实现3D辐射场分割。辐射场分割对3D场景编辑、多视角一致的2D图像编辑等下游应用具有重要意义。
[0003]现有的辐射场分割方法为NVOS算法，在NVOS算法中，首先把用户的划线标注投影到3D体素，随后利用划线标注学习一个场景特定的体素二分类器，使用该二分类器对体素化的辐射场的每一个体素进行前景
‑
背景二分类，得到粗糙的分割结果，最后使用3D图割算法对分割结果进行后处理。这种方法学习二分类器需要大范围的用户划线标注作为监督，并且学习到的场景特定的二分类器不能泛化到新的场景。

技术实现思路

[0004]本专利技术提供一种场景可泛化的交互式辐射场分割方法，用以解决现有技术中辐射场分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景可泛化的交互式辐射场分割方法，其特征在于，包括：获取2D图像中的点击点，所述点击点是用户对所述2D图像中的像素点进行选择得到的点，根据所述点击点生成2D交互引导图，所述2D交互引导图中的各个点对应的值分别反映所述2D图像中的各个点与所述点击点的相似程度，所述2D图像为3D辐射场对应的3D场景中一个视角下的平面图像；对所述2D交互引导图进行扩散处理，得到3D交互引导图，所述3D交互引导图中的各个网格点对应的值分别反映所述3D辐射场的各个网格点与所述点击点之间的相似性；将所述3D交互引导图和所述3D辐射场对应的3D不透明度体素模型连接后输入至3D分割神经网络模型，获取所述3D分割神经网络模型输出的前景概率预测体素模型，所述前景概率预测体素模型中的各个网格点对应一个前景概率预测值，所述前景概率预测值反映网格点为前景部分的概率，所述3D不透明度体素模型中的每个网格点对应一个不透明度，所述不透明度是对通过所述3D辐射场映射得到的体密度进行归一化处理得到的；基于所述前景概率预测体素模型输出所述3D场景中的前景部分以实现辐射场分割。2.根据权利要求1所述的场景可泛化的交互式辐射场分割方法，其特征在于，所述对所述2D交互引导图进行扩散处理，得到3D交互引导图，包括：将所述2D交互引导图中的每个点依次作为目标点，基于所述目标点，确定所述2D交互引导图对应的3D中间引导图中的至少一个网格点对应的值以生成所述3D交互引导图；当所述点击点有多个时，对各个所述点击点对应的3D中间引导图进行融合，得到3D融合引导图，对所述3D融合引导图进行滤波和卷积处理，得到所述3D交互引导图；其中，所述基于所述目标点，确定所述2D交互引导图对应的3D中间引导图中的至少一个网格点对应的值，包括：确定目标直线，所述目标直线经过所述目标点，所述目标直线的方向为所述2D图像在所述3D场景中所在的成像平面的相机光线方向；在所述目标直线穿过所述3D场景的部分采样若干个采样点，获取各个所述采样点对应的权重，所述权重是基于所述采样点通过所述3D辐射场映射的体密度得到的；将权重最大的所述采样点作为目标采样点，将所述目标采样点在所述2D交互引导图对应的3D中间引导图中的N个近邻网格点的值设置为所述2D交互引导图中所述目标点对应的值。3.根据权利要求2所述的场景可泛化的交互式辐射场分割方法，其特征在于，所述基于所述目标点，确定所述2D交互引导图对应的3D中间引导图中的至少一个网格点对应的值以生成所述3D交互引导图，包括：当所述2D交互引导图中的每个点均作为所述目标点之后：若所述3D中间引导图中存在没有被设置对应的值的网格点，则将没有被设置对应的值的网格点对应的值设置为0；若所述3D中间引导图中存在被设置了多个对应的值的网格点，则将被设置了多个对应的值的网格点对应的值更新为所述多个对应的值中的最大值。4.根据权利要求2所述的场景可泛化的交互式辐射场分割方法，其特征在于，所述对所述3D融合引导图进行滤波和卷积处理，得到所述3D交互引导图，包括：对所述3D融合引导图进行不透明度域和空间域的双边滤波，得到滤波引导图；
对所述滤波引导图进行部分卷积，得到所述3D交互引导图；所述部分卷积的公式为：；其中，为所述3D交互引导图，表示双边滤波操作，是滤波核中心的位置，为所述3D融合引导图，表示所述滤波引导图，为3D掩膜，用于指示所述3D融合引导图中在所述2D交互引导图中存在对应的所述目标点的网格点，为常数。5.根据权利要求1所述的场景可泛化的交互式辐射场分割方法，其特征在于，所述3D分割神经网络模型包括低分分割网络和高分分割网络，所述将所述3D交互引导图和所述3D辐射场对应的3D不透明度体素模型连接后输入至3D分割神经网络模型，获取所述3D分割神经网络模型输出的前景概率预测体素模型，包括：将所述3D交互引导图和所述3D辐射场对应的3D不透明度体素模型连接后输入至所述低分分割网络，获取所述低分分割网络输出的前景概率预测低分模型，所述前景概率预测低分模型的分辨率低于预设阈值；通过所述高分分割网络对所述前景概率预测低分模型中对应的目标网格点进行多层划分，得到所述前景概率预测体素模型，其中，所述目标网格点对应的前景概率预测值与0.5之间的差值在预设范围内。6.根据权利要求5所述的场景可泛化的交互式辐射场分割方法，其特征在于，所述通过所述高分分割网络对所述前景概率预测低分模型中对应的目标网格点进行多层划分，包括：获取所述目标网格...

【专利技术属性】
技术研发人员：裴文杰，唐嵩林，贾棠惠，陈芳林，卢光明，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：