结合神经辐射场的定向目标检测方法技术

技术编号:40529059 阅读:19 留言:0更新日期:2024-03-01 13:49
一种结合神经辐射场的定向目标检测方法,通过在离线阶段分别构造神经辐射场模型以及目标检测模型,采用包含待检测目标的稀疏视图组成的数据集进行训练;在在线阶段,通过训练后的神经辐射场模型,利用体渲染技术生成包含正向目标的新视图后,通过训练后的目标检测模型对新视图进行实时检测得到目标检测框。本发明专利技术可用于对定向目标甚至是侧向视图中的目标进行目标检测,能够有效地避免定向目标检测算法对旋转角度十分敏感从而导致检测精度不高的缺陷。

【技术实现步骤摘要】

本专利技术涉及的是一种计算机视觉领域的技术,具体是一种结合神经辐射场的定向目标检测方法


技术介绍

1、现有的定向目标检测方法大多基于深度神经网络,通过在区域提议网络引入对角度变化敏感的网络,或在最后预测输出层引入表征定向包围框的不同方法。但这些改进对精度的提升有限,尤其对一些侧向的目标检测仍然不佳。


技术实现思路

1、本专利技术针对定向目标相较于水平目标检测精度不高的问题,提出一种结合神经辐射场的定向目标检测方法,可用于对定向目标甚至是侧向视图中的目标进行目标检测,能够有效地避免定向目标检测算法对旋转角度十分敏感从而导致检测精度不高的缺陷。

2、本专利技术是通过以下技术方案实现的:

3、本专利技术涉及一种结合神经辐射场的定向目标检测方法,通过在离线阶段分别构造神经辐射场模型以及目标检测模型,采用包含待检测目标的稀疏视图组成的数据集进行训练;在在线阶段,通过训练后的神经辐射场模型,利用体渲染技术生成包含正向目标的新视图后,通过训练后的目标检测模型对新视图进行实时检测得到目标检测框。...

【技术保护点】

1.一种结合神经辐射场的定向目标检测方法,其特征在于,通过在离线阶段分别构造神经辐射场模型以及目标检测模型,采用包含待检测目标的稀疏视图组成的数据集进行训练;在在线阶段,通过训练后的神经辐射场模型,利用体渲染技术生成包含正向目标的新视图后,通过训练后的目标检测模型对新视图进行实时检测得到目标检测框。

2.根据权利要求1所述的结合神经辐射场的定向目标检测方法,其特征是,所述的神经辐射场模型包括:射线处理单元、网络推理单元、体渲染单元和模型整体架构单元,其中:射线处理单元根据相机的内参与外参信息,对图像中的每个像素点进行投影处理,得到在世界坐标系下,从相机光心到每个像素点的射线向...

【技术特征摘要】

1.一种结合神经辐射场的定向目标检测方法,其特征在于,通过在离线阶段分别构造神经辐射场模型以及目标检测模型,采用包含待检测目标的稀疏视图组成的数据集进行训练;在在线阶段,通过训练后的神经辐射场模型,利用体渲染技术生成包含正向目标的新视图后,通过训练后的目标检测模型对新视图进行实时检测得到目标检测框。

2.根据权利要求1所述的结合神经辐射场的定向目标检测方法,其特征是,所述的神经辐射场模型包括:射线处理单元、网络推理单元、体渲染单元和模型整体架构单元,其中:射线处理单元根据相机的内参与外参信息,对图像中的每个像素点进行投影处理,得到在世界坐标系下,从相机光心到每个像素点的射线向量,进而在射线上均匀采样获取采样点;网络推理单元针对采样点的位置坐标与射线方向,通过体素网格与mlp网络模型计算得到该采样点的密度值与色彩值;体渲染单元根据射线上采样点的密度值与色彩值,通过体绘制公式渲染得到最终像素点的色彩值;模型整体架构单元在训练阶段合并射线处理单元、网络推理单元、体渲染单元得到渲染视图后,与真实视图进行损失值的计算,并通过随机梯度下降法更新模型参数,在推理阶段首先获取正向目标的位姿信息,然后根据该位姿信息,实时渲染得到该位姿下的视图。

3.根据权利要求1或2所述的结合神经辐射场的定向目标检测方法,其特征是,所述的神经辐射场模型的训练阶段包括:

4.根据权利要求1所述的结合神经辐射场的定向目标检测方法,其特征是,所述的目标检测模型包括:特征提取单元、提议区域单元、结果预测单元以及模型整体架构单元,其中:特征提取单元基于卷积神经网络,通过残差网络与特征金字塔网络对输入的图片进行特征提取,...

【专利技术属性】
技术研发人员:李建勋汪传东
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1