基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端技术

本发明专利技术公开了基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端，方法包括：提取模板点云P

【技术实现步骤摘要】
基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
本专利技术涉及目标跟踪领域，尤其涉及基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。
技术介绍
基于点云数据的三维时敏单目标跟踪是自动驾驶和机器人视觉等相关领域应用的基础。现有的三维目标跟踪方法大都继承二维目标跟踪中的经验，对于RGB信息有很强的依赖性。但是当环境因素变化导致RGB信息退化时，这些方法的性能会变得很差甚至失效。三维点云数据描述场景的几何信息，其采集过程不受光照变化的影响，相较于RGB信息更适用于目标跟踪任务。然而，三维点云数据的不规则性、无序性和稀疏性导致传统二维目标跟踪的方法(如基于孪生神经网络的算法)无法直接应用，为三维时敏单目标跟踪带来巨大的挑战。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。本专利技术的目的是通过以下技术方案来实现的：本专利技术的第一方面，提供基于深度霍夫优化投票的时敏单目标跟踪方法，包括以下步骤：使用PointNet++网络提取模板点云Ptemp和搜索点云Psea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D；编码后的搜索种子点dj通过投票产生对应的潜在目标中心点cj，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云Ptemp。进一步地，所述使用PointNet++网络提取模板点云Ptemp和搜索点云Psea的几何特征，并生成模板种子点集Q和搜索种子点集R，包括：向PointNet++网络输入模板点云和搜索点云得到模板种子点集和搜索种子点集其中M1代表模板种子点集Q中种子点的数量，M2代表搜索种子点集R中种子点的数量，qi和rj分别代表模板种子点和搜索种子点，由三维坐标和特征构成；所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M2，M1)，计算公式如下所示：其中，Tj，i是T中的第j行，表示了rj与Q中所有种子点的相似度；使用Q的空间坐标和特征增强，每个Tj，i得到一个大小为M1×(1+3+d1)的张量；通过包括多层感知机络和最大池化的操作ψ得到rj的特定目标特征最后，通过合并的三维坐标和特定目标特征生成编码目标信息的搜索种子点集进一步地，所述编码后的搜索种子点dj通过投票产生对应的潜在目标中心点cj，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E，包括：每个dj通过多层感知机预测出和以生成其中是指通过预测出的当前搜索种子点到目标中心的三维坐标偏移量，是指通过预测出的当前搜索种子点到目标中心的特征偏移量；每个dj通过多层感知机预测出一个置信度得分在真实目标表面的种子点被认为是高置信度的，其余的被认为是低置信度的，总置信度得分为根据置信度得分从潜在目标中心中挑选出具有高置信度的潜在目标中心其中，ek表示得分排名在前50％的种子点。进一步地，采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：每个ek可以以R半径使用球查询来聚集生成一个簇Gk，其中Gk＝{el|||el-ek||2＜R}；采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；最后，每个簇通过包括多层感知机络和最大池化的操作ω得到提议得分St和提议Pt，选取具有最高得分的Pt来生成最后的预测结果Φ；其中，表示簇中心点到预测中心点的偏移，表示X-Y平面的旋转角度；其中表示簇中心点的三维坐标。进一步地，所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云Ptemp，包括：在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。进一步地，所述方法还包括：通过XXX损失函数Lreg来训练通过交叉熵损失函数Lcla来训练置信度得分通过交叉熵损失函数Lpro训练St；采用smooth-L1损失函数Lbox训练正样本提议中的Pt；总损失函数为：L＝Lreg+γ1Lcla+γ2Lpro+γ3Lbox。进一步地，smooth-L1损失函数Lreg的定义为：式中，Δgtj表示dj到目标中心的真实偏移量；为指示函数，表示只训练在真实目标表面的种子点；Mts表示被训练点的数量；交叉熵损失函数Lcla的定义为：式中，yj表示第j个搜索种子点是否在目标上的标签，在目标上为1，不在目标上为0；bj表示第j个搜索种子点预测在目标上的概率；M2表示搜索种子点的数量；交叉熵损失函数Lpro的定义为：式中，表示第t个簇中心点与目标中心的距离标签，当距离小于0.3m时为1，当距离大于0.6m时为0；St表示第t个簇预测的得分；K表示簇的数量；smooth-L1损失函数Lbox的定义为：式中，表示的簇中心到目标中心的真实偏移量；表示目标在X-Y平面的真实旋转角度；为指示函数，表示只训练簇中心与目标中心距离小于0.3m或者大于0.6m的簇；Mtg表示被训练簇的数量。进一步地，损失函数的权重取值为：γ1＝0.18，γ2＝1.47，γ3＝0.18。本专利技术的第二方面，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。本专利技术的第三方面，提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。本专利技术的有益效果是：(1)在本专利技术一示例性实施例中，首先充分挖掘模板和搜索空间中目标的相似性，将目标模板中的信息有效地编码到搜索空间中，为目标跟踪提供高鉴别力的特征信息，同时该方法对点云的无序性和不规则性保持鲁棒；其次，把目标表面的每一个点回归到物体中心，再聚集目标的候选中心点生成提议，可以获取目标更多的全局信息，从而得到更加准确的检测结果；最后，以帧为单位，通过输入在一个时间序列下连续多帧的搜索空间点云和融合第一帧目标点云与前一帧预测目标点云的模板点云进行持续跟踪，从而可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹(该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物本文档来自技高网...

【技术保护点】
1.基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：包括以下步骤：/n使用PointNet++网络提取模板点云P

【技术特征摘要】
1.基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：包括以下步骤：
使用PointNet++网络提取模板点云Ptemp和搜索点云Psea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D；
编码后的搜索种子点dj通过投票产生对应的潜在目标中心点cj，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；
采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；
采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云Ptemp。


2.根据权利要求1所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述使用PointNet++网络提取模板点云Ptemp和搜索点云Psea的几何特征，并生成模板种子点集Q和搜索种子点集R，包括：
向PointNet++网络输入模板点云和搜索点云得到模板种子点集和搜索种子点集其中M1代表模板种子点集Q中种子点的数量，M2代表搜索种子点集R中种子点的数量，qi和rj分别代表模板种子点和搜索种子点，由三维坐标和特征构成；
所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：
使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M2，M1)，计算公式如下所示：



其中，Tj，i是T中的第j行，表示了rj与Q中所有种子点的相似度；
使用Q的空间坐标和特征增强，每个Tj，i得到一个大小为M1×(1+3+d1)的张量；通过包括多层感知机络和最大池化的操作ψ得到rj的特定目标特征最后，通过合并的三维坐标和特定目标特征生成编码目标信息的搜索种子点集


3.根据权利要求2所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述编码后的搜索种子点dj通过投票产生对应的潜在目标中心点cj，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E，包括：
每个dj通过多层感知机预测出和以生成其中是指通过预测出的当前搜索种子点到目标中心的三维坐标偏移量，是指通过预测出的当前搜索种子点到目标中心的特征偏移量；
每个dj通过多层感知机预测出一个置信度得分在真实目标表面的种子点被认为是高置信度的，其余的被认为是低置信度的，总置信度得分为
根据置信度得分从潜在目标中心中挑选出具有高置信度的潜在目标中心其中，ek表示得分排名在前50％的种子点。


4.根据权利要求3所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：
每个ek可以以R半径使用球查询来聚集生成一个簇Gk，其中Gk＝{el|||el-ek||2＜R}；
采用最远点采样从E中计算出大小为K的子集，作为簇中心生成...

【专利技术属性】
技术研发人员：杨玺，钱伟中，曾一芳，张梓豪，雷航，王旭鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51