基于点云信息的感知预测系统及预测方法技术方案

基于点云信息的感知预测系统及预测方法，它属于信息安全技术领域。本发明专利技术解决了现有方法对运动目标轨迹预测的精度低的问题。本发明专利技术以3D点云数据作为系统的输入量，通过卷积神经网络对目标物体进行实时的检测和识别，并基于识别结果对目标进行动态的跟踪。同时，本发明专利技术系统设计了补偿反馈模块，提高了目标跟踪的连续性。本发明专利技术设计了稳定模块，使得系统跟踪生成的轨迹更加的平稳。基于跟踪轨迹，本发明专利技术采用Transformer结构设计了预测模块，对被识别物体将来的轨迹进行预测。本发明专利技术方法可以应用于信息安全技术领域。于信息安全技术领域。于信息安全技术领域。

【技术实现步骤摘要】
基于点云信息的感知预测系统及预测方法


[0001]本专利技术属于信息安全
，具体涉及一种基于点云信息的感知预测系统及预测方法。

技术介绍

[0002]智能无人系统融合了控制、感知、规划、建图、人工智能等技术。作为未来的重点发展领域，机器人及智能无人系统关键技术的发展受到了各个领域越来越多的重视。近年来，尽管机器人及智能无人系统的发展取得了众多成果，但是距离其在复杂动态环境下的广泛应用仍有一定距离。其中，最重要的原因之一就是其与周围环境交互的安全性得不到有效的保障。比如，在城市的环境中运动的机器人平台对于移动过程中的行人车辆的感知和规避仍是亟待解决的重要问题，因此，提高对运动目标轨迹预测的精度就是十分必要的，但是，现有方法对运动目标轨迹预测的精度仍然较低。
[0003]在机器人及智能无人系统领域，系统对周围环境的感知、预测对于路径规划、决策起到重要作用。随着深度学习技术的发展，神经网络被广泛应用到基于点云的目标检测及轨迹预测等相关领域。基于这些相关的技术，设计基于点云信息的感知预测系统来预测移动物体的将来轨迹具有重要科学意义。

技术实现思路

[0004]本专利技术的目的是为解决现有方法对运动目标轨迹预测的精度低的问题，而提出的一种基于点云信息的感知预测系统及预测方法。
[0005]本专利技术为解决上述技术问题所采取的技术方案是：
[0006]基于本专利技术的一个方面，一种基于点云信息的感知预测系统，所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块，其中：
[0007]所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别；
[0008]所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪；
[0009]所述补偿反馈模块用于存储跟踪结果，判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象，并将判断结果反馈给跟踪模块，再对新到来的跟踪结果进行存储；
[0010]所述稳定模块用于对跟踪模块的跟踪结果进行处理，轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。
[0011]基于本专利技术的另一个方面，一种基于点云信息的感知预测方法，所述方法具体包括以下步骤：
[0012]利用目标检测模块对输入的3D点云数据进行处理，得到对运动目标的实时检测和识别结果；
[0013]利用跟踪模块对运动目标的实时检测和识别结果进行处理，获得实时目标跟踪结果；
[0014]利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象，并将判断结果实时反馈给跟踪模块，跟踪模块根据实时接收到的判断结果继续进行目标跟踪，同时补偿反馈模块对新到来的跟踪结果以及跟踪结果在目标检测模块中的检测结果位置进行存储；
[0015]利用稳定模块对跟踪模块的跟踪结果依次进行三次样条插值和均值滤波处理，获得处理后的跟踪结果，再利用轨迹预测模块根据处理后的跟踪结果进行运动目标的轨迹预测。
[0016]本专利技术的有益效果是：
[0017]本专利技术以3D点云数据作为系统的输入量，通过卷积神经网络对目标物体进行实时的检测和识别，并基于识别结果对目标进行动态的跟踪。同时，本专利技术系统设计了补偿反馈模块，提高了目标跟踪的连续性。本专利技术设计了稳定模块，使得系统跟踪生成的轨迹更加的平稳。基于跟踪轨迹，本专利技术采用Transformer结构设计了预测模块，对被识别物体将来的轨迹进行预测。实验证明，采用本专利技术的系统可以提高运动目标轨迹预测的精度。
附图说明
[0018]图1为本专利技术的一种基于点云信息的感知预测系统的框图；
[0019]图2是PointPillars和PV
‑
RCNN的神经网络结构图；
[0020]图3是跟踪模块算法流程图；
[0021]图4(a)是原始的目标跟踪轨迹图；
[0022]图4(b)是通过样条插值获得的目标跟踪轨迹图；
[0023]图4(c)是均值滤波后的目标跟踪轨迹图；
[0024]图4(d)是附加高斯噪声后的轨迹图；
[0025]图5是Transformer网络结构图；
[0026]图6是加入反馈补偿模块和未加入反馈补偿模块前后的轨迹跟踪结果对比图；
[0027]图7是本专利技术系统的整体输出结果图。
具体实施方式
[0028]具体实施方式一：结合图1和图3说明本实施方式。本实施方式所述的一种基于点云信息的感知预测系统，所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块，其中：
[0029]所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别；
[0030]所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪；
[0031]所述补偿反馈模块用于存储跟踪结果，判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象，并将判断结果反馈给跟踪模块，再对新到来的跟踪结果进行存储(用于后续判断)；
[0032]所述稳定模块用于对跟踪模块的跟踪结果进行处理，轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。
[0033]具体实施方式二：本实施方式与具体实施方式一不同的是，所述目标检测模块基于卷积神经网络的PointPillars算法实现。
[0034]为了保证系统的实时性和准确性，本专利技术采用了基于卷积神经网络的PointPillars算法进行实时检测，并采用精度较高的PV
‑
RCNN算法保证系统的训练精度。PointPillars和PV
‑
RCNN的神经网络结构如图2所示。PointPillars将3D点云投影到“pillars”中，并使用二维CNN检测目标，因此可以减少计算量并提高正向传播速度。同时，基于二维检测技术的日益成熟，即使一些特征已经丢失，也可以得到相对较好的检测精度。与PointPillars相比，PV
‑
RCNN直接使用3D体素CNN基于3D点云提取全局特征，因此它可以编码更丰富的上下文信息以准确估计对象的可信度和位置。相反，由于使用三维体素CNN，PV
‑
RCNN需要更多的时间进行前向传播。
[0035]其它步骤及参数与具体实施方式一相同。
[0036]具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述跟踪模块采用AB3DMOT算法进行目标跟踪。
[0037]本专利技术采用AB3DMOT算法进行目标跟踪，算法结合了3D卡尔曼滤波器和匈牙利算法，在多目标跟踪任务中的跟踪速度可以达到207.4Hz。同时，AB3DMOT不依赖于神经网络的训练结果。
[0038]其它步骤及参数与具体实施方式一或二相同。
[0039]具体实施方式四：基于具体实施方式一所述的一种基于点云信息的感知预测系统的预测方法，所述方法具体包括以下步骤：
[0040]利用目标检测模块对输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云信息的感知预测系统，其特征在于，所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块，其中：所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别；所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪；所述补偿反馈模块用于存储跟踪结果，判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象，并将判断结果反馈给跟踪模块，再对新到来的跟踪结果进行存储；所述稳定模块用于对跟踪模块的跟踪结果进行处理，轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。2.根据权利要求1所述的一种基于点云信息的感知预测系统，其特征在于，所述目标检测模块基于卷积神经网络的PointPillars算法实现。3.根据权利要求2所述的一种基于点云信息的感知预测系统，其特征在于，所述跟踪模块采用AB3DMOT算法进行目标跟踪。4.基于权利要求1所述的一种基于点云信息的感知预测系统的预测方法，其特征在于，所述方法具体包括以下步骤：利用目标检测模块对输入的3D点云数据进行处理，得到对运动目标的实时检测和识别结果；利用跟踪模块对运动目标的实时检测和识别结果进行处理，获得实时目标跟踪结果；利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象，并将判断结果实时反馈给跟踪模块，跟踪模块根据实时接收到的判断结果继续进行目标跟踪，同时补偿反馈模块对新到来的跟踪结果以及跟踪结果在目标检测模块中的检测结果位置进行存储；利用稳定模块对跟踪模块的跟踪结果依次进行三次样条插值和均值滤波处理，获得处理后的跟踪结果，再利用轨迹预测模块根据处理后的跟踪结果进行运动目标的轨迹预测。5.根据权利要求4所述的一种基于点云信息的感知预测系统的预测方法，其特征在于，所述跟踪模块的输入向量R为：R＝{frame,x,y,z,rot
y
,θ,l,w,h,s,v
x
,v
y
,v
z
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，frame是检测结果的帧数，(x,y,z)是检测到的目标的中心，(l,w,h)是检测到的目标位置所在的三维边界框的大小，rot
y
表示目标方向的检测结果，θ表示航向角，s是置信度，(v
x
,v
y
,v
z
)是目标速度；跟踪模块的输出向量C为：C＝{frame,id,x,y,z,rot
y
,θ,l,w,h,s}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，id是跟踪结果。6.根据权利要求5所述的一种基于点云信息的感知预测系统的预测方法，其特征在于，所述航向角θ的计算方式为：其中，whileθ＞π:，θ:＝θ
‑
2π代表的含义为：若θ的值大于π，则一直执行θ减2π操作，直
至不满足θ＞π时得到θ的最终取值；else whileθ＜
‑
π:，θ:＝θ+2π代表的含义为：若θ的值小于
‑
π，则一直执行θ加2π操作，直至不满足θ＜
‑
π时得到θ的最终取值；若θ的值为
‑
π≤θ≤π，则不需要对θ的值进行处理。7.根据权利要求6所述的一种基于点云信息的感知预测系统的预测方法，其特征在于，所述速度(v
x
,v
y
,v
z
)为：其中，(v
x
(t),v
y
(t),v
z
(t))为t时刻的速度，R
x
(t)为t时刻x方向的位置检测结果，R
y
(t)为t时刻y方向的位置检测结果，R
z
(t)为t时刻z方向的位置检测结果，Δt表示两个检测结果之间的时间间隔，R
x
(t
‑
Δt)为t
‑
Δt时刻x方向的位置检测...

【专利技术属性】
技术研发人员：吴立刚，张文栋，吴承伟，沈肖宁，尹立远，姚蔚然，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：