基于多尺度特征的点云与图片融合方法、装置及其设备制造方法及图纸

本发明专利技术实施例提供了一种基于多尺度特征的点云与图片融合方法、装置及其设备，所述方法包括：通过提取特征网络获得至少两组点云特征与图片特征，并对特征进行第一次卷积操作；根据抽象程度进行分组并对每组做分别逐元素取平均融合；将第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；将经跳跃连接和线性融合后获得的特征图做第二次卷积操作；将经第二次卷积操作获得的四类特征进行逐元素取平均融合；将取平均融合后得到新的融合特征进行第三次卷积操作，并作为最终输出特征。本发明专利技术所述方法能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

Fusion Method, Device and Equipment of Point Cloud and Picture Based on Multi-scale Features

The embodiment of the present invention provides a point cloud and image fusion method, device and device based on multi-scale features. The method includes: obtaining at least two sets of point cloud features and image features by extracting feature network, and performing the first convolution operation on the features; grouping each group according to the degree of abstraction and averaging each group by element; and after the first convolution operation. The output results and the feature maps obtained by grouping and averaging each element are connected by a jump, and the linear fusion operation is carried out. The feature maps obtained by the jump connection and linear fusion are convoluted for the second time; the four types of features obtained by the second convolution operation are averaged by elements; and the new fusion features are obtained by averaging the fusion operation. The third convolution operation is performed as the final output feature. The method of the invention can accurately locate and predict the direction of the target object, so as to improve the accuracy of the location and direction prediction of the target object.

【技术实现步骤摘要】
基于多尺度特征的点云与图片融合方法、装置及其设备
本专利技术涉及计算机视觉领域，尤其涉及一种基于多尺度特征的点云与图片融合方法、装置及其设备。
技术介绍
目前，人们对自动驾驶安全问题的关注，使得自动驾驶领域的3D目标检测研究成为了热点。相对于2D目标检测，3D目标检测需要检测出2D目标检测所没有要求的深度信息，因此雷达传感器获得的包含深度信息的点云数据成为了3D目标检测的数据来源之一。然而，由于点云数据往往是稀疏的，并且不能传达丰富的纹理信息，使得检测算法不能很好地达到预期的效果。而与点云数据相比，图片数据虽然无法表示深度信息，但是可以表示丰富的纹理信息，在这种情况下，设计可以有不错效果的同时利用点云数据与图片数据进行3D目标检测的算法成为了一个急待解决的问题。然而，现有的点云数据与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，如此，现有方法在对3D目标定位与方向预测方面均存在定位效果不佳，预测精准度不高等问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于多尺度特征的点云与图片融合方法及其装置，旨在能精确地对目标物体进行定位及方向本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征的点云与图片融合方法，其特征在于，包括步骤：通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作；将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征；将点云特征与图片特征经所述第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；将经所述跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作；将经所述第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特...

【技术特征摘要】
1.一种基于多尺度特征的点云与图片融合方法，其特征在于，包括步骤：通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作；将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征；将点云特征与图片特征经所述第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；将经所述跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作；将经所述第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特征；将经所述第二次卷积操作获得的特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。2.根据权利要求1所述的基于多尺度特征的点云与图片融合方法，其特征在于，所述通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括：同时控制卷积层输出的特征图个数，对应数学公式为：其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果；代表不同卷积层的权重参数；该权重参数经网络学习自动获得；“im1、pc1、im2、pc2”代表不同卷积层的输入特征；“b1im1、b1pc1、b1im2、b1pc2”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；“σ”代表激活函数，对应函数max{0,x}。3.根据权利要求1所述的基于多尺度特征的点云与图片融合方法，其特征在于，所述将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征包括：将组内特征抽象程度相同分为一组，组间特征抽象程度不同分为一组；对应数学公式即为：其中“b,h,w,i”为非负整数，代表张量下标序数。4.根据权利要求1所述的基于多尺度特征的点云与图片融合方法，其特征在于，所述将点云特征与图片特征经第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作包括对应数学公式：其中“b,h,w,i”为非负整数，代表张量下标序数，“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。5.根据权利要求1所述的基于多尺度特征的点云与图片融合方法，其特征在于，所述将经跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作还包括步骤：同时控制卷积层输出的特征图个数，对应数学公式为：其中“y1、y2、y...

【专利技术属性】
技术研发人员：徐楷，冯良炳，姚杰，严亮，
申请(专利权)人：深圳辰视智能科技有限公司，
类型：发明
国别省市：广东,44