多模态数据融合方法及其三维目标检测方法技术

本发明专利技术涉及机器视觉技术领域，提供多模态数据融合方法及其三维目标检测方法，包括：获取RGBD图和RGB图；基于RGBD图，得到点云数据、第一三维体素特征、和深度块信息；基于RGB图，得到二维图像特征；根据深度块信息和二维图像特征，得到第二三维体素特征；根据第一三维体素特征和第二三维体素特征，通过Transformer网络进行数据融合，得到目标体素特征。本发明专利技术结合含有深度信息的RGBD图像和一般的三通道RGB图像，基于Transformer网络进行数据融合，得到更准确、完整的目标体素特征，基于该目标体素特征即可进行精准的三维目标检测，大大提高三维目标检测的效率，有效保证检测结果的准确性。确性。确性。

【技术实现步骤摘要】
多模态数据融合方法及其三维目标检测方法


[0001]本专利技术涉及机器视觉
，尤其涉及基于多模态数据融合方法及其三维目标检测方法。

技术介绍

[0002]随着深度学习的迅速发展，机器视觉技术的不断迭代提升，目标检测技术的应用越来越广泛，例如将目标检测技术应用到果实采摘方面，先对果实进行定位，再通过机器手进行采摘。传统的目标检测方法是通过拍摄若干方向上的图片，然后遍历图片选择目标区域，再对目标区域进行特征提取，最后通过SVM分类器得到目标位置，但是遍历图片的时间复杂度高，提取到的二维图像特征只包含二维信息，特征的真实性和准确性难以保证，导致目标检测的精度低下。

技术实现思路

[0003]本专利技术提供一种多模态数据融合方法，旨在得到更加准确的目标体素特征。
[0004]本专利技术提供一种三维目标检测方法，旨在提高三维目标检测的精度。
[0005]第一方面，本专利技术提供一种多模态数据融合方法，包括：
[0006]获取RGBD图和RGB图；
[0007]基于所述RGBD图，得到点云数据、第一三维体素特征、和深度块信息；
[0008]基于所述RGB图，得到二维图像特征；
[0009]根据所述深度块信息和所述二维图像特征，得到第二三维体素特征；
[0010]根据所述第一三维体素特征和所述第二三维体素特征，通过Transformer网络进行数据融合，得到目标体素特征。
[0011]在一个实施例中，所述基于所述RGBD图，得到点云数据、第一三维体素特征、和深度块信息，包括：
[0012]基于所述RGBD图，通过图像转化式，得到点云数据；
[0013]根据所述点云数据，利用点云编码网络，得到第一三维体素特征；
[0014]根据所述点云数据，利用间距线性递增离散化算法，得到深度块信息。
[0015]在一个实施例中，所述基于所述RGBD图，通过图像转化式，得到点云数据，包括：
[0016]基于所述RGBD图，得到图像坐标、深度值、相机在x轴的焦距、和相机在y轴的焦距；
[0017]根据所述图像坐标、所述深度值、所述相机在x轴的焦距、和所述相机在y轴的焦距，通过图像转化式，得到点云数据。
[0018]在一个实施例中，所述根据所述点云数据，利用间距线性递增离散化算法，得到深度块信息，包括：
[0019]根据所述点云数据，得到深度范围、深度块的数量、和深度值属于范围的索引；
[0020]根据所述深度范围、所述深度块的数量、和所述深度值属于范围的索引，利用间距线性递增离散化算法，得到深度块信息。
[0021]在一个实施例中，所述根据所述深度块信息和所述二维图像特征，得到第二三维体素特征，包括：
[0022]根据所述深度块信息和所述二维图像特征，得到三维视锥；
[0023]根据所述三维视锥，利用三维线性插值法，得到所述第二三维体素特征。
[0024]在一个实施例中，所述根据所述三维视锥，利用三维线性插值法，得到所述第二三维体素特征，包括：
[0025]利用三维线性插值法，得到所述三维视锥的视锥块采样点；
[0026]对所述视锥块采样点进行转换、尺寸调整、以及特征块拼接，得到第二三维体素特征。
[0027]在一个实施例中，所述根据所述第一三维体素特征和所述第二三维体素特征，通过Transformer网络进行数据融合，得到目标体素特征，包括：
[0028]利用所述第一三维体素特征中的非空体素块对所述第二三维体素特征进行池化处理和数据展平处理，得到第三三维体素特征；
[0029]根据所述第一三维体素特征和所述第三三维体素特征，通过多头Transformer网络和线性转换矩阵进行特征融合和矩阵转换，得到目标体素特征。
[0030]在一个实施例中，所述根据所述第一三维体素特征和所述第三三维体素特征，通过多头Transformer网络和线性转换矩阵进行特征融合和矩阵转换，得到目标体素特征，包括：
[0031]根据所述第一三维体素特征和所述第三三维体素特征，通过多头Transformer网络进行特征拼接，得到第一特征拼接矩阵；
[0032]利用线性转换矩阵对所述第一特征拼接矩阵进行矩阵转换，得到第二特征拼接矩阵；
[0033]对所述非空体素块和所述第二特征拼接矩阵进行特征融合，得到目标体素特征。
[0034]第二方面，本专利技术提供一种多模态数据融合装置，包括：
[0035]图像获取模块，用于：获取RGBD图和RGB图；
[0036]RGBD图处理模块，用于：基于所述RGBD图，得到点云数据、第一三维体素特征、和深度块信息；
[0037]RGB图处理模块，用于：基于所述RGB图，得到二维图像特征；
[0038]外乘模块，用于：根据所述深度块信息和所述二维图像特征，得到第二三维体素特征；
[0039]数据融合模块，用于：根据所述第一三维体素特征和所述第二三维体素特征，通过多头Transformer网络进行数据融合，得到目标体素特征。
[0040]第三方面，本专利技术提供一种三维目标检测方法，通过三维目标检测头，对根据上述任一项所述多模态数据融合方法得到的目标体素特征，进行三维目标检测。
[0041]第四方面，本专利技术提供一种三维目标检测装置，包括目标检测模块，用于通过三维目标检测头，对根据上述任一项所述多模态数据融合方法得到的目标体素特征，进行三维目标检测。
[0042]本专利技术提供的多模态数据融合方法，结合含有深度信息的深度RGBD图像和一般的三通道RGB图像，得到更加真实的点云数据、第一三维体素特征、深度块信息、二维图像特
征、和第二三维体素特征，再将第一三维体素特征和第二三维体素特征输入Transformer网络进行全面的数据融合，能够得到更准确、完整、清晰的目标体素特征。
[0043]本专利技术提供的三维目标检测方法，利用现有的三维目标检测头，基于前述多模态数据融合方法得到的目标体素特征即可进行精准的三维目标检测，能够极大程度上提高三维目标检测的精度，有效保证检测结果的准确性，提高应用效率。
附图说明
[0044]为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是本专利技术提供的多模态数据融合方法的流程示意图；
[0046]图2是本专利技术提供的三维目标检测方法的流程示意图
[0047]图3是本专利技术提供的多模态数据融合装置的结构示意图；
[0048]图4是本专利技术提供的多模态数据融合方法的电子设备的结构示意图。
具体实施方式
[0049]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据融合方法，其特征在于，包括：获取RGBD图和RGB图；基于所述RGBD图，得到点云数据、第一三维体素特征、和深度块信息；基于所述RGB图，得到二维图像特征；根据所述深度块信息和所述二维图像特征，得到第二三维体素特征；根据所述第一三维体素特征和所述第二三维体素特征，通过Transformer网络进行数据融合，得到目标体素特征。2.根据权利要求1所述的多模态数据融合方法，其特征在于，所述基于所述RGBD图，得到点云数据、第一三维体素特征、和深度块信息，包括：基于所述RGBD图，通过图像转化式，得到点云数据；根据所述点云数据，利用点云编码网络，得到第一三维体素特征；根据所述点云数据，利用间距线性递增离散化算法，得到深度块信息。3.根据权利要求2所述的多模态数据融合方法，其特征在于，所述基于所述RGBD图，通过图像转化式，得到点云数据，包括：基于所述RGBD图，得到图像坐标、深度值、相机在x轴的焦距、和相机在y轴的焦距；根据所述图像坐标、所述深度值、所述相机在x轴的焦距、和所述相机在y轴的焦距，通过图像转化式，得到点云数据。4.根据权利要求2所述的多模态数据融合方法，其特征在于，所述根据所述点云数据，利用间距线性递增离散化算法，得到深度块信息，包括：根据所述点云数据，得到深度范围、深度块的数量、和深度值属于范围的索引；根据所述深度范围、所述深度块的数量、和所述深度值属于范围的索引，利用间距线性递增离散化算法，得到深度块信息。5.根据权利要求1
‑
4任一项所述的多模态数据融合方法，其特征在于，所述根据所述深度块信息和所述二维图像特征，得到第二三维体素特征，包括：根据所述深度块信息和所述二维图像特征，得到三维视锥；根据所述三维视锥，利用三维线性插值法，得到第二三维体素特征。6.根据权利要求5所述的多模态数据融合方法，其特征在于，所述根据所述三维视锥，利用三维线性插值法，得到第二三维体素特征，包括：利用三维线性插值法，得到...

【专利技术属性】
技术研发人员：王意，
申请(专利权)人：广东科技学院，
类型：发明
国别省市：