6D姿态预测神经网络模型及方法技术

本申请实施例提供一种6D姿态预测神经网络模型及方法，该神经网络模型包括特征提取模块、Embedding模块以及分类和回归模块；特征提取模块用于通过预训练的VGG19的前16个卷积层或VGG16的前13个卷积层提取RGB‑D图像中不同尺寸的3D特征图；Embedding模块用于对不同尺寸的3D特征图进行卷积、反卷积和加权求和操作，生成用于多对象分类预测的第一特征图集合和用于多对象中心坐标回归预测的第二特征图集合；分类和回归模块用于第一特征图集合和第二特征图集合计算出每一对象的3D转换矩阵，完成多对象的3D转换矩阵的预测，以及确定每一对象的3D旋转角，以完成多对象的3D旋转角的回归预测。

【技术实现步骤摘要】

本申请涉及机器视觉，特别涉及一种6d姿态预测神经网络模型及方法。

技术介绍

1、当前已经出现由弱人工智能向强人工智能转化的趋势，然而我们希望让护理机器人拥有面向强人工智能的行为能力，能够全天候提供病人的床旁护理服务，除了能够与病人进行会话交流外，还能够自主帮助患者起居、康复训练、用餐、取药换药等工作。而要护理机器人实现上述功能，就得让护理机器人知道目标物体的空间相对坐标以及目标物体的移动方向。护理机器人通过深度照相机获取动态目标的图像数据，其内置的神经网络算法会根据实时抓拍的图像数据，完成目标物体的空间相对坐标及移动方向的预测。上述神经网络技术被称为6d姿态预测技术，在机器视觉领域应用较广。除了机器人外，汽车的无人驾驶系统、无人机察打一体系统以及巡飞弹自主巡航系统也在广泛应用6d姿态预测技术。

2、6d就是物体的六个自由度，其中三个自由度为物体图像坐标映射到相机坐标的转换矩阵，它是用来帮助机器人确定物体的空间位置参数；另外三个自由度为对象在空间中的三维旋转角，它是用来帮助机器人确定对象的动态转动参数。hong等使用multi-taskcasca本文档来自技高网...

【技术保护点】

1.一种6D姿态预测神经网络模型，其特征在于，包括特征提取模块、Embedding模块以及分类和回归模块；

2.如权利要求1所述的6D姿态预测神经网络模型，其特征在于，所述Embedding模块用于对不同尺寸的所述3D特征图进行卷积、反卷积和加权求和操作，生成用于多对象分类预测的第一特征图集合和用于多对象中心坐标回归预测的第二特征图集合，包括：

3.如权利要求2所述的6D姿态预测神经网络模型，其特征在于，所述将所述第三操作结果与所述VGG19的第8个所述卷积层或VGG16的第7个所述卷积层中的所述3D特征图执行卷积操作后得到的结果进行加权求和、反卷积和卷积操作，生...

【技术特征摘要】

1.一种6d姿态预测神经网络模型，其特征在于，包括特征提取模块、embedding模块以及分类和回归模块；

2.如权利要求1所述的6d姿态预测神经网络模型，其特征在于，所述embedding模块用于对不同尺寸的所述3d特征图进行卷积、反卷积和加权求和操作，生成用于多对象分类预测的第一特征图集合和用于多对象中心坐标回归预测的第二特征图集合，包括：

3.如权利要求2所述的6d姿态预测神经网络模型，其特征在于，所述将所述第三操作结果与所述vgg19的第8个所述卷积层或vgg16的第7个所述卷积层中的所述3d特征图执行卷积操作后得到的结果进行加权求和、反卷积和卷积操作，生成所述用于多对象分类预测的第一特征图集合，包括：

4.如权利要求1所述的6d姿态预测神经网络模型，其特征在于，所述通过所述hough-voting层确定每一对象的中心点空间位置以及深度，以计算出每一所述对象的3d转换矩阵，完成多对象的3d转换矩阵的预测，包括：

5.如权利要求1所述的6d姿态预测神经网络模型，其特征在于，所述并通过roipooling层从所述vgg19或vgg16的三个预设卷积层中剪裁出第三特征图集、第四特征图集和第五特征图集，包括：

6.一种护理...

【专利技术属性】
技术研发人员：陈虎，涂燕晖，姚振杰，陈一昕，
申请(专利权)人：江苏未来网络集团有限公司，
类型：发明
国别省市：