基于多模态融合的人脸预测方法及相关设备技术

本公开提供一种基于多模态融合的人脸预测方法及相关设备。该方法包括：获取带有纹理的3D人脸信息数据，将其划分为点云坐标和纹理图像，并将点云坐标处理成几何特征向量、纹理图像处理成纹理特征向量；将所述几何特征向量与所述纹理特征向量进行平衡处理后两两拼接，得到多个无序词向量；将多个所述无序词向量分别输入到多个预先构建的Transformer融合模型进行融合，得到多个融合特征向量；将多个所述融合特征向量输入至经过预训练的多层感知机进行预测，输出与所述3D人脸信息数据对应的预测结果。本公开提供的一种基于多模态融合的人脸预测方法及相关设备，将点云的空间几何信息与贴图的纹理图像信息融合，有效提高了人脸预测的精度。测的精度。测的精度。

【技术实现步骤摘要】
基于多模态融合的人脸预测方法及相关设备


[0001]本公开涉及深度学习算法技术与多模态融合领域，尤其涉及一种基于多模态融合的人脸预测方法及相关设备。

技术介绍

[0002]随着人工智能技术的发展，先进的人工智能应用程序改变了技术交互的方式，使人类生活更加便捷。如今，计算机视觉已是人工智能领域的一个重要组成部分，其通过计算机及相关设备对生物视觉进行模拟，使计算机能够对目标进行分割、跟踪、识别、分类和判别决策。在计算机视觉领域，最重要的数据源之一是人脸信息，可用于电影、娱乐、商业或安全领域，例如 3D 视频游戏、虚拟标记、在线运输和人脸开锁。现有的3D人脸信息利用方法可分为两类：1）基于点，其中3D人脸信息的坐标、颜色采用 3D 面部顶点的关系来训练模型，并随后解决任务。
[0003]2）基于投影，将源 3D 网格投影到输入为 2D 图像的模型的特定姿势，获取纹理图像信息。
[0004]上述两种单模态的分析方法对人脸特征进行了提取和利用，然而，只是基于单模态的分析预测结果会缺少纹理图像信息或空间几何信息，导致获取信息不完整、预测结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的人脸预测方法，包括：获取带有纹理的3D人脸信息数据；将所述3D人脸信息数据划分为点云坐标和纹理图像；将所述点云坐标输入到分层点云编码器，输出多组几何特征向量，将所述纹理图像输入到分层纹理图像编码器，输出多组纹理特征向量；将所述几何特征向量与所述纹理特征向量进行平衡处理后两两拼接，得到多个无序词向量；将多个所述无序词向量分别输入到多个预先构建的Transformer融合模型进行融合，得到多个融合特征向量；将多个所述融合特征向量输入至经过预训练的多层感知机进行预测，输出与所述3D人脸信息数据对应的预测结果。2.根据权利要求1所述的方法，其中，所述分层点云编码器为PointNet++、PointWeb或PointConv；所述分层纹理图像编码器为VGG、GoogleNet或Resnet。3.根据权利要求1所述的方法，其中，所述平衡处理包括：采用RoiAlign方法对所述几何特征向量和所述纹理特征向量进行整形。4.根据权利要求1所述的方法，其中，所述Transformer融合模型包括Transformer层、1x1卷积层和一维平均池化层，将多个所述无序词向量分别输入到多个预先构建的Transformer融合模型进行融合，得到多个融合特征向量，包括：将所述无序词向量输入至所述Transformer层，得到中间向量，再将所述中间向量输入至所述1x1卷积层和一维平均池化层，得到所述融合特征向量。5.根据权利要求4所述的方法，其中，所述Transformer层按照输入顺序依次包括特征类型嵌入层、一个多头自注意力机制和一个多层感知机，所述多头自注意力机制和所述多层感知机之前分别各设置一个层范...

【专利技术属性】
技术研发人员：王光宇，冯发金，张平，王凯，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：