基于人脸建模及表情追踪的VR会议控制系统及方法技术方案

本发明专利技术公开了一种基于人脸建模及表情追踪的VR会议控制系统及方法，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于将会议场景以及3D人脸模型输出。本发明专利技术，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。

【技术实现步骤摘要】
基于人脸建模及表情追踪的VR会议控制系统及方法
本专利技术属于虚拟场景
，尤其涉及一种基于人脸建模及表情追踪的VR会议控制系统及方法。
技术介绍
目前，已有的VR系统主要是采用虚拟现实技术在现有的情景化会议系统上进行场景3D化，结合视频会议和3D技术实现在语音、视频系统与3D虚拟画面的全面结合下进行网络视频会议，缩短人与人之间的距离，实现跨地域的连接与互动。可通过屏幕上虚拟世界内的交互展示。然而在人与人的交流过程中，多以传达声音为主，真实感较差。因此，现有技术有待于改善。
技术实现思路
本专利技术的主要目的在于提出一种基于人脸建模及表情追踪的VR会议控制系统及方法，以解决
技术介绍
中所提及的技术问题。本专利技术的一种基于人脸建模及表情追踪的VR会议控制系统，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。优选地，交互模块包括VR头显设备。优选地，VR头显设备内置有显示模块、摄像头和存储模块。优选地，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型。本专利技术还提供了一种基于人脸建模及表情追踪的VR会议控制方法，包括以下步骤：步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；步骤S30，从人脸信息中识别至少三个特征点，并计算相对位置信息；步骤S40，根据相对位置信息确定3D人脸模型；步骤S50，每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型。优选地，还包括步骤：步骤S60，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。优选地，人脸信息包括实时照片中的人脸区域部分，特征点至少包括鼻、嘴、左眼、右眼和耳朵。优选地，相对位置信息包括第一相对距离和第二相对距离，步骤S30具体包括：步骤S31，从人脸信息中识别出鼻、左眼和右眼；步骤S32，以鼻为坐标中心，建立坐标系，获取左眼坐标信息和右眼坐标信息；步骤S33，根据鼻坐标信息、左眼坐标信息和右眼坐标信息所在位置计算第一相对距离和第二相对距离，其中，第一相对距离表示左眼和鼻之间的距离，第二相对距离表示左眼和右眼之间距离。优选地，步骤S40具体包括：步骤S41，根据第一相对距离从存储模块中选择出若干第一相关模型；步骤S42，根据第二相对距离从若干第一相关模型中确定3D人脸模型。本专利技术的基于人脸建模及表情追踪的VR会议控制系统及方法，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于人脸建模及表情追踪的VR会议控制方法的流程示意图；图2为基于人脸建模及表情追踪的VR会议控制方法中步骤S30的细化流程示意图；图3为基于人脸建模及表情追踪的VR会议控制方法中步骤S40的细化流程示意图；图4为本专利技术基于人脸建模及表情追踪的VR会议控制系统的框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。需要注意的是，相关术语如“第一”、“第二”等可以用于描述各种组件，但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如，不脱离本专利技术的范围，第一组件可以被称为第二组件，并且第二组件类似地也可以被称为第一组件。术语“和/或”是指相关项和描述项的任何一个或多个的组合。如图4所示，图4为本专利技术基于人脸建模及表情追踪的VR会议控制系统的框图。本专利技术的一种基于人脸建模及表情追踪的VR会议控制系统，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。本专利技术的基于人脸建模及表情追踪的VR会议控制系统及方法，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。其中，交互模块包括VR头显设备，以便于需要参与会议的佩戴者进行佩戴。VR头显设备内置有显示模块、摄像头和存储模块；还包括与VR头显设备连接的手部设备；手部设备上设置有传感器和键盘，以获取用户的手部指令；显示模块用于播放VR视频。优选地，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型；会议场景可以根据人数多少来选择，会议场景包括虚拟会议场景，显示模块用于输出虚拟会议场景以及参与虚拟会议场景的每个佩戴者所对应的3D人脸模型。ASM算法是基于统计学习模型的特征点提取的方法，通过选取一组训练样本，用一组特征点描述物体的形状，对这些样本的形状进行配准，再使用主成分的分析方法对配准后的形状向量进行统计建模，得到物体形状的统计学描述。可利用建立的形状模型在新的图像中搜索与模型相似的目标。具体步骤为：对脸部面部关键区进行ASM训练，标注脸部嘴、鼻子、眼角和脸部边界的特征点，记录特征点的坐标，对于标注后的脸部样本集，每幅图像的大小、绝对位置、角度有差异，这样直接对这些样本集进行统计建模是不规范的，为了建立样本训练集的模型，通过图像的旋转、平移、扩大缩小进行对齐操作，消除图像之间的差异，从而建立脸部的几何模型。已经建立好形状模型后，需要运用迭代原理进行目标图像与模型的匹配，确保目标图像的坐标集仍然与训练集相似，重复该迭代过程，直到实现收敛。如图1所示，本专利技术还提供了一种基于人脸建模及表情追踪的VR本文档来自技高网...

【技术保护点】
1.一种基于人脸建模及表情追踪的VR会议控制系统，其特征在于，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。/n

【技术特征摘要】
1.一种基于人脸建模及表情追踪的VR会议控制系统，其特征在于，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。


2.如权利要求1所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，交互模块包括VR头显设备。


3.如权利要求2所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，VR头显设备内置有显示模块、摄像头和存储模块。


4.如权利要求3所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型。


5.一种基于人脸建模及表情追踪的VR会议控制方法，其特征在于，包括以下步骤：
步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；
步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；
步骤S30，从人脸信息中识别至少三个特...

【专利技术属性】
技术研发人员：何宝华，沈睦生，严明月，
申请(专利权)人：深圳市凯达尔科技实业有限公司，
类型：发明
国别省市：广东;44