【技术实现步骤摘要】
本专利技术涉及虚拟现实同步，具体涉及一种基于人脸表情识别与动作捕捉的虚拟现实同步方法。
技术介绍
1、虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界。为了实现虚拟现实的时空一致性，目前提出了多种同步方法，包括保守同步方法、乐观同步方法、集中控制同步方法，以及基于真实时间的时间比例同步方法等。然而，在实时运动的动态环境中，动画所采样的基本运动不仅是交互自适应的，而且受到外部条件的制约，随着外部环境的变化而变化。但目前所提出的多种同步方法在解决同步问题时提高了运算的复杂度，特别是在对存在多个运动目标的复杂动画进行同步处理时，会消耗大量的运算资源。
技术实现思路
1、本专利技术目的在于提供一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，解决利用现有技术对人脸表情和动作进行虚拟现实同步过程中消耗大量运算资源的问题。
2、本专利技术通过下述技术方案实现：
3、提供一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，包括以下步骤：对目标对象进行人脸表情识别，得到人脸表情图像；对所述目标对象进行动作捕捉，得到动作图像；分别对所述人脸表情图像和所述动作图像进行图像配准；将经过图像配准后的人脸表情图像与经过图像配准后的动作图像融合为表情动作图像；将所述表情动作图像剪切为多个时序图像
4、进一步的，所述图像配准包括以下步骤：对目标图像进行特征提取，得到所述目标图像的多个特征点；所述目标图像包括：人脸表情图像和动作图像；从多个特征点中提取多组特征点对；对每一组特征点对进行匹配，得到多组图像空间坐标参数；一组图像空间坐标参数对应一组特征点对；根据多组图像空间坐标参数对所述目标图像进行图像配准。
5、进一步的，将所述表情动作图像剪切为多个时序图像片段之后，包括以下步骤：对每一个时序图像片段进行去噪、裁剪和色度变换。
6、进一步的，所述状态特征同步处理包括以下步骤：s1：提取时序图像片段中的多种状态特征，为每一种状态特征分配优先级；任一种状态特征中包含动作特征与表情特征；s2：根据提取的多种状态特征建立状态特征序列；s3：利用所述状态特征序列建立状态特征融合矩阵；所述状态特征融合矩阵中包含多种融合状态，一种融合状态对应一种同步状态或一种非同步状态；s4：检测所述状态特征融合矩阵中是否存在一种或多种融合状态为非同步状态；若存在一种或多种非同步状态的融合状态，则执行s5；若不存在非同步状态的融合状态，则执行s6；s5：根据优先级对所述状态特征序列中各状态特征的持续时间进行调整，返回所述s3；s6：输出处理后的状态特征融合矩阵。
7、进一步的，所述建立状态特征融合矩阵的方法为：获取所述状态特征序列的转置；建立特征融合函数；利用所述特征融合函数对转置后的状态特征序列的每一个状态特征与转置前的状态特征序列中的每一个状态特征进行融合处理，得到多个融合状态；利用多个融合状态建立所述状态特征融合矩阵。
8、进一步的，所述s5包括以下步骤：s51：对组成融合状态的两种状态特征进行标记；s52：比较标记的状态特征之间的优先级，得到第一状态特征和第二状态特征；所述第一状态特征的优先级高于第二状态特征的优先级；s53：保持所述第一状态特征的持续时间不变，将所述第二状态特征的持续时间进行扩展，得到调整后的状态特征序列；s54：针对调整后的状态特征序列中的每个状态特征，消除特征状态的持续时间的时间偏差。
9、进一步的，所述s54中，所述消除特征状态的持续时间的时间偏差，包括以下步骤：获取特征状态在调整前的持续时间、调整后的持续时间和调整前的持续时间偏差向量；获取所述持续时间偏差向量在调整后的持续时间内的对称向量；根据所述持续时间偏差向量和所述对称向量建立单调抵消函数；利用所述单调抵消函数消除特征状态的持续时间的时间偏差。
10、进一步的，所述自适应时间同步处理包括以下步骤：获取处理后的状态特征融合矩阵所对应的时序图像片段中，相邻两个状态特征之间的间隔时长；设置数据缓冲区存储状态特征，设置间隔时长阈值；在间隔时长大于间隔时长阈值的两个状态特征之间进行插值处理，直到所有相邻状态特征之间的间隔时长相等。
11、进一步的，所述插值处理包括：最近邻插值、线性插值和双三次插值。
12、本专利技术与现有技术相比，具有如下的优点和有益效果：通过对人脸表情图像和动作图像进行融合，结合虚拟动画的实时性和交互性，对融合后的每一时序图像片段进行状态特征同步处理和自适应时间同步处理，实现运动相位序列的重组同步。本方法无需利用复杂的虚拟现实同步算法，通过对状态特征分配优先级来调整状态特征序列中元素的有效时间，并消除由此造成的时间偏差负效应，保证动作的一致连续性。
本文档来自技高网...【技术保护点】
1.一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述图像配准包括以下步骤：
3.根据权利要求1或2所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，将所述表情动作图像剪切为多个时序图像片段之后，包括以下步骤：对每一个时序图像片段进行去噪、裁剪和色度变换。
4.根据权利要求1或2所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述状态特征同步处理包括以下步骤：
5.根据权利要求4所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述建立状态特征融合矩阵的方法为：
6.根据权利要求4所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述S5包括以下步骤：
7.根据权利要求5所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，还包括S54：针对调整后的状态特征序列中的每个状态特征，消除特征状态的持续时间的时间
8.根据权利要求7所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述S54中，所述消除特征状态的持续时间的时间偏差，包括以下步骤：
9.根据权利要求5-7中任意一项所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述自适应时间同步处理包括以下步骤：
10.根据权利要求9所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述插值处理包括：最近邻插值、线性插值和双三次插值。
...【技术特征摘要】
1.一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述图像配准包括以下步骤：
3.根据权利要求1或2所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，将所述表情动作图像剪切为多个时序图像片段之后，包括以下步骤：对每一个时序图像片段进行去噪、裁剪和色度变换。
4.根据权利要求1或2所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述状态特征同步处理包括以下步骤：
5.根据权利要求4所述的一种基于人脸表情识别与动作捕捉的虚拟现实同步方法，其特征在于，所述建立状态特征融合矩阵的方法为：
6.根据权利要求4所述的一种基于人...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。