一种基于大数据的面部表情的重建方法及装置制造方法及图纸

本发明专利技术提供了一种基于大数据的面部表情的重建方法及装置，该方法包括：获取第一用户的面部表情图像序列，第一用户的面部具有多个特征点，面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个面部表情图像中的各个特征点的坐标变化确定各个特征点的运动轨迹；根据各个特征点的运动轨迹在第二用户的三维面部几何模型上重建面部表情。本发明专利技术实施例采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

【技术实现步骤摘要】

本专利技术涉及面部表情捕捉、识别与重建
，具体而言，涉及一种基于大数据的面部表情的重建方法及装置。
技术介绍
目前，基于面部表情的应用变得越来越重要，从简单的网络虚拟角色向导、远程虚拟通讯，到复杂的人脸自动识别、人脸图像数据库的自动查询等均会涉及面部表情的变化。面部表情识别与重建的研究具有非常重要的意义和十分广阔的应用前景，面部表情识别与重建不仅有助于开发拟人化的多媒体计算机系统，还有助于进一步提高计算机在特定视频信号方面的处理能力，尤其在视频理解方面，计算机可以利用图像中面部表情信息去理解其所具有的情感、心理等等；在智能计算机和多媒体技术方面，面部表情识别与重建也是当前虚拟现实技术的关键，利用该技术可模仿各种人物的面部表情；在军事、公安和其他特殊领域上，可通过情感信息处理技术从计算机上获取更多的与面部表情相关的信息，从而指导相关人员进行事件分析，增加事件分析结论的可靠性。当前，相关技术中提供了一种面部表情的重建方法，其中，常见的动态面部表情的特征提取一般通过光学捕捉，即在表演者的脸部表情关键点贴上Marker，通过对目标上特定光点的监视和跟踪来完成面部表情捕捉，由此可知，目前面部表情捕捉过程需要表演者的脸部佩戴专门的摄像装置并在面部关键点粘贴表面覆盖有特殊反光材料的专用贴纸，进而通过对特定光点的监视和跟踪进行面部表情捕捉；另外，目前面部表情识别与重建过程需要专业人士使用专门的软件对捕捉到的面部表情进行识别与重建。在实现本专利技术的过程中，专利技术人发现相关技术中至少存在以下问题：相关技术中的面部表情捕捉、识别与重建过程对设备资源要求高、专业性强、应用场景受限。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种基于大数据的面部表情的重建方法及装置，以解决相关技术中的面部表情重建技术的应用场景受限的问题，降低面部表情捕捉、识别与重建过程的专业性和制作成本。第一方面，本专利技术实施例提供了一种基于大数据的面部表情的重建方法，该方法包括：获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹，包括：将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级，包括：根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，包括：步骤a：从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；步骤b：将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；从未被标记的所述特征点中选取下一个当前匹配对象，重复执行步骤b，直到各个所述特征点均被标记为已配对。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，包括：提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对之后，还包括：根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹之后，还包括：对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个所述特征点的运动轨迹。第二方面，本专利技术实施例还提供了一种基于大数据的面部表情的重建装置，该装置包括：图像序列获取模块，用于获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；运动轨迹确定模块，用于根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；面部表情重建模块，用于根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述运动轨迹确定模块包括：表情图像对确定单元，用于将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；坐标获取单元，用于依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；优先级确定单元，用于根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；特征点匹配单元，用于根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；运动轨迹确定单元，用于根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹。结合第二方面的第一种可能的实施方式，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述优先级确定单元包括：外边界图像确定子单元，用于根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；距离计算子单元，用于计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；优先级确定子单元本文档来自技高网...

【技术保护点】
一种基于大数据的面部表情的重建方法，其特征在于，所述方法包括：获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

【技术特征摘要】
1.一种基于大数据的面部表情的重建方法，其特征在于，所述方法包括：获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。2.根据权利要求1所述的方法，其特征在于，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹，包括：将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹。3.根据权利要求2所述的方法，其特征在于，所述根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级，包括：根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。4.根据权利要求2所述的方法，其特征在于，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，包括：步骤a：从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；步骤b：将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；从未被标记的所述特征点中选取下一个当前匹配对象，重复执行步骤b，直到各个所述特征点均被标记为已配对。5.根据权利要求2所述的方法，其特征在于，所述依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，包括：提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。6.根据权利要求2所述的方法，其特征在于，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对之后，还包括：根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。7.根据权利要求1所述的方法，其特征在于，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹之后，还包括：对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量...

【专利技术属性】
技术研发人员：唐红博，郭军，张丛喆，
申请(专利权)人：东方网力科技股份有限公司，
类型：发明
国别省市：北京;11