本发明专利技术涉及一种基于文本到汉语拼音的面部表情合成与交互控制方法。该方法通过输入文本转化为汉语拼音，并结合面部关键点追踪技术记录人脸在不同表情下的关键点移动和口型信息，通过口型映射和嘴部变形算法，将汉语拼音与关键点的口型进行匹配拟合，并将关键点时间帧序列映射到三维模型上实现嘴部的动态变形。进一步根据输入文本的情绪分析和关键点位移信息，利用DFFD算法将情绪关键点位移信息映射到三维模型的嘴部变形时间序列帧上，形成完整的面部表情动画。本发明专利技术可以广泛应用于人机交互领域，例如语音助手、虚拟人物、游戏角色等。游戏角色等。游戏角色等。
【技术实现步骤摘要】
基于文本到汉语拼音的面部表情合成与交互控制方法
[0001]本专利技术的
涉及计算机图形图像处理和人机交互领域。本专利技术将文本转化为汉语拼音表示，并结合面部关键点追踪技术和嘴部变形算法，实现了实时生成准确的面部表情动画，并提供了交互控制功能，满足用户个性化需求。
技术介绍
[0002]在虚拟人物和计算机图形领域，实现真实的表情模拟对于提升用户体验和情感交流至关重要。目前已有的表情生成技术通常依赖于复杂的建模和动画制作工具，并且在与用户的真实交互方面存在局限性。因此，研究和开发一种能够根据输入的文字生成真实的三维虚拟人物表情交互动画的方法具有重要的应用价值。
[0003]为了实现这一目标，需要探索以下关键方向：
[0004]1.文本到表情的转换：通过算法和模型，将输入的文字转化为对应的情感和表情信息。这可以涉及自然语言处理技术和情感分析，以捕捉和理解输入文字所表达的情感内容。
[0005]2.表情的生成和模拟：基于转换后的情感和表情信息，使用计算机图形技术生成真实的三维虚拟人物表情。这可以包括口型和面部特征的动态变化，以及其他身体姿态和动作的模拟。这涉及到面部关键点追踪、嘴部变形和动画合成等技术。
[0006]3.与用户的交互：为了增强真实性和用户参与感，需要实现与用户的交互功能。这可以包括用户对虚拟人物表情的实时调整和控制，以及用户与虚拟人物进行情感交流的能力。
[0007]交互可以通过传感器、语音识别和姿势跟踪等技术实现。
[0008]4.实时渲染和性能优化：为了实现实时的表情渲染和交互，需要优化算法和技术以提高计算效率和图形渲染速度。这包括利用硬件加速、并行计算和优化算法等手段，以实现流畅的用户体验。
[0009]综上所述，通过研究和开发一种能够根据输入的文字生成真实的三维虚拟人物表情交互动画的方法，可以提升用户体验、实现情感交流，并在虚拟人物和计算机图形应用领域具有广泛的应用前景。
技术实现思路
[0010]本专利技术的目的在于提供一种能够根据输入的文字生成真实的三维虚拟人物表情交互动画的方法。该专利技术的核心思想是通过将文本转化为汉语拼音、面部关键点追踪、口型映射、嘴部变形和面部表情渲染等步骤，实现高度逼真的表情模拟。以下是该专利技术的内容：
[0011]本专利技术提供了一种方法，能够根据用户输入的文字生成真实的三维虚拟人物表情交互动画,方法包括以下步骤：
[0012]S1.接收用户输入的文字信息。
[0013]S2.将输入的文字转化为对应的汉语拼音表示，通过jieba
‑
pypinyin算法模型实
现。
[0014]并且使用AFINN技术根据文本中单词的得分计算整体情感得分，识别出喜、怒、哀、乐、惧等简单情绪。
[0015]S3.通过面部关键点追踪技术，追踪记录人脸在不同表情下的关键点移动信息，并记录说汉语拼音时不同拼音字母的口型信息，这样可以准确地捕捉人脸的关键特征点和口型变化。
[0016]S4.将S2的汉语拼音与S3的关键点口型进行匹配拟合，并根据汉语拼音的字母顺序生成关键点口型信息的时间帧序列数组。
[0017]S5.使用DFFD算法将S4得到的关键点时间帧序列映射到三维模型上，形成一个三维模型嘴部变形时间序列帧。
[0018]S6.对S5得到的三维模型嘴部变形时间序列帧进行面部表情渲染，这包括根据S2中的情绪分类信息与S3中采集的人在不同表情下的关键点移动信息进行匹配，得到本段话的情绪关键点位移信息。然后利用DFFD算法将情绪关键点位移信息映射到三维模型的嘴部变形时间序列帧上，形成完整的表情动画。
[0019]S7.提供实时显示和交互控制功能，用户可以通过控制模型变形程度。
[0020]其中，所述S2当将输入的文本转化为对应的汉语拼音时，可以结合使用分词算法和拼音转换算法来完成这一过程。下面是一个详细构建jieba
‑
pypinyin算法的步骤：
[0021]S21分词：使用中文分词算法jieba对输入的文本进行分词，将其划分为一个个的词语或单个的字。
[0022]S22拼音转换：对于每个分词后的词语或字，使用拼音转换算法pypinyin将其转换为对应的拼音表示。拼音转换库会根据汉字的发音规则将每个汉字转换为拼音，例如将汉字“你”转换为拼音“ni”。
[0023]S23合并拼音：如果输入的文本是句子或短语，将每个词语或字的拼音表示进行合并，
[0024]形成完整的拼音表示。
[0025]S24多音字处理：在拼音转换过程中，可能会遇到多音字，即一个汉字对应多个读音的情况。根据上下文或词语的常用读音，使用拼音转换库Pypinyin中的多音字处理功能选择合适的读音。
[0026]S25情感识别：使用AFINN根据文本中单词的得分计算整体情感得分，识别出喜、怒、哀、乐、惧等情绪。
[0027]其中，所述S3通过面部关键点追踪技术，结合拼音字母的口型信息，可以准确捕捉人脸的关键特征点和口型变化。以下是一个详细的步骤来实现这一过程：
[0028]S31面部关键点追踪：使用面部关键点追踪技术包OpenCV对人脸图像进行人脸检测和关键点定位，这能够识别人脸区域并定位出关键特征点，如眼睛、眉毛、鼻子和嘴巴等，并且能够持续地追踪人脸关键点的位置，并记录关键点在不同表情下的移动信息。
[0029]例如开心、愤怒、惊讶等。
[0030]S32拼音字母的嘴型识别：当用户发出汉语拼音时，可以通过分析嘴巴的形状和运动，捕捉到拼音字母的嘴型信息。使用面部关键点追踪技术包OpenCV，能够识别嘴部形状和运动，并将其与拼音字母进行关联，通过分析嘴部形状和运动的变化，可以推断出拼音字母
的嘴型信息。
[0031]S33记录关键点和嘴型信息：将追踪到的人脸关键点和拼音字母的嘴型信息进行记录，形成数据集，其中包含记录关键点的坐标位置，拼音字母的嘴型状态等，这些数据可以用于后续的分析、训练模型或应用开发。
[0032]其中，S4我们需要将汉语拼音与S3中提取的关键点口型信息进行匹配拟合，并生成关键点口型信息的时间帧序列数组。下面是一个详细的介绍：
[0033]S41数据准备：数据包含汉语拼音和对应的面部关键点嘴型信息的关键点位移数，。
[0034]这些数组可以由S2的完整拼音序列和S3中的汉语拼音的元辅音嘴型关键点信息得到。S42模型推断：根据准备的汉语拼音以及关键点嘴型信息根据汉语拼音的顺序按照正常的拼读顺序的时间线进行拟合，获得嘴型关键点信息的时间帧序列数组。
[0035]其中，步骤S5DFFD算法通过按照时间轴顺序依次将模型上的关键点根据关键点位移数组进行移动，从而达到模型的变形效果。具体流程为：
[0036]S51数据准备：我们需要准备面部特征点的关键点位移数组，这些数组可以根据拼音顺序从S4中获得。同时，我们还需要一个三维人脸模型，其中包含了嘴部区域的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于文本到汉语拼音的面部表情合成与交互控制方法，其特征在于，S1.接收用户输入的文字信息；S2.将输入的文字转化为对应的汉语拼音表示，通过jieba
‑
pypinyin算法模型实现，并且使用AFINN技术根据文本中单词的得分计算整体情感得分，识别出喜、怒、哀、乐、惧等情绪；S3.通过面部关键点追踪技术，追踪记录人脸在不同表情下的关键点移动信息，并记录说汉语拼音时不同拼音字母的口型信息，这样可以准确地捕捉人脸的关键特征点和口型变化；S4.将S2的汉语拼音与S3的关键点口型进行匹配拟合，并根据汉语拼音的字母顺序生成关键点口型信息的时间帧序列数组；S5.使用DFFD算法将S4得到的关键点时间帧序列映射到三维模型上，形成一个三维模型嘴部变形时间序列帧；S6.对S5得到的三维模型嘴部变形时间序列帧进行面部表情渲染，这包括根据S2中的情绪分类信息与S3中采集的人在不同表情下的关键点移动信息进行匹配，得到本段话的情绪关键点位移信息，然后利用DFFD算法将情绪关键点位移信息映射到三维模型的嘴部变形时间序列帧上，形成完整的表情动画；S7.提供实时显示和交互控制功能，用户可以通过控制模型的变形程度。2.根据权利要求1所述jieba
‑
pypinyin算法实现将输入的文字转化为对应的汉语拼音表示，其特征在于，(2
‑
1)分词：使用中文分词算法jieba对输入的文本进行分词，将其划分为一个个的词语或单个的字；(2
‑
2)拼音转换：对于每个分词后的词语或字，使用拼音转换算法pypinyin将其转换为对应的拼音表示，拼音转换库会根据汉字的发音规则将每个汉字转换为拼音，例如将汉字“你”转换为拼音“ni”；(2
‑
3)合并拼音：如果输入的文本是句子或短语，将每个词语或字的拼音表示进行合并，形成完整的拼音表示；(2
‑
4)多音字处理：在拼音转换过程中，可能会遇到多音字，即一个汉字对应多个读音的情况，根据上下文或词语的常用读音，使用拼音转换库Pypinyin中的多音字处理功能选择合适的读音。3.根据权利要求1所述AFINN根据文本中单词的得分计算整体情感得分方法，其特征在于，S2中使用AFINN根据文本中单词的得分计算整体情感得分，识别出喜、怒、哀、乐、惧等简单情绪。4.根据权利要求1所述基于面部关键点追踪技术，追踪记录人脸在不同表情下的关键点移动信息，其特征在于，(4
‑
1)面部关键点追踪：使用面部关键点追踪技术包OpenCV对人脸图像进行人脸检测和关键点定位，这能够识别人脸区域并定位出关键特...
【专利技术属性】
技术研发人员：刘增科，殷继彬，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。