基于声纹的动画角色智能同步用户方法技术

本发明专利技术涉及基于声纹的动画角色智能同步用户方法，具体涉及多模态数据处理领域，利用高清摄像头采集用户形象数据，并对用户形象数据进行缩放、像素点位置的匹配和填充，通过直方图均衡化增强图像对比度，利用高斯滤波加权对用户形象数据存在噪声进行去除，使用户形象数据在固定尺寸下保持清晰，并且细节丰富，构建卷积神经网络基于动画的主色调和角色形象输出最终的用户虚拟形象，利用麦克风采集用户声纹数据，通过傅里叶变换对每个窗口的声音信号进行频谱表示，构建Transformer编码器并添加自注意力机制和前馈神经网络，将用户虚拟形象和用户声纹转换的动画语音进行同步并自动替换，为用户提供更加个性化和沉浸式的交互体验。

【技术实现步骤摘要】

本专利技术涉及多模态数据处理领域，更具体地说，本专利技术涉及基于声纹的动画角色智能同步用户方法。

技术介绍

1、随着人机交互技术的发展，越来越多的应用开始采用虚拟角色或动画角色作为用户界面的一部分。这种趋势不仅为用户带来更加生动、有趣的界面体验，还为人机交互带来全新的可能性和挑战。通过虚拟动画角色的运用赋予应用更加生动的外观和更具个性的交互形式，提供更加直观、亲切的体验。

2、当前的动画角色智能同步用户方法缺少对用户声音的个性化识别，无法模仿用户的语言特征，不能通过用户语言与动画角色进行更直接的互动，无法完善用户的参与感和沟通体验。

技术实现思路

1、本专利技术针对现有技术中存在的技术问题，提供基于声纹的动画角色智能同步用户方法，以解决上述
技术介绍
中提出的问题。

2、本专利技术解决上述技术问题的技术方案如下：基于声纹的动画角色智能同步用户方法，包括以下步骤：

3、s101.利用高清摄像头采集用户形象数据，并对用户形象数据进行缩放、像素点位置的匹配和填充，通过直方图均衡化增强本文档来自技高网...

【技术保护点】

1.基于声纹的动画角色智能同步用户方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于声纹的动画角色智能同步用户方法，其特征在于：所述S101中，遍历缩放目标中每个像素点的位置，并寻找缩放目标中每个像素点对应用户形象数据中最近的像素点位置并进行赋值填充，重复遍历、寻找以及赋值填充步骤，直至遍历完整缩放目标。

3.根据权利要求1所述的基于声纹的动画角色智能同步用户方法，其特征在于：所述S101中，利用直方图均衡化通过重新分布用户形象数据的缩放目标的像素灰度值，标注用户形象面部关键点的位置坐标，利用高斯滤波加权对用户形象数据存在噪声进行去除。

...

【技术特征摘要】

1.基于声纹的动画角色智能同步用户方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于声纹的动画角色智能同步用户方法，其特征在于：所述s101中，遍历缩放目标中每个像素点的位置，并寻找缩放目标中每个像素点对应用户形象数据中最近的像素点位置并进行赋值填充，重复遍历、寻找以及赋值填充步骤，直至遍历完整缩放目标。

3.根据权利要求1所述的基于声纹的动画角色智能同步用户方法，其特征在于：所述s101中，利用直方图均衡化通过重新分布用户形象数据的缩放目标的像素灰度值，标注用户形象面部关键点的位置坐标，利用高斯滤波加权对用户形象数据存在噪声进行去除。

4.根据权利要求3所述的基于声纹的动画角色智能同步用户方法，其特征在于：高斯滤波加权的具体公式为：

5.根据权利要求1所述的基于声纹的动画角色智能同步用户方法，其特征在于：所述s102中，构建卷积神经网络并通过输入层接收用户形象数据，添加卷积层并批量激活函数层，使用卷积核对用户形象数据进行卷积运算，通过池化层对卷积层输出的用户形象面部关键点的特征进行下采样操作，重复迭代第一次卷积和池化操作，通过全连接层将池化层的用户形象面部关键点的特征展平为一维向量，并输入至全连接层中，利用全连接层通过...

【专利技术属性】
技术研发人员：田学崇，
申请(专利权)人：北京优趣时光文化科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人