眼动合成方法及装置制造方法及图纸

本发明专利技术实施例提供一种眼动合成方法及装置，该方法包括：获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型，合成虚拟人的眼动行为，并控制虚拟人表现出合成后的眼动。本实施例通过根据眼动特征数据与言语特征数据使得虚拟人表现出与语音数据相对应的眼动，从而提高交互的真实感。

Eye movement synthesis method and device

【技术实现步骤摘要】
眼动合成方法及装置
本专利技术实施例涉及计算机视觉技术，尤其涉及一种眼动合成方法及装置。
技术介绍
随着虚拟现实技术与人机交互技术的快速发展，虚拟人的应用已经延伸到各个领域，其中虚拟人的眼动能够有效提供用户与虚拟人之间自然的交互。目前，现有技术在实现虚拟人的眼动时，通常是通过构建堆叠沙漏网络和稠密网络，从而进行视线估计以得到视线方向，其次根据视线方向控制虚拟人的眼动。然而，现有技术中虚拟人的眼动无法与虚拟人的语音数据相对应，导致虚拟人的眼动生硬，缺乏真实性。
技术实现思路
本专利技术实施例提供一种眼动合成方法及装置，以克服虚拟人的眼动行为生硬，缺乏真实性的问题。第一方面，本专利技术实施例提供一种眼动合成方法，包括：获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。在一种可能的设计中，所述根据所述眼动特征数据与所述言语特征数据，得到驱动模型，包括：对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。在一种可能的设计中，所述时间序列包括多个时间点，所述根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，包括：将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。在一种可能的设计中，所述获取眼动特征数据与言语特征数据，包括：获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。在一种可能的设计中，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；所述言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。在一种可能的设计中，所述根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，包括：将言语输入数据输入所述驱动模型，得到所述驱动模型输出的眼动行为数据，其中，所述眼动行为数据为指示眼动行为的数据；根据所述眼动行为数据，合成所述虚拟人的眼动。在一种可能的设计中，所述得到所述驱动模型输出的眼动行为数据之后，所述方法还包括：将驱动模型输出的所述眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，所述心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或将驱动模型输出的所述眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，所述时域矫正模型为用于使得眼动行为在时域上连续的模型。第二方面，本专利技术实施例提供一种眼动合成装置，包括：获取模块，用于获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；模型模块，用于根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；合成模块，拥有根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。在一种可能的设计中，所述模型模块具体用于：对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。在一种可能的设计中，所述模型模块具体用于：将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。在一种可能的设计中，所述获取模块，具体用于：获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。在一种可能的设计中，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；所述言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。在一种可能的设计中，所述合成模块具体用于：将言语输入数据输入所述驱动模型，得到所述驱动模型输出的眼动行为数据，其中，所述眼动行为数据为指示眼动行为的数据；根据所述眼动行为数据，合成所述虚拟人的眼动。在一种可能的设计中，还包括：矫正模块；所述矫正模块，具体用于：所述得到所述驱动模型输出的眼动行为数据之后，将驱动模型输出的所述眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，所述心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或将驱动模型输出的所述眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，所述时域矫正模型为用于使得眼动行为在时域上连续的模型。第三方面，本专利技术实施例提供一种眼动合成设备，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。本专利技术实施例提供一种眼动合成方法及装置，该方法包括：获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型，合成虚拟人的眼动，并控制虚拟人表现出合成后的眼动。通过根据眼动特征数据与言语特征数据之间的关联关系构建驱动模型，能够使得虚拟人表现出与语音数据相对应的眼动数据，从而避免虚拟人的眼动行为生硬，提高交互的真实感。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图本文档来自技高网...

【技术保护点】
1.一种眼动合成方法，其特征在于，包括：获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；根据言语输入数据与所述驱动模型，合成虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。

【技术特征摘要】
1.一种眼动合成方法，其特征在于，包括：获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；根据言语输入数据与所述驱动模型，合成虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。2.根据权利要求1所述的方法，其特征在于，所述根据所述眼动特征数据与所述言语特征数据，得到驱动模型，包括：对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。3.根据权利要求2所述的方法，其特征在于，所述时间序列包括多个时间点，所述根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，包括：将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。4.根据权利要求1所述的方法，其特征在于，所述获取眼动特征数据与言语特征数据，包括：获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。5.根据权利要求1所述的方法，其特征在于，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视...

【专利技术属性】
技术研发人员：陆峰，李承坤，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11