数据处理方法、装置及系统制造方法及图纸

本申请提供了一种数据处理方法、装置系统，包括：获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应；确定与用户文字数据对应的唇形图像集；调整所述唇形图像集获得与人脸图像对应的唇形图像集，并合成人脸图像对应的唇形视频数据；合成用户语音数据和唇形视频数据，获得用户视频数据。本申请可以基于用户语音数据，并结合人脸图像，在人脸图像上显示用于语音数据，以展示出以人脸图像展示用户语音数据的效果。这样可以丰富即时通讯软件的交流方式。 1

Data processing methods, devices and systems

The present application provides a data processing method, device system, including: obtaining user voice data and user text data, in which the user voice data is corresponding to the user text data, determines a lip image set corresponding to the user text data, and adjusts the lip image set to correspond with the face image. The lip image set is used to synthesize lip image data corresponding to face images, and user voice data and lip video data are synthesized to obtain user video data. The application can be based on the user's voice data, combined with the face image, and display the speech data on the face image to show the effect of displaying the user's voice data with the face image. This can enrich the communication mode of instant messaging software. One

【技术实现步骤摘要】
数据处理方法、装置及系统
本申请涉及通信
，尤其涉及一种数据处理方法、装置及系统。
技术介绍
在日益发达的互联网中，一些社交应用可以采用语音方式发送消息。语音消息其展现形式较为单一，互动效果差。
技术实现思路
鉴于此，本申请提供一种数据处理方法、装置及系统，可以丰富即时通讯软件的交流方式。为了实现上述目的，本申请提供了下述技术特征：一种数据处理方法，包括：获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应；确定与用户文字数据对应的唇形图像集；调整所述唇形图像集获得与人脸图像对应的唇形图像集，并合成人脸图像对应的唇形视频数据；合成用户语音数据和唇形视频数据，获得用户视频数据。可选的，所述获取用户语音数据以及用户文字数据，包括：响应于用户输入的文字数据获得用户文字数据，基于文字数据转换为语音数据获得用户语音数据；或者，响应于用户输入的语音数据获得用户语音数据，基于语音数据转换为文字数据获得用户文字数据。可选的，所述确定与用户文字数据对应的唇形图像集，包括：对用户文字数据进行语义分析并进行分词，获得多个分词以及对应的多个分词属性信息；分别确定与多个分词对应的多个唇形图像；基于分词属性信息对对应的唇形图像进行调整；多个调整后的唇形图像组成唇形图像集。可选的，所述分别确定与多个分词对应的多个唇形图像，包括：在按韵母划分的多个唇形图像中，确定与分词韵母对应的唇形图像；在按声母和韵母划分的多个唇形图像中，确定与分词的声母和韵母对应的唇形图像；将声母和韵母输入至唇形图像模型，获得唇形图像模型输出的唇形图像。可选的，所述调整所述唇形图像集获得与人脸图像对应的唇形图像集，包括：调整人脸图像中的唇形特征，以使唇形特征与唇形图像中的唇形特征匹配；将多幅调整后的人脸图像，确定为与人脸图像对应的唇形图像集。可选的，所述合成用户语音数据和唇形视频数据，获得用户视频数据，包括：确定用户语音数据的编码参数，获得编码后的语音文件；确定唇形视频数据的编码参数，获得编码后的视频文件；对编码后的语音文件和编码后的视频文件进行音视频同步，获得用户视频数据。一种数据处理装置，包括：获取数据单元，用于获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应；确定图像集单元，用于确定与用户文字数据对应的唇形图像集；调整单元，用于调整所述唇形图像集获得与人脸图像对应的唇形图像集，并合成人脸图像对应的唇形视频数据；合成单元，用于合成用户语音数据和唇形视频数据，获得用户视频数据。可选的，所述确定图像集单元，包括：分词单元，用于对用户文字数据进行语义分析并进行分词，获得多个分词以及对应的多个分词属性信息；确定唇形图像单元，用于分别确定与多个分词对应的多个唇形图像；调整唇形图像单元，用于基于分词属性信息对对应的唇形图像进行调整；组成单元，用于多个调整后的唇形图像组成唇形图像集。可选的，所述调整单元包括：调整单元，用于调整人脸图像中的唇形特征，以使唇形特征与唇形图像中的唇形特征匹配；确定单元，用于将多幅调整后的人脸图像，确定为与人脸图像对应的唇形图像集。一种数据处理系统，包括：发送终端，用于确定需使用人脸图像并发送人脸图像至服务器；发送用户语音数据或用户文字数据至服务器；服务器，用于接收并存储人脸图像，获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应；确定与用户文字数据对应的唇形图像集；调整所述唇形图像集获得与人脸图像对应的唇形图像集，并合成人脸图像对应的唇形视频数据；合成用户语音数据和唇形视频数据，获得用户视频数据；发送用户视频数据至接收终端；接收终端，用于接收并显示用户视频数据。通过以上技术手段，可以实现以下有益效果：本申请可以基于用户语音数据，并结合人脸图像，在人脸图像上显示用于语音数据，以展示出以人脸图像展示用户语音数据的效果。这样可以丰富即时通讯软件的交流方式。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a为本申请实施例公开的一种数据处理系统的结构示意图；图1b为本申请实施例公开的一种数据处理方法的流程图；图2为本申请实施例公开的一种数据处理方法的流程图；图3为本申请实施例公开基于韵母划分的一些唇形的示意图；图4a-4c为本申请实施例公开一些唇形的示意图；图5为本申请实施例公开一些唇形特征点的示意图；图6为本申请实施例公开的一种数据处理装置的流程图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。目前，在即时通讯软件中的交流方式中，为了使得交流方式更加多样化，提供了针对语音数据进行视频化显示的方案，以及，针对文字数据进行视频化显示的方案。根据本申请提供的一个实施例，提供了一种数据处理方法。参见图1a，包括：发送终端100、服务器200和接收终端300。下面介绍数据处理方法的具体实现方式，参见图1b，包括以下步骤：步骤S101：发送终端100确定使用的人脸图像，并发送人脸图像至服务器200。步骤S102：发送终端100发送用户语音数据或用户文字数据至服务器200。步骤S103：服务器200接收用户语音数据或用户文字数据，并获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应。当发送终端100发送的是用户语音数据的情况下，服务器200响应于用户输入的文字数据获得用户文字数据，然后，基于文字数据转换为语音数据获得用户语音数据。基于文字数据转换为语音数据的过程已为成熟技术，在此不再赘述。当发送终端200发送的是用户文字数据的情况下，服务器200响应于用户输入的语音数据获得用户语音数据，然后，基于语音数据转换为文字数据获得用户文字数据。基于语音数据转换为文字数据的过程已为成熟技术，在此不再赘述。步骤S104：服务器200确定与用户文字数据对应的唇形图像集。参见图2，本步骤具体包括：步骤S201：对用户文字数据进行语义分析并进行分词，获得多个分词以及对应的多个分词属性信息。根据用户文字数据的语言种类，对文字数据分词得到多个分词。例如，以用户文字数据为“Hello，大家好”为例，首选确定用户文字数据具有两种语音种类：英语和汉语。对英语部分按照英语分词方式进行分词，例如每个单词为一个分词。对汉语部分按照汉语方式进行分词，例如一个汉字为一个分词。那么，对用户文字数据进行分词后得到：Hello、大、家、好。步骤S202：分别确定与多个分词对应的多个唇形图像。本步骤可以由三种实现方式：第一种实现方式：基于韵母划分类别方式。在分析大量唇形数据后发现，唇形主要取决于分词的韵母(例如，a、ang、ao等)。因此，可以基于韵母多个唇形类别，以及，与唇形类别对应的唇形图像。参见图3为基于韵母划分的一些唇形的示意。因此在获得分本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取用户语音数据以及用户文字数据；其中，所述用户语音数据与所述用户文字数据对应；确定与用户文字数据对应的唇形图像集；调整所述唇形图像集获得与人脸图像对应的唇形图像集，并合成人脸图像对应的唇形视频数据；合成用户语音数据和唇形视频数据，获得用户视频数据。2.如权利要求1所述的方法，其特征在于，所述获取用户语音数据以及用户文字数据，包括：响应于用户输入的文字数据获得用户文字数据，基于文字数据转换为语音数据获得用户语音数据；或者，响应于用户输入的语音数据获得用户语音数据，基于语音数据转换为文字数据获得用户文字数据。3.如权利要求1所述的方法，其特征在于，所述确定与用户文字数据对应的唇形图像集，包括：对用户文字数据进行语义分析并进行分词，获得多个分词以及对应的多个分词属性信息；分别确定与多个分词对应的多个唇形图像；基于分词属性信息对对应的唇形图像进行调整；多个调整后的唇形图像组成唇形图像集。4.如权利要求1所述的方法，其特征在于，所述分别确定与多个分词对应的多个唇形图像，包括：在按韵母划分的多个唇形图像中，确定与分词韵母对应的唇形图像；在按声母和韵母划分的多个唇形图像中，确定与分词的声母和韵母对应的唇形图像；将声母和韵母输入至唇形图像模型，获得唇形图像模型输出的唇形图像。5.如权利要求1所述的方法，其特征在于，所述调整所述唇形图像集获得与人脸图像对应的唇形图像集，包括：调整人脸图像中的唇形特征，以使唇形特征与唇形图像中的唇形特征匹配；将多幅调整后的人脸图像，确定为与人脸图像对应的唇形图像集。6.如权利要求1所述的方法，其特征在于，所述合成用户语音数据和唇形视频数据，获得用户视频数据，包括：确定用户语音数据的编码参数，获得编码后的语音文件；确定唇...

【专利技术属性】
技术研发人员：张引，吴烁，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：北京,11