一种手语视频的生成方法、装置及系统制造方法及图纸

本申请公开了一种手语视频的生成方法、装置及系统，其中方法包括：使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端以便用户端进行呈现，实现了将文字流数据转换成听障用户能够观看的手语视频，方便了听障用户观看视频，改善了听障用户的使用体验。

A method, device and system for generating sign language video

【技术实现步骤摘要】
一种手语视频的生成方法、装置及系统
本专利技术涉及计算机
，尤其涉及一种手语视频的生成方法、装置及系统。
技术介绍
在观看电视等视频图像资料时，在视频没有字幕的情况下，听觉功能有障碍的用户常常无法正常进行观看。即使当前视频具有字幕，对于文化水平较低、识字能力较弱的用户也无法准确理解到字幕的含义，导致他们即使有字幕也无法正常观看视频。这给听障用户带来了很大的不便，极大地影响了听障用户的使用体验。
技术实现思路
为了解决现有技术的不足，本专利技术的主要目的在于提供一种手语视频的生成方法、装置、系统及一种计算机系统。为了达到上述目的，本专利技术第一方面提供了一种手语视频的生成方法，所述方法包括：使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端以便用户端进行呈现。在一些实施例中，在使用自然语言处理技术对接收的文字流数据进行处理前，所述方法还包括：接收语音数据并转换为文字流数据。在一些实施例中，在接收语音数据并转换为文字流数据后，所述方法还包括：将所述文字流数据发送给用户端以便用户端生成字幕进行呈现。在一些实施例中，所述根据所述依存句法分析结果将所述手语图像进行排序及组合，生成手语视频具体包括：根据所述依存句法分析结果，顺序排列所述手语图像数据，获得顺序排列的手语图像数据；将所述顺序排列的手语图像数据赋予预先构建的虚拟角色，生成手语视频。第二方面，本专利技术提供了一种手语视频的生成方法，所述方法包括：服务端使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；服务端根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；服务端根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端；用户端接收所述手语视频并进行呈现。第三方面，本专利技术提供了一种手语视频的生成装置，所述装置包括：通信模块，用于接收文字流数据及将生成的手语视频发送给用户端；处理模块，用于对文字流数据进行处理；数据存储模块，用于存储手语图像数据及分词与手语图像的映射关系；视频生成模块，用于对手语图像进行排序及组合以生成手语视频。第四方面，本专利技术提供了一种手语视频的生成系统，所述系统包括：服务端，用于对文字流数据进行处理并根据分词结果匹配对应的手语图像生成手语视频数据发送给用户端；用户端，用于接收服务端返回的手语视频数据并进行呈现。第五方面，本专利技术提供了一种计算机系统，所述系统包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端以便用户端进行呈现。根据本申请提供的具体实施例，本申请公开了以下技术效果：使用自然语言处理技术对文字流数据进行处理，获取分词结果与依存句法分析结果；根据分词与手语图像的映射关系获取对应的手语图像数据并根据依存句法分析结果对手语图像数据进行排序及组合，生成了手语视频，实现了将文字流数据转换成听障用户能够观看的手语视频，方便了听障用户观看视频，改善了听障用户的使用体验；将语音数据实时转换成文字流数据，实现了最终语音数据至手语视频的转换；将文字流数据转换为字幕进行呈现，即使当不便于播放声音时依旧能了解视频的语音想传达的信息，提升了所有用户观看视频的效率与便捷性。当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请的场景图；图2是本申请的场景流程图；图3是本申请的方法流程图；图4是本申请的方法流程图；图5是本申请的装置结构图；图6是本申请的计算机系统结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。以智能电视为例，当听障用户观看智能电视中播放视频时，由于无法听到电视中播放的音频，若观看的视频没有字幕，听障用户便无法正常观看。为了提高听障用户的观看体验，本专利技术旨在提供一种手语视频的生成方法，通过将语音数据转换为文字流数据，然后根据转换得到的文字流数据进行处理，获得分词结果和依存句法分析结果，根据分词结果查找手语库中匹配的手语图像，对匹配获得的手语图像根据依存句法分析结果进行排序，将排序好的手语图像赋予预先构建的虚拟角色之上，生成供听障用户观看的手语视频，极大地方便了听障用户观看无字幕的视频。本专利技术所述的依存句法分析可用于确定句子的句法结构或者句子中词汇之间的依存关系。其主要包括两方面的内容，一是确定语言的语法体系，即对语言中合法的句子的语法结构给与形式化的定义；另一方面是句法分析技术，即根据给定的语法体系，自动推导出句子的句法结构，分析句子所包含的句法单位和这些句法单位之间的关系。根据依存句法分析结果可构建句法分析树，并以此确定目标语句的排列顺序。图1示出了本专利技术的系统结构图，包括了服务端及用户端。服务端可以为云端服务器等具有通信、文字分词、视频生成、数据存储等功能的服务提供方。所述用户端关联的设备可以为智能电视、计算机、手机及平板等任意具有通信和显示功能的设备，可以通过互联网将语音数据上传至服务端，由服务端根据语音数据生成手语视频并传回至用户端，用户端将接收的手语视频以合适的尺寸显示与屏幕之上供用户观看。本专利技术中所述的手语图像为预先绘制的手语动作图，通过手语传达其含义，可赋予预先建立的虚拟人物生成手语视频。本专利技术亦可用于无听障用户与听障用户的沟通中。无听障用户可通过第一用户端将语音数据上传至服务端，服务端可将接收的语音数据转换为文字流数据，根据转换得到的文字流数据使用本专利技术提供的手语视本文档来自技高网...

【技术保护点】
1.一种手语视频的生成方法，其特征在于，所述方法包括：/n使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；/n根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；/n根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端以便用户端进行呈现。/n

【技术特征摘要】
1.一种手语视频的生成方法，其特征在于，所述方法包括：
使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；
根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；
根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端以便用户端进行呈现。


2.根据权利要求1所述的生成方法，其特征在于，在使用自然语言处理技术对接收的文字流数据进行处理前，所述方法还包括：
接收语音数据并转换为文字流数据。


3.根据权利要求2所述的生成方法，其特征在于，在接收语音数据并转换为文字流数据后，所述方法还包括：
将所述文字流数据发送给用户端以便用户端生成字幕进行呈现。


4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述依存句法分析结果将所述手语图像进行排序及组合，生成手语视频具体包括：
根据所述依存句法分析结果，顺序排列所述手语图像数据，获得顺序排列的手语图像数据；
将所述顺序排列的手语图像数据赋予预先构建的虚拟角色，生成手语视频。


5.一种手语视频的生成方法，其特征在于，所述方法包括：
服务端使用自然语言处理技术对接收的文字流数据进行处理，获得所述文字流数据的分词结果及依存句法分析结果；
服务端根据预存的分词与手语图像的映射关系查找并获得所述分词结果对应的手语图像数据；
服务端根据所述依存句法分析结果将所述手语图像数据进行排序及组合，生成手语视频并发送给用户端；
用户端接收所...

【专利技术属性】
技术研发人员：金国卿，
申请(专利权)人：苏宁智能终端有限公司，
类型：发明
国别省市：江苏;32