【技术实现步骤摘要】
语音和动作时间同步的方法
[0001]本说明书实施例涉及计算机
，特别涉及两种语音和动作时间同步的方法。
技术介绍
[0002]手语是有听力障碍的人之间进行交流、沟通的语言，手语的表达方式、信息传达速度上和听力健全的人的自然语言都有差异，整体表现为手语传达的速度会更慢一些；在一些具备手语翻译的电视新闻中，为了跟上主播的语速，手语老师通常会省略很多内容，并且来不及对手语进行较为细致的组织，导致很大一部分有听力障碍的人，无法获知电视新闻上的手语表达含义。
[0003]同样，在数字人(即虚拟人)手语场景中，也会存在同样的问题，无法保证主播的播报的语音和进行手语播报的数字人的手语动作的时间保持一致，对有听力健全的人造成不好的用户体验。
技术实现思路
[0004]有鉴于此，本说明书实施例提供了两种语音和动作时间同步的方法。本说明书一个或者多个实施例同时涉及两种语音和动作时间同步的装置，一种增强现实AR、虚拟现实VR、混合现实MR或扩展现实XR设备，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以...
【技术保护点】
【技术特征摘要】
1.一种语音和动作时间同步的方法，包括：提取当前语音的文本信息，并确定所述当前语音的语音时长；将所述文本信息通过预设算法进行处理，获得初始动作视频；根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差；在所述当前同步时间差大于等于预设时间阈值的情况下，将预期动作生成时长以及所述文本信息，通过所述预设算法进行处理，确定目标动作视频，其中，所述预期动作生成时长根据所述当前同步时间差确定。2.根据权利要求1所述的语音和动作时间同步的方法，所述将所述文本信息通过预设算法进行处理，获得与所述文本信息对应的初始动作视频，包括：将所述文本信息输入动作识别模型，获取与所述文本信息对应的动作文本；将所述动作文本输入动作编辑模型，获得与所述动作文本对应的初始动作视频。3.根据权利要求2所述的语音和动作时间同步的方法，所述将所述文本信息输入动作识别模型，获取与所述文本信息对应的动作文本，包括：在确定所述当前语音存在前一句历史语音的情况下，确定所述前一句历史语音、与所述前一句历史语音对应的历史动作视频的历史同步时间差；在所述历史同步时间差小于所述预设时间阈值的情况下，将所述文本信息以及所述历史同步时间差输入动作识别模型，获得与所述文本信息对应的动作文本。4.根据权利要求1或3所述的语音和动作时间同步的方法，所述根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差，包括：根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前时间差；根据所述当前时间差、以及历史语音的历史时间差，确定所述当前语音与所述初始动作视频的当前同步时间差，其中，所述历史时间差根据所述历史语音的语音时长、与所述历史语音对应的历史动作视频的动作时长确定。5.根据权利要求4所述的语音和动作时间同步的方法，所述根据所述当前时间差、以及历史语音的历史时间差，确定所述当前语音与所述初始动作视频的当前同步时间差，包括：根据所述当前时间差以及前一句历史语音的历史时间差，确定时间差变化值；根据所述当前时间差、所述历史语音的累计历史时间差、以及所述时间差变化值，确定确定所述当前语音与所述初始动作视频的当前同步时间差。6.根据权利要求1所述的语音和动作时间同步的方法，所述根据预期动作生成时长以及所述文本信息，通过所述预设算法进行处理，确定目标动作视频之前，还包括：根据所述语音时长、动作平均时长、以及所述当前同步时间差，确定预期动作生成时长，其中，所述动作平均时长通过历史动作视频的动作时长、以及所述初始动作视频的动作时长确定。7.根据权利要求1所述的语音和动作时间同步的方法，所述根据预期动作生成时长以
及所述文本信息，通过所述预设算法进行处理，确定目标动作视频之前，还包括：根据所述当前同步时间差、历史语音与所述历史语音对应的历史动作视频的历史同步时间差，确定预期动作生成时长。8.根据权利要求2所述的语音和动...
【专利技术属性】
技术研发人员：祖新星，张家硕，赵中州，韩玉洁，林淼，王琪，吴淑明，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。