数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:24170316 阅读:31 留言:0更新日期:2020-05-16 02:44
本发明专利技术公开了一种数据处理方法、装置、电子设备及存储介质。其中,方法包括:获取待处理数据;对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段;针对所述至少两个语音段中每个语音段,对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别,得到识别结果;并确定与所述识别结果匹配的表情符号;对所述至少两个语音段进行翻译,得到至少两个翻译文本;利用所述至少两个图像段中每个图像段对应的表情符号和所述至少两个翻译文本,生成同传结果;输出所述同传结果;所述同传结果用于在播放所述语音数据时在客户端进行呈现。

Data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术涉及同声传译技术,具体涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
机器同传技术是近些年出现的针对会议、报告等场景的语音翻译产品,其结合自动语音识别技术(ASR,AutomaticSpeechRecognition)技术和机器翻译(MT,MachineTranslation)技术,为演讲者的演讲内容提供多语种的字幕展现,替代人工同传服务。相关机器同传技术中,通常对演讲内容进行翻译,并通过文字进行展示,展示方式较单调,无法提高用户的观看趣味。
技术实现思路
有鉴于此,本专利技术实施例提供一种数据处理方法、装置、电子设备及存储介质。本专利技术实施例的技术方案是这样实现的:本专利技术实施例提供了一种数据处理方法,包括:获取待处理数据;对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段;针对所述至少两个语音段中每个语音段,对所述至少两个图像段中的与相应语音段对应的图本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:/n获取待处理数据;/n对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段;/n针对所述至少两个语音段中每个语音段,对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别,得到识别结果;并确定与所述识别结果匹配的表情符号;/n对所述至少两个语音段进行翻译,得到至少两个翻译文本;/n利用所述至少两个图像段中每个图像段对应的表情符号和所述至少两个翻译文本,生成同传结果;/n输出所述同传结果;所述同传结果用于在播放所述语音数据时在客户端进行呈现。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
获取待处理数据;
对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段;
针对所述至少两个语音段中每个语音段,对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别,得到识别结果;并确定与所述识别结果匹配的表情符号;
对所述至少两个语音段进行翻译,得到至少两个翻译文本;
利用所述至少两个图像段中每个图像段对应的表情符号和所述至少两个翻译文本,生成同传结果;
输出所述同传结果;所述同传结果用于在播放所述语音数据时在客户端进行呈现。


2.根据权利要求1所述的方法,其特征在于,所述对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段,包括:
对所述待处理数据中的语音数据进行识别,得到识别文本;对所述识别文本进行字符识别,得到至少一个字符;
按照所述至少一个字符,确定至少一个时间锚点;
利用所述至少一个时间锚点,对所述待处理数据中的语音数据进行分段处理,得到至少两个语音段;并对所述待处理数据中的图像数据进行分段处理,得到至少两个图像段。


3.根据权利要求2所述的方法,其特征在于,所述对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别,得到识别结果,包括:
对所述至少两个图像段中的与相应语音段对应的图像段进行特征提取,得到第一特征数据;
基于所述第一特征数据,以及面部识别模型,得到用户表情;
将所述用户表情作为所述识别结果。


4.根据权利要求3所述的方法,其特征在于,所述确定与所述识别结果匹配的表情符号,包括:
确定所述识别结果对应的用户表情的第一标识信息;
从数据库中查找与所述第一标识信息对应的表情符号;所述数据库中存储有用户表情的标识信息与表情符号的对应关系;
将查找到的表情符号作为与所述识别结果匹配的表情符号。


5.根据权利要求1至4任一项所...

【专利技术属性】
技术研发人员:宋阳
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1