语音翻译方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种语音翻译方法、装置、设备及存储介。本方法通过对输入的语音信号，进行识别判断，积累至少一个所述实义要素形成判断单元，基于BERT分类模型和判断单元得到实义单元，再对所述实义单元进行分段，形成目标词段；最后基于Transformer翻译模型，对所述目标词段进行翻译并输出。采用本方案大大缩短了需翻译句子的长度，避免长句中语义以及语句成份复杂带来的翻译问题，提升了翻译的准确度；同时，语音的输入、目标词段的形成以及翻译可以同步进行，提高了翻译速度。提高了翻译速度。提高了翻译速度。

【技术实现步骤摘要】
语音翻译方法、装置、设备及存储介质


[0001]本申请实施例涉及但不限于人工智能领域，尤其涉及一种语音翻译方法、装置、设备及 计算机可读存储介质。

技术介绍

[0002]机器翻译是一种借助程序将一种自然语言翻译成另一种自然语言的技术，该技术在各行 各业已被广泛应用。机器翻译已经从早期基于规则技术发展到现在利用神经网络技术。目前 机器翻译应用在书面翻译时效果较好，基本满足达到高准确度和低时延的要求。但应用在语 音翻译如同声传译时，效果欠佳，翻译准确度和时延均有待改善。

技术实现思路

[0003]本申请实施例提供了一种语音翻译方法、装置、设备及计算机可读存储介质，通过对输 入的语音信号直接进行源文本分段，并同步翻译，进而达到缩短时延的效果。
[0004]第一方面，本申请的实施例提供了一种语音翻译方法，包括：获取源语音信号，识别所 述源语音信号中的实义要素；顺序积累至少一个所述实义要素形成判断单元；基于BERT分类 模型，计算所述判断单元在预设分类结果条件下的概率值；若所述概率值大于第一阈值，则 所述判断单元为实义单元；对所述实义单元进行分段，形成目标词段；基于Transformer翻 译模型，对所述目标词段进行翻译并输出。其中，所述实义要素至少为以下任意之一：单字、 单词、短语或成语。。本实施例提供的方法通过直接获取并积累待翻译语音信号中识别的实 义要素，如单词，当积累的单词满足构成具有完整且清晰释义的词段时，获取该词段为实义 单元，对实义单元进行分段、翻译输出极大的简化了翻译流程，有效的减少了翻译所需的时 间，缩短时延；而且获取语音信号、实义单元获取分段和翻译三个过程是同步进行，进一步 缩短了时延。
[0005]第二方面，本申请的实施例提供了一种语音翻译装置，其特征在于，包括：语音识别模 块，用于获取源语音信号，识别源语音信号中的实义要素；实义单元获取模块，用于顺序积 累至少一个所述实义要素形成判断单元，基于bert分类模型，计算所述判断单元在预设分类 结果条件下的概率值，并选取概率值大于第一阈值的判断单元作为实义单元；分段模块，用 于对所述实义单元进行分段，形成目标词段；翻译模块，用于接收目标词段，翻译并输出所 述实义要素至少为以下任意之一：单字、单词、短语或成语。
[0006]第三方面，本申请的实施例提供了一种电子设备，所述设备包括处理器、存储器，以及 一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执 行，所述程序包括用于执行如第一所述的方法。
[0007]第四方面，本申请的实施例提供了一种计算机可读存储介质，其特征在于，存储有处理 器可运行的程序指令，所述程序指令用于执行如第一所述的方法。
[0008]本申请实施例通过对输入的语音信号，进行识别判断，积累至少一个所述实义要素形成 判断单元，基于BERT分类模型和判断单元得到实义单元，再对所述实义单元进行分
段，形成 目标词段；最后基于Transformer翻译模型，对所述目标词段进行翻译并输出。采用本方案 大大缩短了需翻译句子的长度，避免长句中语义以及语句成份复杂带来的翻译问题，提升了 翻译的准确度；同时，语音的输入、目标词段的形成以及翻译可以同步进行，提高了翻译速 度。
[0009]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而 易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书 以及附图中所特别指出的结构来实现和获得。
附图说明
[0010]图1为本申请实施例提供的语音翻译方法的流程示意图；
[0011]图2为本申请实施例涉及的实义单元获得过程的流程示意图；
[0012]图3为本申请实施例涉及基于BERT模型的的判断单元分类结果示意图；
[0013]图4为本申请实施例涉及的实义单元概率判断的BERT模型示意图；
[0014]图5为本申请实施例涉及的实义单元分段的流程示意图；图6是本申请实施例涉及的实义单元分段的示意图；
[0015]图7
‑
9为本申请实施例涉及的实义单元分段步骤的模型示意图；
[0016]图10为本申请实施例语音翻译方法同步工作的示意图。
具体实施方式
[0017]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申 请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于 限定本申请。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0018]说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象， 而不必用于描述特定的顺序或先后次序。需要理解的是，如果涉及到方位描述，例如上、下、 前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于 描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定 的方位构造和操作，因此不能理解为对本申请的限制。
[0019]需要说明的是，至少一个的含义是一个或者多个，多个的含义是两个以上，大于、小于、 超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二 只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的 技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0020]随着翻译技术的进一步发展以及人们需求的不断变化，当下人们对机器翻译的研究方向 也从书面翻译逐步转向语音翻译。目前语音翻译技术在短句的应用上效果较好，翻译准确度 和时延基本能满足需求。但当应用到同声传译时，由于句子长度的增加，句子中所包含的重 要信息的增加以及语句成份复杂度的提高，导致语音翻译准确度降低、时延长。
[0021]对此，本申请提出了一种语音翻译方法，至少包括：
[0022]获取源语音信号，识别源语音信号中的实义要素。
[0023]在一些实施例中，源语音信号即待翻译的语音信号；源语音信号可以是汉语、英语、法 语、西班牙语、俄语等通用语种，也可以是粤语、日语、波兰语、印尼语等其它语种。
[0024]在一些实施例中，实义要素可以为：语句中的单字、字符、单词、短语或成语等。
[0025]顺序积累至少一个实义要素形成判断单元。
[0026]在一些实施例中，这些判断单元经过判断后，会分成两类，即实义单元与非实义单元， 对实义单元可以进行分段进而翻译输出，对非实义单元需要进一步积累，最终形成实义单元。 实义单元为具有完整且清晰释义的词段或短句；即实义单元是由“单字、字符、单词、短语 或成语”等语句信息，组成的具有完整且清晰释义的词段或短句，通过形成实义单元，语音 翻译的准确度能够得到大幅提升。
[0027]在另一些实施例中，实义单元可以不受后续识别的实义要素影响其释义内容，也可以不 影响其它实义单元的释义。由于每一实义单元之间不相互影响其释义，同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音翻译方法，包括：获取源语音信号，识别所述源语音信号中的实义要素；顺序积累至少一个所述实义要素形成判断单元；基于BERT分类模型，计算所述判断单元在预设分类结果条件下的概率值；若所述概率值大于第一阈值，则所述判断单元为实义单元；对所述实义单元进行分段，形成目标词段；基于Transformer翻译模型，对所述目标词段进行翻译并输出。2.根据权利要求1所述的语音翻译方法，其特征在于，所述基于BERT分类模型，计算所述判断单元在确定分类结果条件下的概率值，包括：顺序积累未进入所述判断单元的所述实义要素，形成预备单元，其中，预备单元包括至少一个实义要素；基于BERT分类模型，输入所述判断单元与所述预备单元，计算所述判断单元在分类结果为实义单元条件下的概率值。3.根据权利要求1所述的语音翻译方法，其特征在于，所述对所述实义单元进行分段，形成目标词段，包括：获取当前所述实义单元中每个实义要素的注意力值，并判断所述注意力值最大的实义要素所出现的位置，其中，所述注意力值通过注意力机制模型获得；若所述注意力值最大的实义要素出现在所述实义单元的预设位置，则对所述实义单元进行分段，形成目标词段。4.根据权利要求1所述的语音翻译方法，其特征在于，所述对所述实义单元进行分段，形成目标词段，包括：获取当前所述实义单元中每个实义要素的注意力值，并判断所述注意力值最大的实义要素所出现的位置，其中，所述注意力值通过注意力机制模型获得；若所述注意力值最大的实义要素出现在当前所述实义单元的非预设位置，则对当前所述实义单元进行扩展；获取扩展后的实义单元中每个所述实义要素的注意力值，并判断注意力值最大的所述单词所出现的位置，直至所述注意...

【专利技术属性】
技术研发人员：于凤英，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：