多模态标点符号添加方法、设备及计算机可读介质技术

本申请实施例提供了一种多模态标点符号添加方法、设备及计算机可读介质，该方案在处理过程中，除了利用识别文本本身包含的文本语义特征之外，还通过合适的方式结合了语音中包含的音频特征，由此实现了多模态的特征信息融合，可以在预测标点符号时进一步利用到实际输入语音中的语气变换、停顿等内在信息，从而有效提升标点符号预测的准确性，从而为识别到的文本语句准确地添加标点符号。

【技术实现步骤摘要】

本申请涉及信息，尤其涉及一种多模态标点符号添加方法、设备及计算机可读介质。

技术介绍

1、语音识别（speech recognition，sr）是指让计算机系统能够识别并理解人类语音中的内容，将语音信号转换为文本信息的技术。但是目前的语音识别技术仅能够识别语音中包含的文本，无法为文本组成的语句准确添加标点符号，往往需要对识别到文本再进行标点符号的预测。目前的标点符号预测方案一般都是基于文本信息来实现，由于仅包含文本这一模态的输入信息，因此预测结果无法利用到实际输入语音中的语气变换、停顿等内在信息，导致标点符号预测的准确性不足，无法在语音识别时为识别到的文本语句准确地添加标点符号。

技术实现思路

1、本申请的一个目的是提供一种多模态标点符号添加方法、设备及计算机可读介质，用以解决现有方案中准确性不足的问题。

2、为实现上述目的，本申请实施例提供了一种多模态标点符号添加方法，所述方法包括：

3、根据输入语音获取对应的语音特征矩阵，并根据识别文本获取对应的文本特征矩阵，所述识别文本为对所述输本文档来自技高网...

【技术保护点】

1.一种多模态标点符号添加方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据输入语音获取对应的语音特征矩阵，包括：

3.根据权利要求1所述的方法，其特征在于，根据识别文本获取对应的文本特征矩阵，包括：

4.根据权利要求1所述的方法，其特征在于，所述语音特征矩阵的形状为（M，Y），所述文本特征矩阵的形状为（N，Y），其中，M与输入语音的长度正相关，N为所述识别文本中的字符数量，Y为特征的嵌入维度；

5.根据权利要求4所述的方法，其特征在于，利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特...

【技术特征摘要】

1.一种多模态标点符号添加方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据输入语音获取对应的语音特征矩阵，包括：

3.根据权利要求1所述的方法，其特征在于，根据识别文本获取对应的文本特征矩阵，包括：

4.根据权利要求1所述的方法，其特征在于，所述语音特征矩阵的形状为（m，y），所述文本特征矩阵的形状为（n，y），其中，m与输入语音的长度正相关，n为所述识别文本中的字符数量，y为特征的嵌入维度；

5.根据权利要求4所述的方法，其特征在于，利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特征矩阵，包括：

6.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：刘玉龙，孔欧，刘益东，
申请(专利权)人：上海蜜度科技股份有限公司，
类型：发明
国别省市：