【技术实现步骤摘要】
机器学习模型训练、对话方法、装置、设备及介质
[0001]本公开涉及信息
，尤其涉及一种机器学习模型训练、对话方法、装置、设备及介质。
技术介绍
[0002]目前，智能客服在一些业务场景下可以与用户进行对话，从而为用户提供业务咨询、业务办理等服务。具体的，智能客服可以通过部署在计算设备例如计算机或计算机集群上的机器学习模型来实现。
[0003]但是，目前的机器学习模型对用户话语理解的精准度不高。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种机器学习模型训练、对话方法、装置、设备及介质，以提高预训练模型对语音信息和文本信息的理解力，从而提高预训练模型对用户话语理解的精准度。
[0005]第一方面，本公开实施例提供一种机器学习模型训练方法，包括：
[0006]获取语音信息、以及所述语音信息对应的文本信息；
[0007]分别对所述文本信息和所述语音信息进行编码，得到文本编码信息和语音编码信息；
[0008]对所述文本编码...
【技术保护点】
【技术特征摘要】
1.一种机器学习模型训练方法，其中，所述方法包括：获取语音信息、以及所述语音信息对应的文本信息；分别对所述文本信息和所述语音信息进行编码，得到文本编码信息和语音编码信息；对所述文本编码信息和所述语音编码信息进行融合处理，得到融合处理后的编码信息；根据所述融合处理后的编码信息中与所述文本信息对应的编码信息，预测所述文本信息中每个文本单元在所述语音信息中对应的时间信息；根据所述预测的时间信息、以及所述文本信息中每个文本单元对应的语音单元在所述语音信息中的位置标注，对第一机器学习模型进行预训练，得到预训练模型。2.根据权利要求1所述的方法，其中，分别对所述文本信息和所述语音信息进行编码，得到文本编码信息和语音编码信息，包括：通过文本编码器对所述文本信息中每个文本单元分别包括的至少一个编码单元进行编码，得到文本编码信息，所述文本编码信息包括各个编码单元的表示向量；通过语音编码器对所述语音信息中的每个语音片段进行编码，得到语音编码信息，所述语音编码信息包括各个语音片段的表示向量。3.根据权利要求2所述的方法，其中，所述融合处理后的编码信息包括所述各个编码单元分别对应的融合表示向量、以及所述各个语音片段分别对应的融合表示向量；根据所述融合处理后的编码信息，预测所述文本信息中每个文本单元在所述语音信息中对应的时间信息，包括：若所述文本单元包括一个编码单元，则根据所述编码单元对应的融合表示向量，预测所述文本单元在所述语音信息中对应的开始时间和结束时间；若所述文本单元包括多个编码单元，则根据所述多个编码单元中第一个编码单元对应的融合表示向量，预测所述文本单元在所述语音信息中对应的开始时间，以及根据所述多个编码单元中最后一个编码单元对应的融合表示向量，预测所述文本单元在所述语音信息中对应的结束时间。4.根据权利要求3所述的方法，其中，根据所述预测的时间信息、以及所述文本信息中每个文本单元对应的语音单元在所述语音信息中的位置标注，对第一机器学习模型进行预训练，包括：根据所述文本单元在所述语音信息中对应的开始时间和结束时间，以及预先标注的所述文本单元对应的语音单元在所述语音信息中的开始位置和结束位置，构建第一损失函数；根据所述第一损失函数，对第一机器学习模型进行预训练。5.根据权利要求4所述的方法，其中，所述第一损失函数包括第一差值和第二差值，所述第一差值是根据所述开始时间和所述开始位置得到的差值，所述第二差值是根据所述结束时间和所述结束位置得到的差值。6.根据权利要求1所述的方法，其中，所述语音信息包括历史语音和当前语音，所述文本信息包括历史文本和当前文本；所述方法还包括：根据所述融合处理后的编码信息，判断所述历史语音和所述当前语音是否匹配，得到
第一判断结果，以...
【专利技术属性】
技术研发人员：林廷恩，余天枢，高浩瑜，杨敏，武玉川，马文涛，黄非，李永彬，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。