【技术实现步骤摘要】
本专利技术属于军事安全，尤其涉及一种基于大语言模型适用于机器翻译的句子切分方法及装置。
技术介绍
1、句子切分在机器翻译中一般是需要最先进行的处理工作，通常句子切分采用一种以标点符号作为切分标识的基于规则的切分方法，这种方法具有速度快，准确率高的优势。但是对于机器翻译经常会遇到不确定输入的场景时，这种基于规则的切分方法往往会产生许多问题。
2、例如在机器翻译的训练过程中，往往会把输入输出的句子限制在一个长度确定的范围内，例如1100个单词，在这种情况下，超过100个单词的句子就不会加入到训练中去，这样做，一方面是为了减小输入的长度，将模型维持在一个合适的规模。另一方面可以有效的控制解码的速度，将翻译时间控制在一个合理的范围。而在实际使用的过程中，尤其是面临互联网用户的输入时，会有许多的不规范输入，例如输入代码片段、url、文件路径、非目标语种字符、哈希码、超长的无符号文本等等，在这种情况下，传统的基于规则的句子切分方法就无法做到有效切分，这个时候，就需要采用一种更加有效的切分方法。
技术实现思路<
本文档来自技高网...
【技术保护点】
1.一种基于大语言模型适用于机器翻译的句子切分方法，其特征在于，该方法包括：
2.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述S1中训练方法为选定开源的大语言模型进行LoRA微调。
3.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述微调的模板为：
4.如权利要求3所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述X词的数值为机器翻译模型训练过程中设置的训练数据最大长度。
5.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，...
【技术特征摘要】
1.一种基于大语言模型适用于机器翻译的句子切分方法，其特征在于，该方法包括：
2.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述s1中训练方法为选定开源的大语言模型进行lora微调。
3.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述微调的模板为：
4.如权利要求3所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述x词的数值为机器翻译模型训练过程中设置的训练数据最大长度。
5.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述s1具体包括：
6.如权利要求1所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述s2具体包括：
7.如权利要求2所述基于大语言模型适用于机器翻译的句子切分方法，其特征在于，所述lora微调算法...
【专利技术属性】
技术研发人员：宗浩，贝超，苑聪虎，刘欢，陈文涛，
申请(专利权)人：中译语通科技昆明有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。