大语言模型结构化生成系统及方法技术方案

本发明专利技术公开了一种大语言模型结构化生成系统及方法，涉及人工智能技术领域，该系统包括：前端，用于接收用户输入的领域特定语言，将领域特定语言转换为后端可识别语言；后端，用于接收后端可识别语言，并将后端可识别语言转换为基础算子，基础算子包括wait算子、write算子和基于wait算子和write算子演变的算子；推理框架，用于接收用户输入的领域特定语言，并将领域特定语言转换为词元ID状态机；词元ID状态机，用于基于词元ID状态机对应的基础算子，约束大语言模型生成内容，以保证大语言模型生成内容符合对应的语法结构，有助于解决现有技术无法实现高效、准确处理复杂大模型结构化需求，存在时间复杂度高、结构化需求描述能力弱及使用门槛高的问题。

【技术实现步骤摘要】

本专利技术涉及人工智能，特别地涉及一种大语言模型结构化生成系统及方法。

技术介绍

1、在自然语言处理领域，大模型结构化生成技术对于提升内容生成的规范性和准确性至关重要，目前，大模型结构化生成原理主要包括在序列生成过程中，算法需要维持词元状态机来跟踪当前时刻所对应的非法词元列表等，以及单步生成时，算法通过某种数据结构及词元状态机确定当前时刻的非法词元列表等，之后将非法词元对应的打分降低到足够小的数，以保证该步生成不会出现非法词元。

2、常见的大语言模型结构化生成框架如outlines和xgrammar；outline采用确定性有限状态机作为词元状态机，单步生成使用列表、张量等数据结构；

3、然而，outlines获取确定性有限状态机的过程极为复杂，需历经多次转换，时间复杂度高达o(n2v)，其中n约为用户输入的正则表达式的字符数量，v为分词器词表大小，实践中v往往远大于n；且outlines基于正则语言的底层描述方式，结构化需求描述能力不足，无法满足如上下文无关文法类的通用结构化需求。

4、xgrammar运用非确定性下推本文档来自技高网...

【技术保护点】

1.一种大语言模型结构化生成系统，其特征在于，包括：

2.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，所述前端在将领域特定语言转换为后端可识别语言时，将编译算法的时间复杂度限定为O(n)，其中，n为领域特定语言的字符数量。

3.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，

4.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，所述大语言模型结构化生成系统还包括词表掩码，所述词表掩码与所述推理框架相互作用，在大模型生成过程中对词表进行筛选或约束。

5.根据权利要求4所述的大语言模型结构化生成系统，其特征在于...

【技术特征摘要】

1.一种大语言模型结构化生成系统，其特征在于，包括：

2.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，所述前端在将领域特定语言转换为后端可识别语言时，将编译算法的时间复杂度限定为o(n)，其中，n为领域特定语言的字符数量。

3.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，

4.根据权利要求1所述的大语言模型结构化生成系统，其特征在于，所述大语言模型结构化生成系统还包括词表掩码，所述词表掩码与所述推理框架相互作用，在大模型生成过程中对词表进行筛选或约束。

5.根据权利要求4所述的大语言模型结构化生成系统，其特征在于，所述wait算子和所述write算子基于所述词表掩码更新当前合法的...

【专利技术属性】
技术研发人员：汪然，任浩，陈刚，
申请(专利权)人：北京深言科技有限责任公司，
类型：发明
国别省市：