一种应用大语言模型赋能AI智能质检的快速实施方法技术

本发明专利技术公开了一种应用大语言模型赋能AI智能质检的快速实施方法，所述方法包括如下步骤：先确定质检范围，明确质检对象以及质检项；确定质检项后将质检项拆分为原子质检项；然后进行prompt的构建；构建prompt后，进行大模型调用，将prompt作为大模型的输入，通过接口调用得到每个原子质检项的结果，从而实现原子质检结果的收集；对收集的质检结果进行映射，通过调用原子质检项和业务质检项的映射关系，将大模型或者集成后的结果映射到业务质检项，并计算质检项的得分备用；对质检结果进行输出和展示。对于大部分场景，使用默认的配置即可很好执行过程。对于特殊场景，可自由定制。因此大大提高了质检的开发效率。大提高了质检的开发效率。大提高了质检的开发效率。

【技术实现步骤摘要】
一种应用大语言模型赋能AI智能质检的快速实施方法


[0001]本专利技术涉及智能质检
，尤其是一种应用大语言模型赋能AI智能质检的快速实施方法。

技术介绍

[0002]质检指的是通过对电话沟通过程发生的对话进行分析和检验的过程，该对话通常发生在一个销售人员和一个客户之间。一个完整的对话过程也称为一个会话。
[0003]质检分成几个组成部分：质检项(也称业务质检项)，质检对象，质检规则。质检项指的是质检的具体内容，比如：自我介绍、购车意向判定等。一个质检过程通常会包含一组质检项。质检对象可以是销售人员、客户或者一组满足特定条件(比如相同地区)的销售群或者客户群。质检规则指的是针对某个质检项和某个质检对象的具体规则。比如，自我介绍的质检规则是：销售人员是否主动介绍了自己的店铺名称或者品牌名称。
[0004]从专业的角度解释，质检就是针对特定场景下、特定质检对象、应用特定质检规则进行各个质检项的合法性检验的过程。一般来说，各个质检项代表不同维度的检验标准，最终会形成所谓的质检对象打分。业务方可以根据得到的不同维度的打分对质检对象进行考核，以确定该质检对象的服务水平。
[0005]智能质检指的是所有质检过程通过自动化方式进行，而非人工质检的方式。
[0006]传统智能质检主要采用的是关键词和话术结合的识别技术进行实施，笼统地讲，在参与对象上来说，质检过程需要两方的密切参与：
[0007]第一，业务人员：
[0008]1).业务人员确定质检项和质检范围；
[0009]2).业务人员收集每个质检项对应的质检规则的关键词和话术；
[0010]3).业务方根据算法吐出结果，结合实际质检对象进行统计和展示。
[0011]第二，算法人员：
[0012]1).算法人员需要将这些关键词和话术转换为算法的逻辑运算规则；
[0013]2).算法人员设计算法对这些关键词和话术进行识别；
[0014]3).算法人员收集关键词和话术识别的结果；
[0015]4).算法人员利用逻辑运算规则进行计算，产生的结果就是最终的质检项命中结果；结果吐出给业务方。
[0016]从流程上来说，通常需要遵循以下的步骤：
[0017]1).专业的业务人员明确质检的质检规则、并准备好相应的关键词词表和话术，作为种子数据；
[0018]2).算法人员需要对这些关键词和话术进行可行性评估，划分好关键词和话术的界限；
[0019]3).对于常见的话术，可以通过收集相同类型的话术作为标注数据，进行意图的分类，在质检过程中，可以利用意图作为分支控制的条件；
[0020]4).算法人员将这些质检规则进行分解、分析，首先将质检规则化成程序方便处理的原子粒度项，然后设计将原子粒度项进行运算映射成质检项的逻辑；
[0021]5).设计算法对关键词进行识别，并利用意图和话术识别技术对话术进行识别；
[0022]6).为提高泛化能力，算法人员会根据上述种子数据进行词表扩展和识别扩展；
[0023]7).扩展主要采用的相似性计算方法，比如语义相似度和字面相似度等；
[0024]8).如果有关键词或话术的修改，都需要重新评估修改的可行性，并按照之前的流程重新进行适配。
[0025]9).得到识别的关键词和话术项结果后，应用运算逻辑，将结果加工成质检项的命中结果；
[0026]10).结果吐出和分析展示。
[0027]根据具体的业务场景，处理的流程可能会摘取部分步骤执行。
[0028]传统的智能质检主要依赖于关键词词表和话术的收集，因此非常容易遇到以下的问题：
[0029](1)关键词表达的准确性挑战。关键词表的收集需要业务人员对质检发生的场景有足够的理解能力和抽象能力，并且要进行足够的分析，否则容易出现不匹配的情况。
[0030](2)漏召回的风险。某些关键词的描述方式是多样化的，表达的意思确是相同的，一旦没有收集全面，容易出现漏召回的情况。
[0031](3)上下文处理的挑战。有些关键词在不同场景下表的意思是不相同的，需要结合上下文信息进行处理。比如，同样表达“不考虑”的否定，否定的对象却是不一样的，第一个场景是没有购车意向的，二第二个场景是有购车意向的：
[0032]场景1：
[0033]A：请问您有最近考虑购车吗？
[0034]B：不考虑
[0035]场景2：
[0036]A：您考虑哪吒吗？
[0037]B：不考虑
[0038]A：那蔚来呢？
[0039]B：嗯，这个可以。
[0040]如果上下文的场景过于复杂，处理逻辑就会变得很复杂，并且容易出现判断失误。
[0041](4)某些业务规则的实现成本很高，泛化能力差。比如购车意向的判断。用户表达了什么样的信息才算明确的购车意向，需要业务人员根据自己的场景理解制定严格的限制规则。比如，一个购车意愿的判定规则可能是同时满足以下四个规则条件：
[0042]A.客户进行了价格咨询；
[0043]B.客户询问了具体的配置信息；
[0044]C.用户如果咨询了有无库存；
[0045]D.表达了明确的到店的意向。
[0046]实际场景中，如果用户只提到了其中三个信息，是否应该算作有购车意向？很多时候需要具体问题具体分析的。
[0047]再如，如果其中一个条件制定并不合理，需要修改，则需要进行从业务方到算法底
层全链路的修改，修改的成本非常大。
[0048](5)传统质检规则的逻辑转换成本高。传统的质检方法需要把业务的要求通过各种途径转换成算法的描述形式。业务人员确定了详细的业务规则，算法人员需要根据这些规则，转换成各种条件的逻辑运算。还是以购车意向举例：业务方制定了A,B,C,D4个规则条件，算法人员需要在对话中判断这四个条件的命中情况，然后判断是否这四个条件是否同时满足(AandBandCand D，与操作)。一旦业务规则比较复杂，可能会出现更复杂的运算形式，比如Not操作(非操作)，or(非操作)操作等。这个过程需要算法人员充分了解业务规则的制定过程，并且将每一个质检项化成这种条件运算的形式。这个过程要求既要了解业务，又要有底层实施的经验。这对算法人员的要求相对较高，而很多算法人员是欠缺这样的能力的。
[0049]总的来说，传统质检整个实施过程存在开发周期长、泛化能力差、修改流程繁琐、实施复杂、对业务和算法人员要求过高等缺点。因此，针对上述问题提出了一种应用大语言模型赋能AI智能质检的快速实施方法。

技术实现思路

[0050]本专利技术的目的在于提供一种应用大语言模型赋能AI智能质检的快速实施方法，提升了质检的开发效率，解决了现在的传统技术手段没有对语言形成真正的理解能力，所有的环节都需要人为去构建所谓的理解能力，并没有形成人的理解能力和背景知识，因此也没有达到真正意义上的智能的问题。
...

【技术保护点】

【技术特征摘要】
1.一种应用大语言模型赋能AI智能质检的快速实施方法，其特征在于：所述方法包括如下步骤：先确定质检范围，明确质检对象以及质检项；确定质检项后将质检项拆分为原子质检项；然后进行prompt的构建；构建prompt后，进行大模型调用，将prompt作为大模型的输入，通过接口调用得到每个原子质检项的结果，从而实现原子质检结果的收集；对收集的质检结果进行映射，通过调用原子质检项和业务质检项的映射关系，将大模型或者集成后的结果映射到业务质检项，并计算质检项的得分备用；对质检结果进行输出和展示。2.根据权利要求1所述的一种应用大语言模型赋能AI智能质检的快速实施方法，其特征在于：质检范围的确定包括质检项和质检对象的选择，质检项作用在单条对话数据上，常见的质检项可能包含但不限于：流程规范、专业应答、服务态度、邀约结果，质检项分多个层次。3.根据权利要求2所述的一种应用大语言模型赋能AI智能质检的快速实施方法，其特征在于：质检对象用来确认对话数据的来源和范围。4.根据权利要求1所述的一种应用大语言模型赋能AI智能质检的快速实施方法，其特征在于：质检项是业务质检项，指的是对外部客户输出的质检项明细，质检的最终目标是输出这些...

【专利技术属性】
技术研发人员：臧姗姗，史立华，
申请(专利权)人：北京比特易湃信息技术有限公司，
类型：发明
国别省市：