文本话术聚类方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，公开了一种文本话术聚类方法、装置、计算机设备及存储介质。所述方法包括：获取待聚类文本数据，将所述待聚类文本数据随机平均分为K组；采用在线贪心算法分别对每组中的文本数据进行组内聚类，得到所述待聚类文本数据的组内聚类结果集；采用在线贪心算法对所述组内聚类结果集中的中心句进行跨组聚类，得到中心句聚类结果集；获取所述中心句聚类结果集的同一聚类簇中各个中心句在所述组内聚类结果集中对应的聚类簇，并将所述聚类簇的聚类成员进行合并，得到所述待聚类文本数据的聚类结果。本申请可以有效提升文本话术的聚类准确度，减少文本话术的聚类耗时，能在合理时间范围内得到优质的聚类结果。果。果。

【技术实现步骤摘要】
文本话术聚类方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，特别是涉及一种文本话术聚类方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着金融科技发展的日趋深化，人们对金融企业的服务的要求越来越高，智慧网点的建设成为了各行网点转型的重点，也成为了各行信息技术数字化转型的某种象征，用以支撑各种金融场景类，如运营、支付、营销等各方面。为了更好地服务于客户，企业都相应的设有客服坐席，客服坐席可以接听客户拨打的人工电话，为客户解决问题。
[0003]用户意图识别是当下智能坐席所面对的重大考验，由于用户意图复杂多变，为了能够准确识别用户意图，需要利用人工在海量的历史对话数据中挖掘标准问句并制定业务上的意图标签，从而训练意图分类模型。在该场景下，可以通过大规模文本和话术聚类算法挖掘出相似的用户话术，减少人工面对海量数据的标注成本。现有技术中，常用的文本话术聚类算法包括k
‑
means、DBSCAN等，现有文本话术聚类算法针对大规模文本存在的不足在于：在海量数据场景下，现有文本话术聚类算法的运行耗时较长。另外，受制于聚类算法的参数、数据质量等因素，现有算法的聚类结果不能保证有效性，试错成本巨大。

技术实现思路

[0004]本申请提供了一种文本话术聚类方法、装置、计算机设备及存储介质，旨在解决现有的文本话术聚类算法存在的运行耗时较长、聚类结果不能保证有效性等技术问题。
[0005]为解决上述技术问题，本申请采用的技术方案为：
[0006]一种文本话术聚类方法，包括：
[0007]获取待聚类文本数据，将所述待聚类文本数据随机平均分为K组；
[0008]采用在线贪心算法分别对每组中的文本数据进行组内聚类，得到所述待聚类文本数据的组内聚类结果集，所述组内聚类结果集中包括各个组的聚类簇列表、每个聚类簇中的聚类成员以及每个聚类簇的中心句；
[0009]采用在线贪心算法对所述组内聚类结果集中的中心句进行跨组聚类，得到中心句聚类结果集；
[0010]获取所述中心句聚类结果集的同一聚类簇中各个中心句在所述组内聚类结果集中对应的聚类簇，并将所述聚类簇的聚类成员进行合并，得到所述待聚类文本数据的聚类结果。
[0011]本申请实施例采取的技术方案还包括：所述获取待聚类文本数据具体为：
[0012]获取坐席与用户的历史对话数据，并根据对话特征对所述历史对话数据进行筛选，得到筛选后的对话数据；所述对话特征包括每通历史对话数据的通话时长、对话轮数、是否成交以及坐席为所述历史对话数据所做的记录；
[0013]采用ASR算法将所述筛选后的对话数据进行语音转换，得到语音转换后的文本数
据；
[0014]采用Bart模型对所述转换后的文本数据进行纠错、加标点以及断句处理，得到待聚类文本数据。
[0015]本申请实施例采取的技术方案还包括：所述将所述待聚类文本数据随机平均分为K组具体为：
[0016]利用RoBERTa模型将所述待聚类文本数据编码为固定维数的句子向量，并按照所述待聚类文本数据的条数将所述编码后的句子向量随机平均分为K组。
[0017]本申请实施例采取的技术方案还包括：所述采用在线贪心算法分别对每组中的文本数据进行组内聚类具体为：
[0018]设定每组中的簇内最大距离d、最大簇数、簇的最小文本数量m以及回流文本的百分比δ，所述回流文本是指在聚类结束后未被分到任何一个簇的文本，回流文本数量不超过组内文本总数量
×
回流文本的百分比；
[0019]初始化每个组中的未聚类文本集合S'＝S，聚类簇列表clusters＝[]；
[0020]判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量，如果大于，从所述未聚类文本集合S'中随机选择一条文本，并计算所述文本与组内其他文本之间的距离，找到与所述文本之间的距离小于聚类簇内最大距离d的文本作为聚类成员，得到聚类文本集合C；
[0021]判断|C|≥m是否成立，如果成立，计算所述聚类文本集合C的簇中心，得到距离簇中心最近的文本text，将所述文本text作为聚类文本集合C的中心句，并在聚类簇列表clusters＝[]中新增二元组(C,text)；
[0022]从所述未聚类文本集合S'中剔除掉聚类文本集合C，并重新执行所述判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量的步骤。
[0023]本申请实施例采取的技术方案还包括：所述判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量之后，还包括：
[0024]如果未聚类文本集合S'的文本数量小于回流文本数量，则收集各个组中的所有回流文本，并重新执行所述初始化每个组中的未聚类文本集合S'的步骤。
[0025]本申请实施例采取的另一技术方案为：一种文本话术聚类装置，包括：
[0026]数据获取模块：用于获取待聚类文本数据，将所述待聚类文本数据随机平均分为K组；
[0027]组内聚类模块：用于采用在线贪心算法分别对每组中的文本数据进行组内聚类，得到所述待聚类文本数据的组内聚类结果集，所述组内聚类结果集中包括各个组的聚类簇列表、每个聚类簇中的聚类成员以及每个聚类簇的中心句；
[0028]跨组聚类模块：用于采用在线贪心算法对所述组内聚类结果集中的中心句进行跨组聚类，得到中心句聚类结果集；
[0029]数据合并模块：用于获取所述中心句聚类结果集的同一聚类簇中各个中心句在所述组内聚类结果集中对应的聚类簇，并将所述聚类簇的聚类成员进行合并，得到所述待聚类文本数据的聚类结果。
[0030]本申请实施例采取的技术方案还包括：所述数据获取模块获取待聚类文本数据具体为：
[0031]获取坐席与用户的历史对话数据，并根据对话特征对所述历史对话数据进行筛选，得到筛选后的对话数据；所述对话特征包括每通历史对话数据的通话时长、对话轮数、是否成交以及坐席为所述历史对话数据所做的记录；采用ASR算法将所述筛选后的对话数据进行语音转换，得到语音转换后的文本数据；采用Bart模型对所述转换后的文本数据进行纠错、加标点以及断句处理，得到待聚类文本数据。
[0032]本申请实施例采取的技术方案还包括：所述组内聚类模块采用在线贪心算法分别对每组中的文本数据进行组内聚类具体为：
[0033]设定每组中的簇内最大距离d、最大簇数、簇的最小文本数量m以及回流文本的百分比δ，所述回流文本是指在聚类结束后未被分到任何一个簇的文本，回流文本数量不超过组内文本总数量
×
回流文本的百分比；
[0034]初始化每个组中的未聚类文本集合S'＝S，聚类簇列表clusters＝[]；
[0035]判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量，如果大于，从所述未聚类文本集合S'中随机选择一条文本，并计算所述文本与组内其他文本之间的距离，找到与所述文本之间的距离小于聚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本话术聚类方法，其特征在于，包括：获取待聚类文本数据，将所述待聚类文本数据随机平均分为K组；采用在线贪心算法分别对每组中的文本数据进行组内聚类，得到所述待聚类文本数据的组内聚类结果集，所述组内聚类结果集中包括各个组的聚类簇列表、每个聚类簇中的聚类成员以及每个聚类簇的中心句；采用在线贪心算法对所述组内聚类结果集中的中心句进行跨组聚类，得到中心句聚类结果集；获取所述中心句聚类结果集的同一聚类簇中各个中心句在所述组内聚类结果集中对应的聚类簇，并将所述聚类簇的聚类成员进行合并，得到所述待聚类文本数据的聚类结果。2.根据权利要求1所述的文本话术聚类方法，其特征在于，所述获取待聚类文本数据具体为：获取坐席与用户的历史对话数据，并根据对话特征对所述历史对话数据进行筛选，得到筛选后的对话数据；所述对话特征包括每通历史对话数据的通话时长、对话轮数、是否成交以及坐席为所述历史对话数据所做的记录；采用ASR算法将所述筛选后的对话数据进行语音转换，得到语音转换后的文本数据；采用Bart模型对所述转换后的文本数据进行纠错、加标点以及断句处理，得到待聚类文本数据。3.根据权利要求2所述的文本话术聚类方法，其特征在于，所述将所述待聚类文本数据随机平均分为K组具体为：利用RoBERTa模型将所述待聚类文本数据编码为固定维数的句子向量，并按照所述待聚类文本数据的条数将所述编码后的句子向量随机平均分为K组。4.根据权利要求1至3任一项所述的文本话术聚类方法，其特征在于，所述采用在线贪心算法分别对每组中的文本数据进行组内聚类具体为：设定每组中的簇内最大距离d、最大簇数、簇的最小文本数量m以及回流文本的百分比δ，所述回流文本是指在聚类结束后未被分到任何一个簇的文本，回流文本数量不超过组内文本总数量
×
回流文本的百分比；初始化每个组中的未聚类文本集合S'＝S，聚类簇列表clusters＝[]；判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量，如果大于，从所述未聚类文本集合S'中随机选择一条文本，并计算所述文本与组内其他文本之间的距离，找到与所述文本之间的距离小于聚类簇内最大距离d的文本作为聚类成员，得到聚类文本集合C；判断C≥m是否成立，如果成立，计算所述聚类文本集合C的簇中心，得到距离簇中心最近的文本text，将所述文本text作为聚类文本集合C的中心句，并在聚类簇列表clusters＝[]中新增二元组(C,text)；从所述未聚类文本集合S'中剔除掉聚类文本集合C，并重新执行所述判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量的步骤。5.根据权利要求4所述的文本话术聚类方法，其特征在于，所述判断每个组中的未聚类文本集合S'的文本数量是否大于回流文本数量之后，还包括：如果未聚类文本集合S'的文本数量小于回流文本数量，则收集各个组中的所有回流文
本，并重新执行所述初始化每个组中的未聚类文本集...

【专利技术属性】
技术研发人员：赖勇铨，陈步闲，龙珊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：