基于模糊强化学习的销售语音推送决策方法技术

本发明专利技术公开了基于模糊强化学习的销售语音推送决策方法，将当前语音内容情感量化值在语句模糊变量值阈上的隶属度组成状态空间，将所有推送语音信息组成动作空间；计算当前时刻状态空间中任一状态值执行动作空间中任一动作变量时的回报值；根据Q

【技术实现步骤摘要】
基于模糊强化学习的销售语音推送决策方法


[0001]本专利技术涉及语音营销领域，尤其是涉及基于模糊强化学习的保险销售语音推送决策方法。

技术介绍

[0002]在语音营销领域，常采用智能语音推送技术向客户推送信息以减少人工成本，降低工作强度。但目前成熟的语音推送技术多为单向推送，即语音机器人根据客户的行为习惯，建立信息推送模型，从而决策推送信息。交互式推送功能可以根据客户的回应，进行针对性的信息推动。但目前这种交互式推送的功能十分简单，通常只具备简单的语言识别功能，并根据识别结果，再次向客户提问是否是哪个问题，根据客户的回答“是”、“否”或者数字编号来完成交谈。其智能化水平较低，用户体验差。
[0003]同时，现有的语音推送技术，仅能对用户给出的如“是”、“不是”、“好”等确定性语言给出相应的回应。但如果客户表达的信息式模糊的，如“嗯，我在想想”或者说“嗯，还没有想好”之类带感情色彩，意义模糊话，现有电话语音推送技术就无法得出确定性的结论，进一步完成交谈，用户体验感极差。
[0004]在语音营销领域，各种各样差异性需求的客户常以模糊应答回应语音机器人，仅采用确定性信息来做决策无法有效满足销售行业的特殊需求。如目前保险电话销售行业，先使用语音机器人拨打潜在客户电话，采用自动语音的方式与客户联系，当客户没有关断电话或者听到“好”、“行”等简单的肯定的回答后，就由人工直接介入，继续与客户交流，促成销售成单率。如何在识别客户语音辨识语音频率后，根据客户模糊性的、具有感情色彩的信息反馈，进一步推送合理的语音内容，强化客户的信任感、认同感和价值感，从而提高销售成功率，还尚未由针对客户模糊性的、具有感情色彩的信息反馈的电话语音智能推送功能的产品。

技术实现思路

[0005]本专利技术目的在于提供一种基于模糊强化学习的保险销售语音推送决策方法，解决客户以模糊应答回应语音机器人，无法推送合理语音内容的问题。
[0006]为实现上述目的，本专利技术采取下述技术方案：本专利技术所述的基于模糊强化学习的销售语音推送决策方法，包括以下步骤：S1，根据语句情感量化库，确定当前语音内容的情感量化值y；S2，采用三角隶属度函数确定所述情感量化值在语句模糊变量值阈上的隶属度；S3，所述隶属度组成当前语音内容的状态空间S；S4，将所有推送语音信息组成当前语音内容的动作空间A；S5，计算当前时刻t所述状态空间S中任一状态值s
i
执行所述动作空间A中任一动作变量a
i
时的回报值；S6，根据Q
‑
learning算法，迭代学习得到所述状态空间S中任一状态值s
i
执行所述
动作空间A中任一动作变量a
i
时的Q值；S7，选取最大Q值对应的动作变量a
i
为当前语音内容的推送语音信息。
[0007]本专利技术将识别的语音信息进行情感量化，其结果在建立的情感模糊模型上推理出语音信息在语句模糊变量值阈上的隶属情况。再通过Q表的值和决策算法确定推送的语句，通过多次迭代学习，可使Q值表学习到适应销售语音推送的最优值。
[0008]进一步地，所述语句情感量化库根据历史经验，抽取语句关键词，并语句及关键词评分。
[0009]进一步地，所述语句模糊变量值阈 ,其中分别代表很不高兴、不高兴、一般、高兴、很高兴；的取值范围为进一步地，所述动作空间A中所述所有推送语音信息的编码按照情感等级从低到高排列。
[0010]进一步地，所述回报值计算公式为：；其中为权重因子，表示所述语句模糊变量阈值中和变化的权重。
[0011]进一步地，所述Q值迭代规则为：其中和为学习率，R为当前所述状态空间S中任一状态值s
i
执行所述动作空间A中任一动作变量a
i
后的回报值；为当前所述状态空间S中状态值s
i
执行所述动作空间A中动作变量a
i
后进入下一个状态值s
i
’
执行所述动作空间A中动作变量a
i
的值；max代表取状态值s
i
’
执行所述动作空间A中所有动作变量a
i
的值的最大值。
[0012]进一步地，所述状态值s
i
为所述隶属度除以0.1取整后再乘以0.1。
[0013]本专利技术的优点在于在电话销售过程中，对客户表达信息进行模糊建模，从而确定较为精确的客户需求；同时采用强化学习原理，设计语音推送内容的智能决策方法，针对客户的模糊的语言内容、感情色彩，推送合理的语音内容，提高电话销售的智能化水平，提高语音机器人的智能化水平。
附图说明
[0014]图1是本专利技术所述方法流程图。
[0015]图2是本专利技术所述方法中三角隶属度函数示意图。
具体实施方式
[0016]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]如图1所示，本专利技术所述的基于模糊强化学习的销售语音推送决策方法，包括以下步骤：S1，根据语句情感量化库，确定当前语音内容的情感量化值y；根据销售人员的历史经验，从众多客户语句中抽取语句关键词，并根据销售人员的历史经验，给这些语句及关键词评分。评分范围可为[
‑
1,1]，其中
‑
1表示最大的负面情绪，1表示最大的正面情绪。当前语音内容的情感量化值y参照已经评分的语句或关键词确定。
[0018]S2，采用三角隶属度函数确定所述情感量化值在语句模糊变量值阈上的隶属度；首先根据模糊理论，建立语句模糊变量阈，，其中分别代表很不高兴、不高兴、一般、高兴、很高兴；的取值范围为。如图2所示，的取值范围为，其中的范围为，的范围为，的范围为，的范围为，的范围为。
[0019]采用三角隶属度函数确定S1步中确定的当前语音内容的情感量化值，计算出述情感量化值在语句模糊变量值阈上的隶属度。如当前客户语音内容为“还可以吧”，其情感量化值y=0.8，如图2所示，根据三角隶属度函数确定出该值在5个语句模糊变量值的隶属度为0，0，0，0.1，0.6。
[0020]S3，隶属度和当前语音内容的频率一起组成当前语音内容的状态空间S；状态空间S中的状态变量包括，其中的值分别对应5个语句模糊变量值的隶属度，的值为当前语音内容的频率f。
[0021]S4，将所有推送语音信息组成当前语音内容的动作空间A；动作空间A中所述所有推送语音信息的编码按照情感等级从低到高排列。
[0022]根据销售人员的历史经验，整体所有的N条推送语音信息组成动作空间A，且将每条推送语音信息记为a
i
，其中ｉ为该条推送语音信息的编号，i的取值为1至N之间的整数。所有的N条推送语音信息按照情感等级从低到高的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模糊强化学习的销售语音推送决策方法，其特征在于：包括以下步骤：S1，根据语句情感量化库，确定当前语音内容的情感量化值y；S2，采用三角隶属度函数确定所述情感量化值在语句模糊变量值阈上的隶属度；S3，所述隶属度组成当前语音内容的状态空间S；S4，将所有推送语音信息组成当前语音内容的动作空间A；S5，计算当前时刻t所述状态空间S中任一状态值s
i
执行所述动作空间A中任一动作变量a
i
时的回报值；S6，根据Q
‑
learning算法，迭代学习得到所述状态空间S中任一状态值s
i
执行所述动作空间A中任一动作变量a
i
时的Q值；S7，选取最大Q值对应的动作变量a
i
为当前语音内容的推送语音信息。2.根据权利要求1所述的基于模糊强化学习的销售语音推送决策方法，其特征在于： 所述语句情感量化库根据历史经验，抽取语句关键词，并语句及关键词评分。3.根据权利要求1所述的基于模糊强化学习的销售语音推送决策方法，其特征在于：所述语句模糊变量值阈,其中分别代表很不高兴、不高兴、一般、高兴、很高兴；的取值范围为。4.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：杨艺，贺广涛，
申请(专利权)人：无锡来龙去脉科技有限公司，
类型：发明
国别省市：