基于强化关联的热线事件分拨方法技术

本发明专利技术公开了一种基于强化关联的热线事件分拨方法，首先，通过指针生成网络构建事件画像并得到事件编码。其次，使用基于强化联系的注意力机制来捕获事件编码与“三定”职责拼接向量中的关联信息，得到“事件

【技术实现步骤摘要】
基于强化关联的热线事件分拨方法


[0001]本专利技术涉及一种基于强化关联的热线事件分拨方法。

技术介绍

[0002]近年来，各地政府在推动热线数字化转型中取得了一些成效，但在事件 分派过程中仍然存在问题。话务员对市民诉求分类的准确判断和对各政府部 门职能的深入了解程度决定了事件分拨的质量。然而，市民致电诉求内容长 短不一，大部分以叙事性描述为主，往往存在描述不清，要素不全等问题。 此外，话务员难以在对市民诉求充分理解的基础上从几十个处置部门中挑选 正确的部门完成事件分拨，这就导致了人工事件分拨的准确率不高，甚至造 成大量的二次分拨。随着热线受理事件类型越来越多、数量越来越庞大，单 纯利用热线文本大数据难以实现城市事件的准确分拨，因此，研究一种能够 准确定位事件处置部门的分拨方法具有重要意义。

技术实现思路

[0003]本专利技术的目的是提供一种基于强化关联的热线事件分拨方法，该方法有 助于辅助热线接线员自动完成工单分拨，克服了接线员手工分拨费时费力的 缺陷；同时，为政府提供了数字化、智能化、精细化基层治理的技术基础。
[0004]为了实现上述目的，本专利技术提供了一种基于强化关联的热线事件分拨方 法，该方法包括：
[0005]步骤1、构建事件画像；
[0006]步骤2、嵌入政府部门“三定”信息，包括定职能配置、定内设机构、 定人员编制相关数据，由基于强化联系的注意力机制ARA和部门简介编码 两个部分构成；其中，ARA以事件描述和“三定”职责的拼接为输入，以 得到相应的注意力分布为输出；在完成事件画像后，事件描述被指针生成网 络的编码器转换为不定长度的事件内容语义编码向量V
event
，以V
event
作为事 件描述的输入；
[0007]步骤3、候选答案重排序，对所有“事件
‑
三定”匹配概率使用加权平均 的方式进行重排序以完成部门选择；对于“三定”权重的选择，使用基于事 件先验知识的权重设定方案，针对各部门历史事件进行建模，构建各部门历 史事件匹配概率分布模型，以设定各部门“三定”权重；
[0008]步骤4、输出热线事件分拨部门。
[0009]优选地，步骤1中包括：
[0010]步骤1.1、构建编码器：采用Bi
‑
LSTM网络作为编码器，从前后两个方 向对输入的信息计算，输入候选词序列X＝{x1,x2,...,x
n
}，其中，n为输入序列的 长度；按照顺序先输入到Embedding层，将候选词映射到高维向量上；然后， 再将处理好的序列输入到编码器中，得到每个序列的隐藏状态集合 E＝{e1,e2,...,e
n
}；
[0011]步骤1.2、构建解码器：采用单向LSTM网络作为解码器，解码器的输 入为Y＝{y1,
y2,...,y
m
}，其中，m为解码器输入序列个数；在解码过程中，输入 序列按照顺序先输入到Embedding层，将输入序列映射到高维向量上，得到 每个输入序列的词向量表示；然后，再将处理好的序列输入到解码器中，得 到每个序列的隐藏状态集合D＝{d1,d2,...,d
m
}；将注意力机制用在输入序列上以 使得更重要的信息输入至解码器；同时，引入覆盖机制解决生成重复文本的 问题：
[0012][0013][0014]α
t
＝soft max(u
t
)
ꢀꢀ
(3)
[0015]其中，c
t
是先前时间步的注意力权重叠加后得到的覆盖向量；
[0016]步骤1.3、计算单词表分布：对上下文向量u
t
进行softmax激活函数操 作后，得到的结果视为在输入序列元素上的概率分布，其中，v
T
、W1、W2、 W
c
和b是模型学习参数；在时刻t的输入序列表征为将e
t
和d
t
经 过两个线性层得到单词表分布：
[0017]P
v
(W)＝softmax(V'(V[e
t
,d
t
]+b)+b')
ꢀꢀ
(4)
[0018]权重w
g
的计算方式为：
[0019]w
g
＝σ(W
′1e
t
+W
′2d
t
+W
′3x
t
+b)(5)
[0020]其中，W1′
、W2'、W3'和b是模型学习参数；经过扩充之后的单词表，在 时间步t的词概率分布为：
[0021][0022]优选地，步骤2中包括：
[0023]步骤2.1、拼接“事件
‑
三定”编码：针对“三定”职责输入，采用政务 相关领域知识语料对RoBERTa2RoBERTa模型进行fine
‑
tune，并使用fine
‑
tune 后的模型的编码器对“三定”职责进行编码，得到相应的语义编码向量V
sanding
； 同时，对V
event
和V
sanding
两个向量进行拼接，得到拼接后的“事件
‑
三定”编 码作为注意力层的输入：
[0024]V
concat
＝concat(V
event
,V
sanding
)
ꢀꢀ
(7)；
[0025]步骤2.2、构造注意力矩阵：在注意力层，使用自注意力机制筛选拼接 编码V
concat
中的重要信息：
[0026][0027]α
x
＝softmax(Max(M
es
))
ꢀꢀ
(9)
[0028][0029]其中，为可学习的注意力参数矩阵，d
c
是拼接向量V
concat
的长度，α
x
和α
y
是在两个维度上的联合注意力分布，Max选取矩阵中包含 最大化信息的行或列；为了最大化保留拼接向量中的关联信息，采用 Leaky
‑
ReLU进行注意力矩阵的激活处理：
[0030][0031]由于构成M
es
的两个输入向量相同，因而M
es
矩阵的整体学习目标是更 接近斜对称矩阵，即：
[0032][0033]在生成两个方向上的注意力权重后，将拼接编码和两个注意力权重相乘， 得到在两个方向上的注意力得分向量：
[0034][0035][0036]步骤2.3、对部门简介进行编码：同步骤2.2采用RoBERTa2RoBERTa 模型的编码器部分对部门简介输入部分进行编码，得到相应的语义编码向量 Vdepart；
[0037]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化关联的热线事件分拨方法，其特征在于，所述基于强化关联的热线事件分拨方法包括：步骤1、构建事件画像；步骤2、嵌入政府部门“三定”信息，包括定职能配置、定内设机构、定人员编制相关数据，由基于强化联系的注意力机制ARA和部门简介编码两个部分构成；其中，ARA以事件描述和“三定”职责的拼接为输入，以得到相应的注意力分布为输出；在完成事件画像后，事件描述被指针生成网络的编码器转换为不定长度的事件内容语义编码向量V
event
，以V
event
作为事件描述的输入；步骤3、候选答案重排序，对所有“事件
‑
三定”匹配概率使用加权平均的方式进行重排序以完成部门选择；对于“三定”权重的选择，使用基于事件先验知识的权重设定方案，针对各部门历史事件进行建模，构建各部门历史事件匹配概率分布模型，以设定各部门“三定”权重；步骤4、输出热线事件分拨部门。2.根据权利要求1所述的基于强化关联的热线事件分拨方法，其特征在于，步骤1中包括：步骤1.1、构建编码器：采用Bi
‑
LSTM网络作为编码器，从前后两个方向对输入的信息计算，输入候选词序列X＝{x1,x2,...,x
n
}，其中，n为输入序列的长度；按照顺序先输入到Embedding层，将候选词映射到高维向量上；然后，再将处理好的序列输入到编码器中，得到每个序列的隐藏状态集合E＝{e1,e2,...,e
n
}；步骤1.2、构建解码器：采用单向LSTM网络作为解码器，解码器的输入为Y＝{y1,y2,...,y
m
}，其中，m为解码器输入序列个数；在解码过程中，输入序列按照顺序先输入到Embedding层，将输入序列映射到高维向量上，得到每个输入序列的词向量表示；然后，再将处理好的序列输入到解码器中，得到每个序列的隐藏状态集合D＝{d1,d2,...,d
m
}；将注意力机制用在输入序列上以使得更重要的信息输入至解码器；同时，引入覆盖机制解决生成重复文本的问题：的问题：α
t
＝soft max(u
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，c
t
是先前时间步的注意力权重叠加后得到的覆盖向量；步骤1.3、计算单词表分布：对上下文向量u
t
进行softmax激活函数操作后，得到的结果视为在输入序列元素上的概率分布，其中，v
T
、W1、W2、W
c
和b是模型学习参数；在时刻t的输入序列表征为将e
t
和d
t
经过两个线性层得到单词表分布：P
v
(W)＝softmax(V'(V[e
t
,d
t
]+b)+b')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)权重w
g
的计算方式为：w
g
＝σ(W
′1e
t
+W
′2d
t
+W
′3x
t
+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，W
′1、W2'、W3'和b是模型学习参数；经过扩充之后的单词表，在时间步t的词概率分布为：
3.根据权利要求1所述的基于强化关联的热线事件分拨方法，其特征在于，步骤2中包括：步骤2.1、拼接“事件
‑
三定”编码：针对“三定”职责输入，采用政务相关领域知识语料对RoBERTa2RoBERTa模型进行fine
‑
tune，并使用fine
‑
tune 后的模型的编码器对“三定”职责进行编码，得到相应的语义编码向量V
sanding
；同时，对V

【专利技术属性】
技术研发人员：承孝敏，陈钢，佘祥荣，陈健鹏，
申请(专利权)人：长三角信息智能创新研究院，
类型：发明
国别省市：