一种面向司法公开服务的句子对智能语义匹配方法和装置制造方法及图纸

本发明专利技术公开了一种面向司法公开服务的句子对智能语义匹配方法和装置，属于人工智能、自然语言处理技术领域。本发明专利技术要解决的技术问题为如何捕获更多的语义上下文特征、不同维度间编码信息的联系和句子间的交互信息，以实现面向智能司法公开服务的句子对的智能语义匹配，采用的技术方案为：通过构建并训练由多粒度嵌入模块、时序特征卷积网络构造模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的时序特征卷积表示和语义特征的二维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标。该装置包括句子对语义匹配知识库构建单元、训练数据集生成单元、句子对语义匹配模型构建单元及句子对语义匹配模型训练单元。

【技术实现步骤摘要】
一种面向司法公开服务的句子对智能语义匹配方法和装置
本专利技术涉及人工智能、自然语言处理
，具体涉及一种面向司法公开服务的句子对智能语义匹配方法。
技术介绍
近年来，最高人民法院陆续出台了一系列关于司法公开的制度规定，不断强化落实立案公开、庭审公开、审判结果公开、裁判文书公开和执行过程公开，以公开促公正。为深入推进司法公开，满足人民群众的知情权和参与权，及时答复群众的有关司法公开服务的咨询十分重要。面对日益增长的司法咨询请求，如何快速准确地答复是各级司法机构亟需解决的问题。鉴于司法咨询请求中存在大量的重复咨询，基于句子对语义匹配方法的智能问答系统对于解决这一问题具有很好的前景。智能问答系统是人机交互的核心技术之一，能够针对用户提出的问题自动在问答知识库中找到与之匹配的标准问题，并将标准问题的答案推送给用户，可以大大减轻人工答复的负担。智能问答系统在自助服务、智能客服等领域有着广泛的现实应用。对于用户提出的千差万别的问题，如何为其找到相匹配的标准问题，是智能问答系统的核心技术。该技术的本质是衡量用户提出的司法咨询问题与问答知识库中标准问题的匹配程度，其实质是句子对语义匹配任务。句子对语义匹配任务旨在衡量两个句子所蕴含的语义是否一致，这与许多自然语言处理任务的核心目标是一致的，如前所述面向智能司法公开服务的智能问答系统。自然语言句子的语义匹配度计算是一项极具挑战的工作，现有方法还尚未能完善地解决这一问题。现有方法通常在对句子对的语义进行匹配时，首先需要设计特定的神经网络对句子进行语义编码，以此来提取相应的语义特征。而对于文本语义编码来说，应用最广泛的编码模型为循环神经网络及其各种变种结构。循环神经网络采用链式结构，虽然可以较好地捕获远距离语义特征，但是它对于局部特征的捕获却不充分。这会导致句子中的部分局部语义信息缺失，使得捕获到的语义特征并不完备。此外，由于其链式结构的影响，即后一个时间步的状态取决于前一时间步的运行结果，这导致其执行效率较低。与之相比，卷积神经网络可以有效地捕获局部信息，且有着良好的并行性；但是由于卷积神经网络的卷积核大小是有限的，这导致其所能捕获到的时序特征比较受限。循环神经网络与传统卷积神经网络对于句子语义信息的编码处理均存在一些不可忽视的弊端。
技术实现思路
本专利技术的技术任务是提供一种面向司法公开服务的句子对智能语义匹配方法，来达到充分发挥卷积神经网络的优势，以此捕获更多的语义上下文信息和句子间的交互信息，并通过注意力机制，最终达到对句子对进行智能语义匹配的目的。本专利技术的技术任务是按以下方式实现的，一种面向司法公开服务的句子对智能语义匹配方法，该方法是通过构建并训练由多粒度嵌入模块、时序特征卷积网络构造模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的时序特征卷积表示和语义特征的二维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标；具体如下：多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；时序特征卷积网络构造模块对句子的多粒度嵌入表示进行编码操作，得到句子的时序特征卷积表示；特征转换网络模块对句子对的时序特征卷积表示进行进一步地特征编码、特征匹配和特征筛选操作，得到句子对的匹配向量；标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配度与预设的阈值进行比较，根据比较结果，判定句子对的语义是否匹配。作为优选，所述多粒度嵌入模块用于构建字映射转换表、构建词映射转换表、构建输入模块、构建字向量映射层、构建词向量映射层；其中，构建字映射转换表：映射规则为：以数字1为起始，随后按照每个字被录入字表的顺序依次递增排序，从而形成本专利技术所需的字映射转换表；其中，字表根据句子对语义匹配断字处理知识库构建，该知识库通过对句子对语义匹配知识库的原始数据文本进行断字操作而得；其后，再使用Word2Vec训练字向量模型，得到各字的字向量矩阵；构建词映射转换表：映射规则为：以数字1为起始，随后按照每个词被录入词表的顺序依次递增排序，从而形成本专利技术所需的词映射转换表；其中，词表根据通过句子对语义匹配分词处理知识库构建，该知识库通过对句子对语义匹配知识库的原始数据文本进行分词操作而得；其后，再使用Word2Vec训练此向量模型，得到各词的词向量矩阵；本专利技术将句子对语义匹配断字处理知识库和句子对语义匹配分词处理知识库，统称为句子对语义匹配知识库；构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子断字或分词处理而得，将其形式化为：(sentence1_char,sentence2_char,sentence1_word,sentence2_word)；对于输入句子中的每个字或词都按照字映射转换表和词映射转换表转化为相应的数字标识；构建字向量映射层：加载构建字映射转换表步骤中训练所得的字向量矩阵权重来初始化当前层的权重参数；针对输入句子sentence1_char和sentence2_char，得到其相应句子向量sentence1_char_embed、sentence2_char_embed；句子对语义匹配断字处理知识库中每一个句子都可以通过字向量映射的方式，将句子信息转化为向量形式。构建词向量映射层：加载构建词映射转换表步骤中训练所得的词向量矩阵权重来初始化当前层的权重参数；针对输入句子sentence1_word和sentence2_word，得到其相应句子向量sentence1_word_embed、sentence2_word_embed；句子对语义匹配分词处理知识库中每一个句子都可以通过词向量映射的方式，将句子信息转化为向量形式。更优地，所述时序特征卷积网络构造模块的构建过程具体如下：首先，多粒度嵌入模块输出的字嵌入表示和词嵌入表示在新增的粒度维度上被联接，以得到句子嵌入表示，公式如下：其中，公式(1)表示在新增的粒度维度上联接字嵌入表示和词嵌入表示，表示sentence1_char_embed或sentence2_char_embed，表示sentence1_word_embed或sentence2_word_embed，表示句子嵌入表示。进一步地，第一个卷积结构对句子嵌入表示的第一个时间步信息进行编码操作，以得到时间步一编码结果。具体实施见下述公式。其中，句子嵌入表示为该层输入；公式(2.1)表示第f个卷积核对句子嵌入表示中第一个时间步信息进行卷积后经ReLU函数映射的结果，其中，[1,y]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，j表示卷积区域的纵坐标，mh表示本文档来自技高网...

【技术保护点】
1.一种面向司法公开服务的句子对智能语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、时序特征卷积网络构造模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的时序特征卷积表示和语义特征的二维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标；具体如下：/n多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；/n时序特征卷积网络构造模块对句子的多粒度嵌入表示进行编码操作，得到句子的时序特征卷积表示；/n特征转换网络模块对句子对的时序特征卷积表示进行进一步地特征编码、特征匹配和特征筛选操作，得到句子对的匹配向量；/n标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配度与预设的阈值进行比较，根据比较结果，判定句子对的语义是否匹配。/n

【技术特征摘要】
1.一种面向司法公开服务的句子对智能语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、时序特征卷积网络构造模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的时序特征卷积表示和语义特征的二维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标；具体如下：
多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；
时序特征卷积网络构造模块对句子的多粒度嵌入表示进行编码操作，得到句子的时序特征卷积表示；
特征转换网络模块对句子对的时序特征卷积表示进行进一步地特征编码、特征匹配和特征筛选操作，得到句子对的匹配向量；
标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配度与预设的阈值进行比较，根据比较结果，判定句子对的语义是否匹配。


2.根据权利要求1所述的一种面向司法公开服务的句子对智能语义匹配方法，其特征在于，所述多粒度嵌入模块用于构建字映射转换表、构建词映射转换表、构建输入模块、构建字向量映射层、构建词向量映射层；
其中，构建字映射转换表或词映射转换表：映射规则为：以数字1为起始，随后按照每个字或词被录入字表或词表的顺序依次递增排序，从而形成本发明所需的字映射转换表或词映射转换表；其中，字表或词表根据句子对语义匹配知识库而构建，该知识库包含断字处理知识库或分词处理知识库，分别通过对语义匹配知识库的原始数据文本进行断字预处理或分词预处理操作而得；其后，再使用Word2Vec训练字向量模型或词向量模型，得到各字的字向量矩阵或各词的词向量矩阵；
构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_char,sentence2_char,sentence1_word,sentence2_word)；对于输入句子中的每个字或词都按照字映射转换表和词映射转换表转化为相应的数字标识；
构建字向量映射层或词向量映射层：加载构建字映射转换表或词映射转换表步骤中训练所得的字向量矩阵或词向量矩阵来初始化当前层的权重参数；对于字向量映射，针对输入句子sentence1_char和sentence2_char，得到其相应句子向量sentence1_char_embed、sentence2_char_embed；对于词向量映射，针对输入句子sentence1_word和sentence2_word，得到其相应句子向量sentence1_word_embed、sentence2_word_embed。


3.根据权利要求1或2所述的一种面向司法公开服务的句子对智能语义匹配方法，其特征在于，所述时序特征卷积网络构造模块的构建过程具体如下：
首先，多粒度嵌入模块输出的字嵌入表示和词嵌入表示在新增的粒度维度上被联接，以得到句子嵌入表示，公式如下：



其中，公式(1)表示在新增的粒度维度上联接字嵌入表示和词嵌入表示，表示sentence1_char_embed或sentence2_char_embed，表示sentence1_word_embed或sentence2_word_embed，表示句子嵌入表示；
第一个卷积结构对句子嵌入表示的第一个时间步信息进行编码操作，以得到时间步一编码结果，公式如下：









其中，句子嵌入表示为该层输入；公式(2.1)表示第f个卷积核对句子嵌入表示中第一个时间步信息进行卷积后经ReLU函数映射的结果，其中，[1,y]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，j表示卷积区域的纵坐标，mh表示句子嵌入表示中词嵌入表示的嵌入维度，0:1,j:j+y-1表示卷积区域，表示第f个卷积核的偏置矩阵，表示第f个卷积核在0:1,j:j+y-1区域的卷积结果；公式(2.2)表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果其中，sy表示嵌入维度上的卷积步幅；公式(2.3)表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于句子嵌入表示中第一个时间步信息的最终卷积结果，即称其为时间步一编码结果；
第二个卷积结构对句子嵌入表示的前两个时间步信息进行编码操作，以得到时间步二编码结果，公式如下：









其中，句子嵌入表示为该层输入；公式(3.1)表示第f个卷积核对句子嵌入表示中前两个时间步信息进行卷积后经ReLU函数映射的结果，其中，[2,y]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，j表示卷积区域的纵坐标，mh表示句子嵌入表示中词嵌入表示的嵌入维度，0:2,j:j+y-1表示卷积区域，表示第f个卷积核的偏置矩阵，表示第f个卷积核在0:2,j:j+y-1区域的卷积结果；公式(3.2)表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果其中，sy表示嵌入维度上的卷积步幅；公式(3.3)表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于句子嵌入表示中前两个时间步信息的最终卷积结果，即称其为时间步二编码结果；
第三个卷积结构对句子嵌入表示的前三个词的嵌入信息进行编码操作；以此类推，可得到每一时间步的编码结果，对于第depth个卷积结构，公式如下：









其中，句子嵌入表示为该层输入；公式(4.1)表示第f个卷积核对句子嵌入表示中所有时间步信息进行卷积后经ReLU函数映射的结果，其中，[depth,y]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，j表示卷积区域的纵坐标，mh表示句子嵌入表示中词嵌入表示的嵌入维度，0:depth,j:j+y-1表示卷积区域，表示第f个卷积核的偏置矩阵，表示第f个卷积核在0:depth,j:j+y-1区域的卷积结果；公式(4.2)表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果其中，sy表示嵌入维度上的卷积步幅；公式(4.3)表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于句子嵌入表示中所有时间步信息的最终卷积结果，即称其为时间步depth编码结果；
将上述各个时间步的编码结果进行联接，以得到时序特征卷积编码结果，公式如下：



其中，表示时序特征卷积编码结果。


4.根据权利要求3所述的一种面向司法公开服务的句子对智能语义匹配方法，其特征在于，所述特征转换网络模块的构建过程具体如下：
构建二维卷积语义特征编码层：此层接收时序特征卷积网络构造模块输出的时序特征卷积编码结果作为输入，然后使用二维卷积神经网络对其进行编码操作，从而得到相应的语义特征编码表示，公式如下：









其中，时序特征卷积编码结果该层输入；公式(6.1)表示第f个卷积核对时序特征卷积编码结果的特定区域进行卷积后经ReLU函数映射的结果，其中，[x1,y1]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，i和j表示卷积区域的横坐标和纵坐标，ml和mh表示时序特征卷积编码结果的长和高，i:i+x1-1，j:j+y1-1表示卷积区域，表示第f个卷积核的偏置矩阵，表示第f个卷积核在i:i+x1-1，j:j+y1-1区域的卷积结果；公式(6.2)表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果其中，sx1和sy1表示横向卷积步幅和纵向卷积步幅；公式(6.3)表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于时序特征卷积编码结果的最终卷积结果，即称其为语义特征编码表示；
构建语义特征匹配层：此层首先联接sentence1和sentence2的语义特征编码表示和从而得到句子对联接张量公式如下：



随后，使用另一个二维卷积神经网络对进行卷积匹配处理，从而得到句子对初步匹配张量，公式如下：









其中，句子对联接张量为该层输入；公式(8.1)表示第f个卷积核对句子对联接张量的特定区域进行卷积后经过ReLU函数映射的结果，其中，[x2,y2]表示卷积核的尺寸，表示第f个卷积核的权重矩阵，i和j表示卷积区域的横坐标和纵坐标，rl和rh表示时序特征卷积编码结果的长和高，i:i+x2-1，j:j+y2-1表示卷积区域，表示第f个卷积核的偏置矩阵，表示第f个卷积核在i:i+x2-1，j:j+y2-1区域的卷积结果；公式(8.2)表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果其中，sx2和sy2表示横向卷积步幅和纵向卷积步幅；公式(8.3)表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于句子对联接张量的最终卷积结果，即称其为句子对初步匹配张量；
构建语义特征筛选层：此层接收语义特征匹配层的输出句子对初步匹配张量作为...

【专利技术属性】
技术研发人员：鹿文鹏，于瑞，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37