基于海量问题的知识库构建方法、电子装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于海量问题的知识库构建方法，属于知识库构建领域。一种基于海量问题的知识库构建方法，包括如下步骤：S1、问题预处理；S2、文本降维；S3、聚类实现；S4、知识库构建。本发明专利技术实现了海量问题的自动聚类，避免了人工整理海量问题耗费大量成本的问题，对经过自动聚类形成的同类问题，人工只需解答一次形成标准问题‑答案对即可，然后将同类问题与标准问题‑答案对关联后保存到知识库中，后续再碰到类似问题，就可以由智能客服代替人工客服进行解答，大大减少人工客服解答问题的工作量。

【技术实现步骤摘要】
基于海量问题的知识库构建方法、电子装置及存储介质
本专利技术涉及知识库构建领域，涉及一种基于海量问题的知识库构建方法、电子装置及存储介质。
技术介绍
随着互联网的飞速发展，人们服务意识的提高，网络客服已经普及到各行各业，深入到日常商业服务的各个环节。目前，常见的网络客户有智能客服机器人、留言平台等，相较于传统的客服方式，这些客服可以全天候服务，分流人工客服负担，从而有效降低企业客服领域的运营成本。但是随之而来也产生了很多无法解答的新问题，这些问题杂乱无章，数量可达几千上万条，如果要对这些问题一一作答，只能通过人工一条条查看并解答，耗时巨大，效率也不高。而且其中很多问题的意思都是相似的，而答案也都是一样，但是由于没有很好的归类，无法进行集中统一解答。因此，现在急需对这些杂乱无章的问题进行快速分类，以减少人工解答问题的工作量。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中无法很好地对杂乱无章的海量问题进行集中处理的问题，提出了一种基于海量问题的知识库构建方法、电子装置及存储介质，通过将杂乱无章的海量问题进行归类，方便问题和相应答案的关联整理后维护进知识库，以实现使用智能客服机器人代替人工客服对这些问题进行解答。本专利技术是通过下述技术方案来解决上述技术问题：一种基于海量问题的知识库构建方法，包括如下步骤：S1、问题预处理：将原始问题拆分为若干关键词组成的词序列；S2、文本降维：将每个预处理后的问题作为一个文本，利用主题模型算法进行文本降维，用多个主题分布来表示每个文本；S3、聚类实现：采用K-means聚类算法对降维后的文本进行分类，对应不同的类别将文本保存到不同的簇并输出；S4、知识库构建：将所有文本还原为原始问题，并将属于同一簇中的原始问题关联同一个标准问题-答案对后保存到知识库中。优选地，步骤S1之前还包括：S0、问题的搜集：将各种平台上历史记录中未回答的问题按统一格式保存到一个文件中。优选地，步骤S1具体包括以下分步骤：S11、将问题拆分成由若干个词组成的词序列；S12、将词序列中的停用词去掉；S13、保存仅包含有关键词的关键词序列。优选地，步骤3具体包括以下分步骤：S30、预设循环次数的上限和与所述循环次数相对应的若干呈递进关系的判断阈值，所述循环次数初始值为1；S31、将所有文本预设为一个当前簇；S32、随机获取当前簇中的多个文本中的一个文本作为质心文本，并将该质心文本从前簇中删除；S33、计算当前簇中其余文本与该质心文本之间的匹配值，取出所有匹配值大于当前循环次数对应的判断阈值的文本和质心文本保存到一个新簇中；S34、判断当前簇中是否还有剩余文本未保存到新簇中，若是则执行步骤S32，若否则执行步骤S35；S35、判断是否还有与当前簇属于同一循环的簇中还有文本，若是则执行步骤S36，若否则执行步骤S37；S36、将当前簇重置为该还有文本的簇后执行步骤S32；S37、判断循环次数是否达到上限，若是则执行步骤S39，若否则执行步骤S38；S38、循环次数加1，将当前簇重置为若干新簇中的一个新簇，执行步骤S32；S39、输出所有新簇。优选地，分步骤S33具体包括以下子步骤：S331、获取当前簇中其余文本中的首个文本作为当前比对文本；S332、将当前比对文本中的关键词与所述质心文本中的关键词进行匹配，并根据匹配规则计算出匹配值；S333、判断匹配值是否大于当前循环次数对应的判断阈值，若是则执行步骤S334，若否则执行步骤S331；S334、将该当前比对文本取出暂存，并将该当前比对文本从当前簇中删除；S335、判断当前比对文本是否为当前簇中其余文本中的最后一个文本，若是则执行步骤S337，若否则执行步骤S336；S336、将当前比对文本之后的文本重置为新的当前比对文本，执行步骤S332；S337、将暂存的文本与质心文本保存到一个新簇中。优选地，步骤S4之前还包括：S4’、参数调整，具体包括以下分步骤：S41’、检查输出的新簇是否符合归类标准，若不符合则执行步骤S42’，若符合则结束。S42’、调整所述循环次数的上限和与所述循环次数相对应的若干呈递进关系的判断阈值，并重新执行步骤S31。优选地，所述匹配规则为：将所有关键词划分为专业名词、普通名词和动词三类词，分别给三类词的匹配分配不同的权重，所述权重从大到小依次为专业名词、普通名词和动词。优选地，步骤S4具体包括以下分步骤：S41、获取首个新簇作为当前簇；S42、将当前簇中的文本还原为原始问题；S43、将各个原始问题与同一个标准问题-答案对关联保存到知识库中；S44、判断当前簇是否为最后一个新簇，若是则结束，若否则执行步骤S45；S45、将当前簇重置为当前簇之后的一个新簇，执行步骤S42。一种电子装置，包括存储器和处理器，所述存储器上存储有可被所述处理器执行的基于海量问题的知识库构建系统，所述基于海量问题的知识库构建系统包括：预处理模块，用于将原始问题拆分为若干关键词组成的词序列；降维模块，利用主题模型算法进行文本降维；聚类模块，采用K-means聚类算法对降维后的文本进行分类，且对应不同的类别将文本保存到不同的簇并输出；知识库构建模块，用于将所有文本还原为原始问题，并将属于同一簇中的原始问题关联同一个标准问题-答案对后保存到知识库中。一种计算机可读存储介质，所述计算机可读存储介质内存储有基于海量问题的知识库构建系统，所述基于海量问题的知识库构建系统可被至少一个处理器所执行，以使所述至少一个处理器执行如前述任一项所述的基于海量问题的知识库构建方法的步骤。本专利技术的积极进步效果在于：本专利技术实现了海量问题的自动聚类，避免了人工整理海量问题耗费大量成本的问题，对经过自动聚类形成的同类问题，人工只需解答一次形成标准问题-答案对即可，然后将同类问题与标准问题-答案对关联后保存到知识库中，后续再碰到类似问题，就可以由智能客服代替人工客服进行解答，大大减少人工客服解答问题的工作量。附图说明图1示出了本专利技术电子装置一实施例的硬件架构示意图；图2示出了本专利技术电子装置中基于海量问题的知识库构建系统一实施例的程序模块示意图；图3示出了本专利技术基于海量问题的知识库构建方法实施例一的流程图；图4示出了本专利技术基于海量问题的知识库构建方法实施例二中问题预处理的流程图；图5示出了本专利技术基于海量问题的知识库构建方法实施例三中聚类实现的流程图；图6示出了本专利技术基于海量问题的知识库构建方法实施例四中聚类实现的流程图；图7示出了本专利技术基于海量问题的知识库构建方法实施例五中文本匹配的流程图；图8示出了本专利技术基于海量问题的知识库构建方法实施例六中知识库构建的流程图。具体实施方式下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。首先，本专利技术提出了一种电子装置。参阅图1所示，是本专利技术电子装置一实施例的硬件架构示意图。本实施例中，所述电子装置2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述电子装置2至少包括，但不限于，可通过系统总线相互通信连接存储器21本文档来自技高网...

【技术保护点】
一种基于海量问题的知识库构建方法，其特征在于，包括如下步骤：S1、问题预处理：将原始问题拆分为若干关键词组成的词序列；S2、文本降维：将每个预处理后的问题作为一个文本，利用主题模型算法进行文本降维，用多个主题分布来表示每个文本；S3、聚类实现：采用K‑means聚类算法对降维后的文本进行分类，对应不同的类别将文本保存到不同的簇并输出；S4、知识库构建：将所有文本还原为原始问题，并将属于同一簇中的原始问题关联同一个标准问题‑答案对后保存到知识库中。

【技术特征摘要】
1.一种基于海量问题的知识库构建方法，其特征在于，包括如下步骤：S1、问题预处理：将原始问题拆分为若干关键词组成的词序列；S2、文本降维：将每个预处理后的问题作为一个文本，利用主题模型算法进行文本降维，用多个主题分布来表示每个文本；S3、聚类实现：采用K-means聚类算法对降维后的文本进行分类，对应不同的类别将文本保存到不同的簇并输出；S4、知识库构建：将所有文本还原为原始问题，并将属于同一簇中的原始问题关联同一个标准问题-答案对后保存到知识库中。2.根据权利要求1所述的基于海量问题的知识库构建方法，其特征在于，步骤S1之前还包括：S0、问题的搜集：将各种平台上历史记录中未回答的问题按统一格式保存到一个文件中。3.根据权利要求1所述的基于海量问题的知识库构建方法，其特征在于，步骤S1具体包括以下分步骤：S11、将问题拆分成由若干个词组成的词序列；S12、将词序列中的停用词去掉；S13、保存仅包含有关键词的关键词序列。4.根据权利要求1-3中任一项所述的基于海量问题的知识库构建方法，其特征在于，步骤3具体包括以下分步骤：S30、预设循环次数的上限和与所述循环次数相对应的若干呈递进关系的判断阈值，所述循环次数初始值为1；S31、将所有文本预设为一个当前簇；S32、随机获取当前簇中的多个文本中的一个文本作为质心文本，并将该质心文本从前簇中删除；S33、计算当前簇中其余文本与该质心文本之间的匹配值，取出所有匹配值大于当前循环次数对应的判断阈值的文本和质心文本保存到一个新簇中；S34、判断当前簇中是否还有剩余文本未保存到新簇中，若是则执行步骤S32，若否则执行步骤S35；S35、判断是否还有与当前簇属于同一循环的簇中还有文本，若是则执行步骤S36，若否则执行步骤S37；S36、将当前簇重置为该还有文本的簇后执行步骤S32；S37、判断循环次数是否达到上限，若是则执行步骤S39，若否则执行步骤S38；S38、循环次数加1，将当前簇重置为若干新簇中的一个新簇，执行步骤S32；S39、输出所有新簇。5.根据权利要求4所述的基于海量问题的知识库构建方法，其特征在于，分步骤S33具体包括以下子步骤：S331、获取当前簇中其余文本中的首个文本作为当前比对文本；S332、将当前比对文本中的关键词与所述质心文本中的关键词进行匹配，并根据匹配规则计算出匹配值；S333、判断匹配值是否大于当...

【专利技术属性】
技术研发人员：高祎璠，卢川，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44