基于分类模型的上下文识别的方法和系统技术方案

提供了一种基于分类模型的上下文识别的方法和系统。所述方法包括：对语句进行标注；对已标注数据进行特征向量提取；将所提取的特征向量增加上一语句的分类特征以构成新的特征向量；以及使用新的特征向量对分类模型进行训练以得到分类模型。

【技术实现步骤摘要】
基于分类模型的上下文识别的方法和系统
本专利技术涉及一种基于分类模型的上下文识别的方法和系统。
技术介绍
问答系统是能够识别用户输入的自然语言文本语句，并做出相应回答的计算机程序。它通过对用户输入语句进行处理分析，最终执行用户请求，返回用户关心的信息，其中包含语句分词、实体识别、语义识别、任务处理及应答等自然语言处理相关技术。在问答系统中，回答的精准性、实时性、惊喜性等都是比较重要的指标，其中精准性又是重中之重，要达到精准的要求，可能需要使用语句上下文识别技术，例如在确定如何回答用户的第二问题时需要考虑用户问的第一问题。例如，在下面的两种情况中，需要上下文识别技术处理才能很好地识别第二问。作为第一示例：第一问：这个商品怎么没货呀第二问：什么时候到货呀在使用第一问的上下文的基础上，可以确定第二问的回答要点：回答用户商品什么时候有货作为另一个示例：第一问：我下了一个订单第二问：什么时候到货呀在使用第一问的上下文的基础上，可以确定第二问的回答要点：回答用户订单配送的时间。目前，问答系统中主要采用预先定义规则的方式来处理下句特殊识别问题，例如AIML(ArtificialIntelligenceMarkupLanguage人工智能标记语言)，通过使用XML语言脚本规则，编写上下文相关句式规则，达到下句回答的匹配。AIML识别实例如下：<categoryA><pattern>是的</pattern><that>你是程序员吗？</that><template>你最擅长的编程语言是什么？</template></category><categoryB><pattern>是的</pattern><that>你是学生吗？</that><template>你是哪个学校的</template></category>机器人首先通过pattern匹配，匹配到“是的”。但是机器人的数据库中对应“是的”的回答非常多，比方有A和B两个categories。于是机器人便去匹配that标签，也就是机器人自己上句说过的话，即“你是程序员吗？”。这样它就可以确定应该匹配categoryA了，最后给出正确的回应“你最擅长的编程语言是什么？”一般基于分类模型(支持向量机，随机森林、贝叶斯等)的语句识别方法通过对单句分类或语义进行标注，然后获取语句特征(如分词特征、N-gram(N元文法))向量，并输入分类模型进行训练，得到训练模型。当用户输入语句后，用相同的方式计算特征向量，返回一个分类结果。有了分类结果后，就可以调用相应的任务处理逻辑组装回答用户的问题了。对于有上下文识别需求的情况，不能直接处理，而需要添加规则才能识别。预先定义规则的方式处理上下文具有规则处理方面的所有缺点，如规则添加比较麻烦；规则过多，不易维护；规则识别先后顺序容易导致规则间的相互影响；规则设置容易过识别(错误识别很多不该是这个分类的语句)，或则过于专一(只覆盖很少语句)。一般基于分类模型的语句识别方法都是识别单句的语义，对于相同的语句，只能给出一个结果，或则给出多个结果不同的概率，不能准确的知道它的含义，如果要识别上下文，则需要在识别前加入规则判断的方式进行处理。因此，期望提供一种改进的基于分类模型的上下文识别的方法和系统。
技术实现思路
为了解决现有技术中的上述缺点和问题中的至少一个而提出本专利技术。基于现有技术存在的缺点，本专利技术提供了一种改进的基于分类模型的上下文识别的方法和系统。根据本专利技术的方法和系统，在一般分类模型基础上，只通过添加额外的特征，而不使用规则的情况下，解决了语句上下文问题。通过使用根据本专利技术的方法和系统，使得下句的语义也可以通过分类模型进行识别，同时避免了大量规则的使用，对于新遇到的上下文语句，也可以很容易的通过添加语料的方式进行扩展。根据一个方面，本专利技术提出了一种基于分类模型的上下文识别的方法，包括：对语句进行标注；对已标注数据进行特征向量提取；将所提取的特征向量增加上一语句的分类特征以构成新的特征向量；以及使用新的特征向量对分类模型进行训练以得到分类模型。可选地，所述方法进一步包括对语句进行识别。可选地，当需要对语句进行识别时，对所要识别的语句进行特征向量提取，然后将对要识别的语句提取的特征向量增加所要识别的语句的上一句的分类特征，送入分类模型，从而获得所要识别的语句的分类结果。可选地，当对语句进行标注时，额外地标注当前语句的上一句的分类结果。可选地，当没有上一句的分类结果时，将上一句的分类结果置为空。根据本专利技术的另一方面，提供了一种基于分类模型的上下文识别的系统，包括：语句标注模块，用于对语句进行标注；特征向量提取模块，用于对已标注数据进行特征向量提取；新特征向量构成模块，用于将所提取的特征向量增加上一语句的分类特征以构成新的特征向量；以及分类模型训练模块，用于使用新的特征向量对分类模型进行训练以得到分类模型。可选地，所述系统进一步包括语句识别模块，用于对语句进行识别。可选地，语句识别模块在需要对语句进行识别时，对所要识别的语句进行特征向量提取，然后将对要识别的语句提取的特征向量增加所要识别的语句的上一句的分类特征，送入分类模型，从而获得所要识别的语句的分类结果。可选地，通过语句标注模块对语句进行标注时，额外地标注当前语句的上一句的分类结果。可选地，在没有上一句的分类结果时，语句标注模块将上一句的分类结果置为空。附图说明通过下面结合附图进行的描述，本专利技术一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中：图1是根据本专利技术的一个实施例的基于分类模型的上下文识别的方法的流程图；以及图2是根据本专利技术的一个实施例的基于分类模型的上下文识别的系统的框图。具体实施方式提供参考附图的下面描述以帮助全面理解本专利技术的示范性实施例。其包括各种细节以助于理解，而应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，省略了对公知功能和结构的描述。图1是根据本专利技术的一个实施例的基于分类模型的上下文识别的方法的流程图。在步骤110中，对语句进行标注。例如，为了训练分类模型，可以将用户在使用应用时输入的大量问题作为语料，然后人工地对这些语料进行标注，从而形成已标注数据。在根据本专利技术的方法中，当对语句进行标注时，需要额外地标注当前语句的上一句的分类结果。当没有上一句分类结果时，可以将上一句的分类结果置为空。下面的表1示出了两句的上下文。表1语料标注样例语句上一句分类本句分类这个商品怎么没货呀商品库存查询什么时候到货呀商品库存查询什么时候有货我下了一个订单订单查询什么时候到货呀订单查询配送时间在步骤120中，对已标注数据进行特征向量提取。作为一个示例，假设一条已标注语句为“什么时候到货呀”，可以对该条已标注语句提取特征向量“什么，时候，到货，呀”。可以通过任何适当的算法来提取特征向量。例如，可以通过使用分词特征算法、N-gram算法等来进行特征向量本文档来自技高网...

【技术保护点】
一种基于分类模型的上下文识别的方法，包括：对语句进行标注；对已标注数据进行特征向量提取；将所提取的特征向量增加上一语句的分类特征以构成新的特征向量；以及使用新的特征向量对分类模型进行训练以得到分类模型。

【技术特征摘要】
1.一种基于分类模型的上下文识别的方法，包括：对语句进行标注；对已标注数据进行特征向量提取；将所提取的特征向量增加上一语句的分类特征以构成新的特征向量；以及使用新的特征向量对分类模型进行训练以得到分类模型；其中，当没有上一句的分类特征时，将上一句的分类特征置为空。2.根据权利要求1所述的方法，进一步包括对语句进行识别。3.根据权利要求2所述的方法，当需要对语句进行识别时，对所要识别的语句进行特征向量提取，然后将对要识别的语句提取的特征向量增加所要识别的语句的上一句的分类特征，送入分类模型，从而获得所要识别的语句的分类特征。4.根据权利要求1所述的方法，当对语句进行标注时，额外地标注当前语句的上一句的分类特征。5.一种基于分类模型的上下文识别的系统，包括：语句标注模块，用于对语句...

【专利技术属性】
技术研发人员：罗欢，张喜，姜文，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11