一种提供多模态智能报案的装置及其笔录生成方法制造方法及图纸

本发明专利技术涉及报案设备，具体涉及一种提供多模态智能报案的装置及其笔录生成方法，包括服务器，用于对市民进行身份识别的身份识别模块，以及用于记录市民语音的语音采集模块，服务器与用于识别市民语音的语音识别模块相连，服务器与用于将语音识别结果转换为文字信息并记录的文字转换模块相连，服务器与用于存储市民语音及对应文字转换结果的数据存储模块相连，服务器与用于根据文字转换结果判断案件类型的案件类型判断模块相连；本发明专利技术提供的技术方案能够有效克服现有技术所存在的报案接警时的流程不够规范而导致沟通效率较低、不能自动生成报案笔录的缺陷。

【技术实现步骤摘要】
一种提供多模态智能报案的装置及其笔录生成方法
本专利技术涉及报案设备，具体涉及一种提供多模态智能报案的装置及其笔录生成方法。
技术介绍
单一电话语音报警的方式在进行事件描述时，存在一些弊端，如：有的市民要求一对一问答式受理，缺乏技术应用；市民过多时，需要排队等候的时间较长；接待人员人手不足，非重要警情消耗时间长；报警笔录信息手动录入，一方面不便于保存查询，另一方面录入效率较低；现有行政类警情很多时候没有笔录，事后无法追溯参考；不同案件类型笔录无统一问答方式，不同接待人员的标准不同，造成沟通效率较低。此外，通过短信、微信等数据服务方式进行报警，虽然可以将定位、图文等信息通过数据服务方式上传，但由于需要通过应答方式进行沟通，相对于电话语音报警的方式而言，沟通效率非常低。针对现有的报案接警系统，亟需一种规范化、标准化、沟通高效化的报案接警系统及笔录生成方法。
技术实现思路
(一)解决的技术问题针对现有技术所存在的上述缺点，本专利技术提供了一种提供多模态智能报案的装置及其笔录生成方法，能够有效克服现有技术所存在的报案接警时的流程不够规范而导致沟通效率较低、不能自动生成报案笔录的缺陷。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种提供多模态智能报案的装置，包括服务器，用于对市民进行身份识别的身份识别模块，以及用于记录市民语音的语音采集模块，所述服务器与用于识别市民语音的语音识别模块相连，所述服务器与用于将语音识别结果转换为文字信息并记录的文字转换模块相连，所述服务器与用于存储市民语音及对应文字转换结果的数据存储模块相连，所述服务器与用于根据文字转换结果判断案件类型的案件类型判断模块相连；所述服务器与用于存储各类型案件对应的话术模板、笔录模板的模板存储模块相连，所述服务器与用于根据案件类型判断结果播放对应话术模板的话术模板播放模块相连，所述服务器与用于根据案件类型判断结果选择对应笔录模板的笔录模板选择模块相连，所述服务器与用于识别市民回答话术模板时语音的语义的语义识别模块相连，所述语义识别模块与用于提取市民语音中关键信息的关键信息提取模块相连，所述笔录模板选择模块与用于将提取关键信息填入笔录模板中的笔录报告生成模块相连。优选地，所述身份识别模块包括双目摄像头、指纹采集器和身份证读卡器，所述服务器将身份识别模块采集信息与数据库中的数据进行匹配，识别市民身份信息。优选地，所述语音识别模块结合市民语音、双目摄像头拍摄市民语音时的唇形进行语音识别。优选地，所述文字转换模块通过语音转写引擎将市民语音转换为文字信息并记录。优选地，所述案件类型判断模块利用NLP自然语言处理从文字信息中提取关键字，并判断案件类型，包括：S1、根据业务需求确定token标签，收集具有token标签的标注文本数据；S2、搭建BERT模型，并对Attention层的进行端到端的训练；S3、训练收敛后，固定模型参数并保存参数作为主题提取方法解码实体的资源，通过主题提取方法匹配出相近的案件类型，并供市民选择确认。优选地，所述语义识别模块通过NLU自然语言理解识别市民回答话术模板时语音的语义，所述服务器通过话术模板播放模块进行话术播放流程控制。优选地，所述关键信息提取模块通过正则规则匹配、关键词匹配、意图分类模型、NER提槽模型，提取关键信息。优选地，所述模板存储模块与用于输入新的话术模板、笔录模板，或对原有话术模板、笔录模板进行修改的模板输入模块相连。一种笔录生成方法，包括以下步骤：S1、对市民进行身份识别，提示录入报警信息，将市民语音转换为文字信息并记录；S2、判断案件类型，生成报警记录，并向市民返回结果；S3、市民选择对应报警记录，根据不同的案件类型，自动选定匹配的话术模板、笔录模板；S4、控制话术播放流程，并对每个问题从市民的回答中提取关键信息；S5、将关键信息填入笔录模板中生成笔录报告，并向市民返回笔录报告。优选地，S2中所述判断案件类型，包括：S1、根据业务需求确定token标签，收集具有token标签的标注文本数据；S2、搭建BERT模型，并对Attention层的进行端到端的训练；S3、训练收敛后，固定模型参数并保存参数作为主题提取方法解码实体的资源，通过主题提取方法匹配出相近的案件类型，并供市民选择确认。(三)有益效果与现有技术相比，本专利技术所提供的一种提供多模态智能报案的装置及其笔录生成方法，有效缩短市民报案时等待受理的时间，让业务受理更加快捷，降低了接待人员的接待受理压力，节省了警力资源；规范接警业务受理流程，有效提高沟通效率，整体业务办理体验感上升；报案受理从线下转为线上，全程留痕，并且能够自动生成报案笔录，查找追溯方便，让警务模式向智能化、现代化、数字化方向转变。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术多模态智能报案装置的系统示意图；图2为本专利技术笔录生成方法的流程示意图；图3为本专利技术中案件类型判断模块的工作原理示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种提供多模态智能报案的装置，如图1至图3所示，包括服务器，用于对市民进行身份识别的身份识别模块，以及用于记录市民语音的语音采集模块，服务器与用于识别市民语音的语音识别模块相连，服务器与用于将语音识别结果转换为文字信息并记录的文字转换模块相连，服务器与用于存储市民语音及对应文字转换结果的数据存储模块相连，服务器与用于根据文字转换结果判断案件类型的案件类型判断模块相连。身份识别模块采用多模态生物识别模式，包括双目摄像头、指纹采集器和身份证读卡器，服务器将身份识别模块采集信息与数据库中的数据进行匹配，识别市民身份信息。语音识别模块结合市民语音、双目摄像头拍摄市民语音时的唇形进行语音识别。实现多模态语音识别，提高复杂场景语音识别的准确率。文字转换模块通过语音转写引擎将市民语音转换为文字信息并记录。如图3所示，案件类型判断模块利用NLP自然语言处理从文字信息中提取关键字，并判断案件类型，包括：S1、根据业务需求确定token标签，收集具有token标签的标注文本数据；S2、搭建BERT模型，并对Attention层的进行端到端的训练；S3、训练收敛本文档来自技高网...

【技术保护点】
1.一种提供多模态智能报案的装置，其特征在于：包括服务器，用于对市民进行身份识别的身份识别模块，以及用于记录市民语音的语音采集模块，所述服务器与用于识别市民语音的语音识别模块相连，所述服务器与用于将语音识别结果转换为文字信息并记录的文字转换模块相连，所述服务器与用于存储市民语音及对应文字转换结果的数据存储模块相连，所述服务器与用于根据文字转换结果判断案件类型的案件类型判断模块相连；/n所述服务器与用于存储各类型案件对应的话术模板、笔录模板的模板存储模块相连，所述服务器与用于根据案件类型判断结果播放对应话术模板的话术模板播放模块相连，所述服务器与用于根据案件类型判断结果选择对应笔录模板的笔录模板选择模块相连，所述服务器与用于识别市民回答话术模板时语音的语义的语义识别模块相连，所述语义识别模块与用于提取市民语音中关键信息的关键信息提取模块相连，所述笔录模板选择模块与用于将提取关键信息填入笔录模板中的笔录报告生成模块相连。/n

【技术特征摘要】
1.一种提供多模态智能报案的装置，其特征在于：包括服务器，用于对市民进行身份识别的身份识别模块，以及用于记录市民语音的语音采集模块，所述服务器与用于识别市民语音的语音识别模块相连，所述服务器与用于将语音识别结果转换为文字信息并记录的文字转换模块相连，所述服务器与用于存储市民语音及对应文字转换结果的数据存储模块相连，所述服务器与用于根据文字转换结果判断案件类型的案件类型判断模块相连；
所述服务器与用于存储各类型案件对应的话术模板、笔录模板的模板存储模块相连，所述服务器与用于根据案件类型判断结果播放对应话术模板的话术模板播放模块相连，所述服务器与用于根据案件类型判断结果选择对应笔录模板的笔录模板选择模块相连，所述服务器与用于识别市民回答话术模板时语音的语义的语义识别模块相连，所述语义识别模块与用于提取市民语音中关键信息的关键信息提取模块相连，所述笔录模板选择模块与用于将提取关键信息填入笔录模板中的笔录报告生成模块相连。


2.根据权利要求1所述的提供多模态智能报案的装置，其特征在于：所述身份识别模块包括双目摄像头、指纹采集器和身份证读卡器，所述服务器将身份识别模块采集信息与数据库中的数据进行匹配，识别市民身份信息。


3.根据权利要求2所述的提供多模态智能报案的装置，其特征在于：所述语音识别模块结合市民语音、双目摄像头拍摄市民语音时的唇形进行语音识别。


4.根据权利要求1所述的提供多模态智能报案的装置，其特征在于：所述文字转换模块通过语音转写引擎将市民语音转换为文字信息并记录。


5.根据权利要求4所述的提供多模态智能报案的装置，其特征在于：所述案件类型判断模块利用NLP自然语言处理从文字信息中提取关键字，并判断案件类型，包括：
S1、根据业务需求确定token标签，收集具有token标签的标注文本数据；
S2、搭建BERT模型，并...

【专利技术属性】
技术研发人员：康静，汪京京，卫海智，刘恒彪，李钊辉，
申请(专利权)人：科讯嘉联信息技术有限公司，
类型：发明
国别省市：安徽;34