一种基于多模态线索融合的远程会诊会话理解与摘要方法技术

本发明专利技术公开了一种基于多模态线索融合的远程会诊会话理解与摘要方法，属于远程医疗技术领域，建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；将远程会议记录的音频和视频信息传输至中心服务器；中心服务器运用语音识别模块对多人会话内容和身份进行识别，通过图像识别模块，将多维度图像信息与语音信息在时间维度建立关联，用会话分析模块对会话文本进行结构分析，并通过摘要提取模块转化为结构化文摘，最后用存储库模块进行知识图谱更新，提升了远程会诊会话理解和摘要的准确性。

A method of understanding and abstracting the remote consultation session based on multimodal cues fusion

【技术实现步骤摘要】
一种基于多模态线索融合的远程会诊会话理解与摘要方法
本专利技术属于远程医疗

技术介绍
目前会诊的电子病历一般由医生录入，由于录入过程没有遵循统一的规范，同一医学概念描述不一致，存在冗余甚至前后矛盾的问题，相似的表述在不同上下文中也存在歧义。基于模板的录入方式可以在旧病历上利用复制粘贴高效修改，但会导致文本重复内容多和信息不一致的问题。因而基于计算机复制的会诊病历自动生成系统是病历输入的新趋势。而远程会诊记录的生成不同于普通会诊记录，由于时空受限，多人口语对话，信息掌握程度差异，问题复杂等，自动记录的生成存在诸多困难。
技术实现思路
本专利技术的目的是提供一种基于多模态线索融合的远程会诊会话理解与摘要方法，提升了远程会诊会话理解和摘要的准确性。为实现上述目的，本专利技术采用以下技术方案：一种基于多模态线索融合的远程会诊会话理解与摘要方法，包括如下步骤：步骤1：建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；专家、医生和患者分别在远程视频会议系统中注册身份信息和语音信息；所述语音信息为声纹信息；步骤2：在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；步骤3：远程视频会议系统记录医生、专家和病人之间的多人会话，并将多人会话传输给中心服务器，中心服务器通过语音识别模块将多人会话转变成文本形式，生成多人会话文本；语音识别模块根据会话人的语音信息来识别其身份信息，并在多人会话文本中以话轮为单位标记相应的会话人的身份信息；语音识别模块识别话语的语调和重音的程度，并基于韵律结构为文本标记相应的语调和重音程度值；所述多人会话包括音频和视频信息；步骤4：会话结构分析模块对多人会话文本进行分析，包括如下步骤：步骤A：定义多人会话文本包括医生邀请患者和专家参与记录、医生向专家汇报病情记录、专家向患者确认病情记录、专家向患者或医生询问病史记录和专家与医生协商给出诊断方案以及治疗建议记录；步骤B：根据说话人角色转换、问答语言形式及主题对会话文本进行语段划分；步骤C：根据各段会话的权势地位关系确定会话的主导者和逻辑线索；步骤5：摘要提取模块根据从汇报病情、确认病情和询问病史的话段中提取信息生成病情记录，包括如下步骤：步骤D：对病情的描述主要见于医生的病情汇报以及专家和患者问答的陈述性信息，需要抽取的文本实体包括隐私信息、治疗经过、治疗类实体和时间信息；步骤E：根据医疗领域命名实体和实体关系知识库将医生、患者、专家描述所用不同语言表述映射到知识图谱的概念结构图中，从而去除冗余信息，合并概念相同的关键信息；步骤F：根据每一韵律结构单位的语调和重音程度值来辅助关键信息的判断：预设一个重音程度值的阈值，当重音程度值大于阈值时，标记该结构为关键信息；步骤G：将关键信息与症状构成模式的词典库进行对比，生成症状记录文本；步骤6：摘要提取模块根据协商诊断方案和治疗建议话段的信息生成诊断摘要，包括如下步骤：步骤H：分析诊断过程，根据语法分析来判断医生或专家对应的会话文本的语言形式，并通过语言形式来分析辨识医生或专家的推断过程和肯定程度，以句子为单位将话语功能分为前提假设、证据、推理以及结论，并以一致性结论组织诊断结果记录；步骤I：最终的结论可以和事理图谱中推理诊断结果相比较，以交叉验证，提升置信度；步骤7：未登录术语核对模块为医生或专家设置核对窗口，医生或专家通过核对窗口对病情记录和诊断摘要中出现的未登录术语进行核对和确认；步骤8：存储库模块将步骤7中核对和确认的未登录术语进行存储，更新知识图谱；病情事件与诊断结果之间的事理联系添加到事理图谱中以用于后续的推理和判断。所述医患会话的整体结构包括开头、汇报病情、确认病情、询问病史、协商诊断方案和协商治疗建议。所述会话各方的权势地位差异包括专家为最高权势，医生为第二权势，患者为第三权势。所述治疗经过包括疾病、症状、检查和治疗的过程，所述治疗类实体包括药物。所述多人会话文本包括叙述、提问、回答、反馈四种形式，叙述和回答对应的语言形式是陈述句，提问对应疑问句，具体分为特指问、选择问和是非问，反馈包括肯定、否定和沉默；各语言形式的确定可以通过语法分析和韵律分析得到。在执行步骤H时，将图像记录的表情、眼神、手势和体态信息作为辅助陈述程度的判断。所述存储库模块中存储知识图谱和事理图谱；知识图谱包括疾病库、症状库、治疗手段库、检查手段库，各库中的每个节点都是命名实体对应的概念；事理图谱通过逻辑关系在各个知识图谱之间进行映射，揭示事件之间的关系。所述话语功能包括前提假设、证据、推理和结论。本专利技术所述的一种基于多模态线索融合的远程会诊会话理解与摘要方法，根据语音识别的文本信息、韵律信息和图像信息在时间维度的综合，比之于传统只运用文本信息，提升了会话理解的准确性。通过会话分析手段对文本的宏观会话结构和微观推理模式进行分析，更有效地抽取关键信息，得出诊断摘要。通过对多人会话权势地位关系的分析，更为有效地把握会话逻辑线索。通过运用知识图谱，有效获取关键信息的准确表述，并通过会诊记录对知识图谱和事理图谱进行数据积累和扩充。附图说明图1是本专利技术的系统结构图。具体实施方式如图1所示的一种基于多模态线索融合的远程会诊会话理解与摘要方法，包括如下步骤：步骤1：建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；专家、医生和患者分别在远程视频会议系统中注册身份信息和语音信息；所述语音信息为声纹信息；步骤2：在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；步骤3：远程视频会议系统记录医生、专家和病人之间的多人会话，并将多人会话传输给中心服务器，中心服务器通过语音识别模块将多人会话转变成文本形式，生成多人会话文本；语音识别模块根据会话人的语音信息来识别其身份信息，并在多人会话文本中以话轮为单位标记相应的会话人的身份信息；语音识别模块识别话语的语调和重音的程度，并基于韵律结构为文本标记相应的语调和重音程度值；所述多人会话包括音频和视频信息；步骤4：会话结构分析模块对多人会话文本进行分析，包括如下步骤：步骤A：定义多人会话文本包括医生邀请患者和专家参与记录、医生向专家汇报病情记录、专家向患者确认病情记录、专家向患者或医生询问病史记录和专家与医生协商给出诊断方案以及治疗建议记录；步骤B：根据说话人角色转换、问答语言形式及主题对会话文本进行语段划分；步骤C：根据各段会话的权势地位关系确定会话的主导者和逻辑线索；步骤5：摘要提取模块根据从汇报病情、确认病情和询问病史的话段中提取信息生成病情记录，包括如下步骤：步骤D：对病情的描述主要见于医生的病情汇报以及专家和患者问答的陈述性信息，需要抽取的文本实体包括隐私信息、治疗经过、治疗类实体和时间信息；步骤E：根据医疗领域命名实体和实体关系知识库将医生、患者、专家描述所用不同语言表述映射到知识图谱的概念结构图中，从而去除冗余信息，合并概念相同的关键信息；步骤F：根据每一韵律结构单位的语调和重音程度值来辅助关键信息的判断：预设一个重音程度值的阈值，当重音程度值大于阈值时，标记该结构为关键信息；步骤G：将关键信息与症状构成模式的词典本文档来自技高网...

【技术保护点】
一种基于多模态线索融合的远程会诊会话理解与摘要方法，其特征在于：包括如下步骤：步骤1：建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；专家、医生和患者分别在远程视频会议系统中注册身份信息和语音信息；所述语音信息为声纹信息；步骤2：在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；步骤3：远程视频会议系统记录医生、专家和病人之间的多人会话，并将多人会话传输给中心服务器，中心服务器通过语音识别模块将多人会话转变成文本形式，生成多人会话文本；语音识别模块根据会话人的语音信息来识别其身份信息，并在多人会话文本中以话轮为单位标记相应的会话人的身份信息；语音识别模块识别话语的语调和重音的程度，并基于韵律结构为文本标记相应的语调和重音程度值；所述多人会话包括音频和视频信息；步骤4：会话结构分析模块对多人会话文本进行分析，包括如下步骤：步骤A：定义多人会话文本包括医生邀请患者和专家参与记录、医生向专家汇报病情记录、专家向患者确认病情记录、专家向患者或医生询问病史记录和专家与医生协商给出诊断方案以及治疗建议记录；步骤B：根据说话人角色转换、问答语言形式及主题对会话文本进行语段划分；步骤C：根据各段会话的权势地位关系确定会话的主导者和逻辑线索；步骤5：摘要提取模块根据从汇报病情、确认病情和询问病史的话段中提取信息生成病情记录，包括如下步骤：步骤D：对病情的描述主要见于医生的病情汇报以及专家和患者问答的陈述性信息，需要抽取的文本实体包括隐私信息、治疗经过、治疗类实体和时间信息；步骤E：根据医疗领域命名实体和实体关系知识库将医生、患者、专家描述所用不同语言表述映射到知识图谱的概念结构图中，从而去除冗余信息，合并概念相同的关键信息；步骤F：根据每一韵律结构单位的语调和重音程度值来辅助关键信息的判断：预设一个重音程度值的阈值，当重音程度值大于阈值时，标记该结构为关键信息；步骤G：将关键信息与症状构成模式的词典库进行对比，生成症状记录文本；步骤6：摘要提取模块根据协商诊断方案和治疗建议话段的信息生成诊断摘要，包括如下步骤：步骤H：分析诊断过程，根据语法分析来判断医生或专家对应的会话文本的语言形式，并通过语言形式来分析辨识医生或专家的推断过程和肯定程度，以句子为单位将话语功能分为前提假设、证据、推理以及结论，并以一致性结论组织诊断结果记录；步骤I：最终的结论可以和事理图谱中推理诊断结果相比较，以交叉验证，提升置信度；步骤7：未登录术语核对模块为医生或专家设置核对窗口，医生或专家通过核对窗口对病情记录和诊断摘要中出现的未登录术语进行核对和确认；步骤8：存储库模块将步骤7中核对和确认的未登录术语进行存储，更新知识图谱；病情事件与诊断结果之间的事理联系添加到事理图谱中以用于后续的推理和判断。...

【技术特征摘要】
1.一种基于多模态线索融合的远程会诊会话理解与摘要方法，其特征在于：包括如下步骤：步骤1：建立远程视频会议系统和中心服务器，远程视频会议系统与中心服务器通过网线通信；专家、医生和患者分别在远程视频会议系统中注册身份信息和语音信息；所述语音信息为声纹信息；步骤2：在中心服务器中建立语音识别模块、图像识别模块、会话结构分析模块、摘要提取模块、未登录术语核对模块和存储库模块；步骤3：远程视频会议系统记录医生、专家和病人之间的多人会话，并将多人会话传输给中心服务器，中心服务器通过语音识别模块将多人会话转变成文本形式，生成多人会话文本；语音识别模块根据会话人的语音信息来识别其身份信息，并在多人会话文本中以话轮为单位标记相应的会话人的身份信息；语音识别模块识别话语的语调和重音的程度，并基于韵律结构为文本标记相应的语调和重音程度值；所述多人会话包括音频和视频信息；步骤4：会话结构分析模块对多人会话文本进行分析，包括如下步骤：步骤A：定义多人会话文本包括医生邀请患者和专家参与记录、医生向专家汇报病情记录、专家向患者确认病情记录、专家向患者或医生询问病史记录和专家与医生协商给出诊断方案以及治疗建议记录；步骤B：根据说话人角色转换、问答语言形式及主题对会话文本进行语段划分；步骤C：根据各段会话的权势地位关系确定会话的主导者和逻辑线索；步骤5：摘要提取模块根据从汇报病情、确认病情和询问病史的话段中提取信息生成病情记录，包括如下步骤：步骤D：对病情的描述主要见于医生的病情汇报以及专家和患者问答的陈述性信息，需要抽取的文本实体包括隐私信息、治疗经过、治疗类实体和时间信息；步骤E：根据医疗领域命名实体和实体关系知识库将医生、患者、专家描述所用不同语言表述映射到知识图谱的概念结构图中，从而去除冗余信息，合并概念相同的关键信息；步骤F：根据每一韵律结构单位的语调和重音程度值来辅助关键信息的判断：预设一个重音程度值的阈值，当重音程度值大于阈值时，标记该结构为关键信息；步骤G：将关键信息与症状构成模式的词典库进行对比，生成症状记录文本；步骤6：摘要提取模块根据协商诊断方案和治疗建议话段的信息生成诊断摘要，包括如下步骤：步骤H：分析诊断过程，根据语法分析来判断医生或专家对应的会话文本...

【专利技术属性】
技术研发人员：赵杰，翟运开，陈昊天，孙东旭，季竞，陈保站，王琳琳，马倩倩，
申请(专利权)人：郑州大学第一附属医院，
类型：发明
国别省市：河南,41