基于语义和图像识别的心电信息提取方法及装置制造方法及图纸

本发明专利技术公开了基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质，涉及人工智能技术，可应用于智慧医疗场景，包括对当前待识别文本信息进行语义识别，得到与当前待识别文本信息对应的语义向量；接收上传的心电图影像，调用基于注意力机制的Res2Net分类网络，将心电图影像根据基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及调用预先训练的Light GBM模型，将语义向量及输出向量输入至Light GBM模型进行分类，得到对应的分类结果。该方法还涉及医疗科技和区块链技术，实现了结合用户端上传的文字信息与心电图影像对应的图像信息，再经过Light GBM算法来进行分类，提升了分类结果的准确度与可信度。

ECG information extraction method and device based on semantic and image recognition

【技术实现步骤摘要】
基于语义和图像识别的心电信息提取方法及装置
本专利技术涉及人工智能的智能决策
，尤其涉及一种基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质。
技术介绍
目前，心电智能诊断系统在日常生活中得到了广泛应用，例如一些智能穿戴设备（如苹果公司的AppleWatch）可以采集用户的心电信息，还可将采集的心电信息生成心电图后上传至服务器进行后续图像识别，以生成报告信息。但是上述方式存在以下缺陷：1）上传的仅仅只有心电图，缺乏文字描述；2）心电图信息都是基于智能便携式测量得到的，精度与可靠性远远不如医用心电仪；3）对心电图进行识别的图像识别模型准确度较低。
技术实现思路
本专利技术实施例提供了一种基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质，旨在解决现有技术中心电图信息都是基于智能便携式测量得到的，精度与可靠性较低，而且对心电图进行识别的图像识别模型准确度较低的问题。第一方面，本专利技术实施例提供了一种基于语义和图像识别的心电信息提取方法，其包括：接收用户本文档来自技高网...

【技术保护点】
1.一种基于语义和图像识别的心电信息提取方法，其特征在于，包括：/n接收用户端上传的文本描述信息；/n判断所述文本描述信息中是否包括预设的关键词；/n若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；/n若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；/n接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；/n对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；/n接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的...

【技术特征摘要】
1.一种基于语义和图像识别的心电信息提取方法，其特征在于，包括：
接收用户端上传的文本描述信息；
判断所述文本描述信息中是否包括预设的关键词；
若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；
若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；
接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；
对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；
接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及
调用预先训练的LightGBM模型，将所述语义向量及所述输出向量输入至所述LightGBM模型进行分类，得到对应的分类结果。


2.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量，包括：
调用预先训练的BERT模型，将所述当前待识别文本信息通过所述BERT模型进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集；其中，所述BERT模型表示Transformers模型的双向编码器表示模型；
将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量；
根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。


3.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量之前，还包括：
将用于获取心电图影像的提示信息发送至用户端或智能心电仪；
接收用户端或智能心电仪根据所述提示信息发送的心电图影像。


4.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量，包括：
获取所述心电图影像对应的像素矩阵；
将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量；
将所述形态特征向量作为所述基于注意力机制的Res2Net分类网络中注意力机制结构进行运算，得到输出向量。


5.根据权利要求4所述的基于语义和图像识别的心电信息提取方法，其特征在于，所...

【专利技术属性】
技术研发人员：宋青原，王健宗，吴天博，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44