【技术实现步骤摘要】
本专利技术涉及人工智能、智能医疗及智能养老领域，尤其涉及一种基于人工智能的问诊方法、装置、设备及介质。
技术介绍
1、医生诊断病情主要基于患者的症状自述和专业设备拍摄的医学图像，病情的诊断需要医生掌握丰富的医学知识。在智能医疗及智能养老中，随着老龄化的到来，患者人数急剧增加，导致医生资源日益紧张，采用人工智能根据症状自述和医学图像进行自动化的问诊具有重要的理论意义和实际价值。
2、目前自然语言处理以及自然图像处理的大模型已得到广泛应用，但是针对医学场景下的大模型还没出现。由于医学场景和自然语言场景存在较大的语义差异，使基于自然语言处理以及自然图像处理的大模型用于医学场景的问诊时，存在准确性不高的问题。
技术实现思路
1、基于此，有必要针对现有技术的基于自然语言处理以及自然图像处理的大模型用于医学场景的问诊时，存在准确性不高的技术问题，提出了一种基于人工智能的问诊方法、装置、设备及介质。
2、第一方面，提供了一种基于人工智能的问诊方法，所述方法包括：
3、获取目标患者对应的医学图像、患者症状文本和患者问诊文本；
4、将所述医学图像输入预训练的病情问诊模型的图像编码器进行编码，得到第一数据；
5、将所述患者症状文本输入所述病情问诊模型的文本编码器进行编码，得到第二数据；
6、将所述患者问诊文本输入所述病情问诊模型的句向量生成器进行句向量生成，得到第三数据；
7、将所述第一数据、所述第二数据和所述第三数据
8、第二方面，提供了一种基于人工智能的问诊装置，所述装置包括：
9、数据获取模块，用于获取目标患者对应的医学图像、患者症状文本和患者问诊文本；
10、第一编码模块，用于将所述医学图像输入预训练的病情问诊模型的图像编码器进行编码，得到第一数据；
11、第二编码模块，用于将所述患者症状文本输入所述病情问诊模型的文本编码器进行编码，得到第二数据；
12、句向量生成模块，用于将所述患者问诊文本输入所述病情问诊模型的句向量生成器进行句向量生成，得到第三数据；
13、回答文本解码模块，用于将所述第一数据、所述第二数据和所述第三数据输入所述病情问诊模型的解码器进行回答文本解码，得到所述患者问诊文本对应的医生回答文本。
14、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的问诊方法的步骤。
15、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人工智能的问诊方法的步骤。
16、本申请的基于人工智能的问诊方法、装置、设备及介质，其中方法通过获取目标患者对应的医学图像、患者症状文本和患者问诊文本，将所述医学图像输入预训练的病情问诊模型的图像编码器进行编码，得到第一数据，将所述患者症状文本输入所述病情问诊模型的文本编码器进行编码，得到第二数据，将所述患者问诊文本输入所述病情问诊模型的句向量生成器进行句向量生成，得到第三数据，将所述第一数据、所述第二数据和所述第三数据输入所述病情问诊模型的解码器进行回答文本解码，得到所述患者问诊文本对应的医生回答文本。通过能够根据从医学图像的编码和患者症状文本的编码中学习到的知识，针对患者问诊文本的句向量生成回答文本，实现了基于多模态的数据的回答文本生成，提高了确定的回答文本的准确性，从而实现了准确的自动化问诊。
本文档来自技高网...【技术保护点】
1.一种基于人工智能的问诊方法，所述方法包括：
2.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，在所述将所述医学图像输入预训练的病情问诊模型的图像编码器进行编码，得到第一数据的步骤之前，还包括：
3.根据权利要求2所述的基于人工智能的问诊方法，其特征在于，所述根据所述训练样本集对应的各个所述图像编码及各个所述文本编码进行对比学习的损失值计算，得到第一损失值的步骤，包括：
4.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，在所述获取多个训练样本集和初始模型的步骤之前，还包括：
5.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，所述文本编码器包括18个串联的Transformer block，所述图像编码器包括：24个串联的Transformer block，所述解码器包括18个串联的Transformer block，所述解码器采用自回归式的解码器。
6.根据权利要求5所述的基于人工智能的问诊方法，其特征在于，所述Transformerblock采用八头注意力机制。
7.根据权利
8.一种基于人工智能的问诊装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于人工智能的问诊方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人工智能的问诊方法的步骤。
...【技术特征摘要】
1.一种基于人工智能的问诊方法，所述方法包括：
2.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，在所述将所述医学图像输入预训练的病情问诊模型的图像编码器进行编码，得到第一数据的步骤之前，还包括：
3.根据权利要求2所述的基于人工智能的问诊方法，其特征在于，所述根据所述训练样本集对应的各个所述图像编码及各个所述文本编码进行对比学习的损失值计算，得到第一损失值的步骤，包括：
4.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，在所述获取多个训练样本集和初始模型的步骤之前，还包括：
5.根据权利要求1所述的基于人工智能的问诊方法，其特征在于，所述文本编码器包括18个串联的transformer block，所述图像编码器包括：24个串联的transformer block，所述解码器包括18个串联的transformer block，所述解码器采用自回归式...
【专利技术属性】
技术研发人员：张之勇，张旭龙，王健宗，程宁，
申请(专利权)人：平安创科科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。