一种多模态医疗数据问答方法及存储介质技术

本发明专利技术属于电数字数据处理技术领域，公开了一种多模态医疗数据问答方法及存储介质，多模态医疗数据问答方法包括：将训练数据处理为包括问题和回答的数据格式，问题包括图像数据和文本数据；将图像数据输入预训练的CLIP模型得到图像数据编码，将文本数据输入GPT

【技术实现步骤摘要】
模型，G(x
T
)为文本数据x
T
通过GPT
‑
3模型后的输出，V(G)为以网络G作为待优化变量的损失得分，p
cancer
为医疗数据分布，为以预训练的GPT
‑
3大模型为先验条件，输入多模态数据生成的输出；G(x
I
)为网络G对于图像数据x
I
的输出，为以预训练的GPT
‑
3大模型为先验条件，输入文本数据生成的输出。
[0007]优选地，多模态GPT
‑
3模型生成回答的过程包括：多模态GPT
‑
3模型以图像数据x
I
和文本数据x
T
为输入，输出一个单词y0，之后以为输入输出第二个单词，依次类推，直至输出结束标识符。
[0008]优选地，回答包括诊断建议和康复预期。多模态医疗数据包括图像数据和文本数据。
[0009]一种存储介质，其上存储有计算机可执行代码，当所述计算机可执行代码被执行时实现上述的多模态医疗数据问答方法。
[0010]本专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态医疗数据问答方法，其特征在于，包括：将训练数据处理为包括问题和回答的数据格式，问题包括图像数据和文本数据；将图像数据输入预训练的CLIP模型得到图像数据编码，将文本数据输入GPT
‑
3模型得到文本数据编码，使用图像数据编码和文本数据编码，调用GPT
‑
3模型和CLIP模型进行跨模态适配器训练，得到多模态GPT
‑
3模型；将多模态医疗数据输入到多模态GPT
‑
3模型，生成回答；利用医学知识图谱对回答进行准确性验证，将验证后的回答作为结果输出。2.根据权利要求1所述的多模态医疗数据问答方法，其特征在于：跨模态适配器训练过程包括：输入图像数据编码和文本数据编码，将GPT
‑
3模型作为先验模型，融合图像数据和文本数据，生成结果。3.根据权利要求1所述的多模态医疗数据问答方法，其特征在于：文本数据输入GPT
‑
3模型生成最大期望的公式为：，图像数据和文本数据输入GPT
‑
cancer模型生成回答的公式为：，通过跨模态适配器训练，图像数据和文本数据输入多模态GPT
‑
3模型生成回答的公式为：，其中，x
T
为文本数据，x
I
为图像数据，p
data
为文本数据分布，G为待微调训练的...

【专利技术属性】
技术研发人员：刘瑞华，滕龙，李睿，胡其桐，邢沛瑶，郑名扬，邢天奇，
申请(专利权)人：成都安哲斯生物医药科技有限公司，
类型：发明
国别省市：