【技术实现步骤摘要】
本专利技术涉及机器学习领域，尤其涉及基于预训练语言模型的医学问答文本质量评估系统和方法。
技术介绍
1、随着生成式ai在医疗领域的持续火热，越来越多的大模型被训练投入到医学知识问答的场景中，但医学领域的信息涉及生命健康，错误的建议可能导致严重后果，这也对医学问答大模型输出文本的质量有更高的要求。然而文本质量的评判需要借助医生的专业知识成本较高，于是通过专业模型自动化评估医学问答文本质量则是更高效的方案。
2、现有的医学问答文本质量评估中，很多只考虑和标准答案的一致性，使用基于语词(gram)级别准确率和召回率作为评价指标，定量评估机器回答与标准回答的一致程度。这样就会对提供全集医学问题答案的要求很高，且医学问题可能是开放的，有的并不存在唯一答案，只基于语词核对准确性可能会造成很多错判，这类问题本身在医学上就没有明确答案，更多的应该评估其对使用者输出的建议是否存在误导性信息或潜在危害。有的医学问答模型为了避免争议和错误，直接输出教科书上的原文，这会造成用户阅读理解上较大的障碍，同时语言的拼接上可能较为生硬不够友好，让用户理解困难沟通意愿降低，当前还很少有评估方法会对这些维度进行评估。
3、人在向他人咨询医疗健康问题时，会同时关注回答者是否专业，回答内容是否符合常识，从而自己评估出回答的可信度。而普通人能参考的医学常识是非常有限的，需要专业医学知识库来辅助评估判断回答的可信度、风险性，才能判断是否采取回答给到的建议，同时也需要回答者的回答可以理解，态度友好，才会不断进行沟通。
技术
1、为了克服上述技术缺陷，本专利技术的目的在于提供基于预训练语言模型的医学问答文本质量评估系统及方法。
2、为此，本专利技术的一个方面提供基于预训练语言模型的医学问答文本质量评估系统，包括以下模块：
3、医学知识文本及嵌入向量特征存储数据库，用于保存医学知识文本及使用预训练语言模型生成的文本特征向量；
4、待评估文本输入模块，用于输入待评估的医学问题及机器生成的文本回答，输出多维度的正确性相关的评价结果；
5、医学知识匹配模块，用于使用待评估文本输入模块的文本特征在数据库中进行检索，得到与输入文本特征最接近的医学知识文本及其向量；
6、基于提示方法的文本质量评估模块，用于将待评估文本回答结合提示模板评估输入到预训练的语言模型中，评估待测文本在用户友好角度的生成质量；
7、基于指标的文本准确性评估模块，用于评估待评估文本回答与医学知识文本及嵌入向量特征存储数据库中正确的医学知识的匹配程度；
8、基于提示方法的文本准确性评估模块，使用提示方法结合语言模型，将待评估文本输入模块得到的待评估的医学问题及机器生成的文本回答，以及医学知识文本及嵌入向量特征存储数据库所检索得到的正确医学知识文本与预定义的提示模板进行组合，输入到预训练语言模型中，评估机器生成的文本回答是否包含事实性错误以及是否存在潜在的危险因素；
9、评估结果整合模块，用于将基于指标的文本准确性评估模块、基于提示方法的文本准确性评估模块和基于提示方法的文本质量评估模块输出的评估结果按照种类和格式进行整合，作为系统输出。
10、较佳地，基于提示方法的文本质量评估模块包含以下组件：
11、第一组合组件，用于将预定义的提示模板与待评估回答组合；
12、第一输出组件，用于将预训练语言模型做出的评价输出到评估结果整合模块中。
13、较佳地，基于指标的文本准确性评估模块的使用方法包含以下组件：
14、嵌入向量组件，用于将待评估回答输入到预训练语言模型中取得对应的嵌入向量；
15、计算组件，用于计算待评估文本与匹配医学知识的嵌入向量的相似度，作为语义级别的准确率；
16、分词组件，用于将待评估回答文本和匹配的医学知识文本使用分词器进行分词，分词器应当使用医学文本构建或训练；
17、匹配组件，用于对分词后的待评估回答文本和医学知识文本进行语词级的匹配计算，计算基于召回率、准确率的评估；
18、第二输出组件，用于将计算组件和匹配组件计算的相似度和指标作为基于指标的多维度准确性评估结果输出到评估结果整合模块中。
19、较佳地，基于提示方法的文本准确性评估模块使用预训练语言模型来评估生成医学回答的准确性和无害性，其中准确性指回答与匹配的医学知识中不存在事实性错误，而无害性评估生成回答是否可能导致潜在的医学风险。
20、较佳地，基于提示方法的文本准确性评估模块包含以下组件：
21、第二组合组件，将预定义的提示模板与医学问题、匹配的医学知识和待评估回答组合；
22、第三输出组件，将预训练语言模型做出的评价输出到评估结果整合模块中。
23、本专利技术的另一个方面提供基于预训练语言模型的医学问答文本质量评估方法，包括以下步骤：
24、步骤s1.使用医学相关文本构建医学知识文本及嵌入向量特征存储数据库，数据库内文本按照条目划分，所有文本输入到预训练语言模型中映射为向量，向量与原文本一同存储在医学知识文本及嵌入向量特征存储数据库中；
25、步骤s2.从待评估文本输入模块获取输入，该模块通过串口与网络和其他模块相连接，获取输入的医学问题以及待评估的及其生成回答，输出到医学知识匹配模块和三个评估模块中；
26、步骤s3.以医学问题作为输入经过预训练语言模型映射为向量特征后，从医学知识文本及嵌入向量特征存储数据库匹配出与医学知识最相关的文本及其向量特征，输出到两个文本准确性评估模块中；
27、步骤s4.以待评估的机器生成回答为输入，与预定义的提示模板结合作为预训练语言模型的输入，对模型回答进行用户友好角度上的评估，评估包括输出格式、礼貌程度以及信息的丰富程度；
28、步骤s5.以待评估的机器生成回答和医学知识匹配模块输出的匹配的医学知识及其向量特征作为输入，分别从语词和语义级别评估生成回答与匹配结果的相似度，并以相似度作为准确性的评估指标；
29、步骤s6.以待评估的机器生成回答和医学知识匹配模块输出的匹配的医学知识及其向量特征作为模块输入，结合预定义的提示模板组合成为预训练语言模型的输入；
30、步骤s7.以三个评估模块的评估结果作为输出，按照评价维度、评价形式整合作为评价系统的输出。
31、较佳地，步骤s6使用预训练语言模型来评估生成医学回答的准确性和无害性，其中准确性指回答与匹配的医学知识中不存在事实性错误，而无害性评估生成回答是否可能导致潜在的医学风险。
32、较佳地，步骤s4包含以下步骤：
33、步骤s4.1，将预定义的提示模板与待评估回答组合；
34、步骤s4.2，将预训练语言模型做出的评价输出到评估结果整合模块中。
35、较佳地，步骤s5包含以下步骤：
36、步骤s5.1，待评估本文档来自技高网...
【技术保护点】
1.基于预训练语言模型的医学问答文本质量评估系统，其特征在于，包括以下模块：
2.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于提示方法的文本质量评估模块包含以下组件：
3.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于指标的文本准确性评估模块的使用方法包含以下组件：
4.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于提示方法的文本准确性评估模块使用预训练语言模型来评估生成医学回答的准确性和无害性，其中准确性指回答与匹配的医学知识中不存在事实性错误，而无害性评估生成回答是否可能导致潜在的医学风险。
5.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于提示方法的文本准确性评估模块包含以下组件：
6.基于预训练语言模型的医学问答文本质量评估方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的基于预训练语言模型的医学问答文本质量评估方法，其特征在于，步骤S6使用预训练语
8.根据权利要求6所述的基于预训练语言模型的医学问答文本质量评估方法，其特征在于，步骤S4包含以下步骤：
9.根据权利要求6所述的基于预训练语言模型的医学问答文本质量评估方法，其特征在于，步骤S5包含以下步骤：
10.根据权利要求6所述的基于预训练语言模型的医学问答文本质量评估方法，其特征在于，步骤S6包含以下步骤：
...【技术特征摘要】
1.基于预训练语言模型的医学问答文本质量评估系统，其特征在于，包括以下模块：
2.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于提示方法的文本质量评估模块包含以下组件：
3.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于指标的文本准确性评估模块的使用方法包含以下组件：
4.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于提示方法的文本准确性评估模块使用预训练语言模型来评估生成医学回答的准确性和无害性，其中准确性指回答与匹配的医学知识中不存在事实性错误，而无害性评估生成回答是否可能导致潜在的医学风险。
5.根据权利要求1所述的基于预训练语言模型的医学问答文本质量评估系统，其特征在于，基于...
【专利技术属性】
技术研发人员：黄飞跃，徐宇辰，朱立峰，魏华鹏，沈艺，
申请(专利权)人：上海交通大学医学院附属瑞金医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。