医学模型评估方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种医学模型评估方法、装置、电子设备和存储介质，其中方法包括：确定用于模型评估的医学数据；基于医学模型处理医学数据，得到医学数据的处理结果；基于处理结果，确定医学模型在各评估指标下的指标评估结果，评估指标包括知识深度、知识广度、幻觉、有害性、隐私性中的至少两种；基于医学模型在各评估指标下的指标评估结果，确定医学模型的性能，不仅能够实现更加全面准确的评估，还能使得评估过程更具专业性，评估效果更好，克服了目前模型性能评估缺乏对医学知识，以及医学领域的专业性的考量，以致得出结果的准确性和可靠性不高的缺陷，实现了有效可靠的性能评估。

【技术实现步骤摘要】

本专利技术涉及机器学习，尤其涉及一种医学模型评估方法、装置、电子设备和存储介质。

技术介绍

1、模型性能评估作为机器学习模型的学习工作流程中不可或缺的一环，其对于机器学习模型的建立、优化、以及后续应用至关重要。

2、目前，对机器学习模型进行性能评估的方法主要有两类，第一类是人工评估，由人工对模型生成的结果进行校对；第二类是自动评估，主要场景有文本理解、文本生成、机器翻译、情感分析等，常见指标有准确率、召回率等。

3、但是，对于上述第一类方法，当面对海量评估数据时，仅依靠人工进行评估，则难免会耗费大量的时间精力，增加时间和人力成本，并且该方法中评估指标大多集中在准确性上，因而，其还缺乏统一、全面的评估体系。第二类方法则主要是针对通用领域大模型的评估，当面对特定领域的大模型时，例如，医疗、教育等，其往往无法考虑到领域的特殊性，因而据此进行评估所得的评估结果可靠性堪忧。

技术实现思路

1、本专利技术提供一种医学模型评估方法、装置、电子设备和存储介质，用以解决现有技术中评估过程中缺乏对医学知识本文档来自技高网...

【技术保护点】

1.一种医学模型评估方法，其特征在于，包括：

2.根据权利要求1所述的医学模型评估方法，其特征在于，所述基于医学模型处理所述医学数据，得到所述医学数据的处理结果；基于所述处理结果，确定所述医学模型在各评估指标下的指标评估结果，包括：

3.根据权利要求2所述的模型评估方法，其特征在于，所述基于所述医学模型分别对各评估场景下的医学数据进行处理，得到所述各评估场景下的医学数据的处理结果，包括：

4.根据权利要求1至3中任一项所述的模型评估方法，其特征在于，在所述评估指标包括知识广度的情况下，所述医学数据包括输入问题，所述处理结果包括问题答案，所述基于所述处理...

【技术特征摘要】

1.一种医学模型评估方法，其特征在于，包括：

2.根据权利要求1所述的医学模型评估方法，其特征在于，所述基于医学模型处理所述医学数据，得到所述医学数据的处理结果；基于所述处理结果，确定所述医学模型在各评估指标下的指标评估结果，包括：

3.根据权利要求2所述的模型评估方法，其特征在于，所述基于所述医学模型分别对各评估场景下的医学数据进行处理，得到所述各评估场景下的医学数据的处理结果，包括：

4.根据权利要求1至3中任一项所述的模型评估方法，其特征在于，在所述评估指标包括知识广度的情况下，所述医学数据包括输入问题，所述处理结果包括问题答案，所述基于所述处理结果，确定所述医学模型在各评估指标下的指标评估结果，包括：

5.根据权利要求1至3中任一项所述的模型评估方法，其特征在于，在所述评估指标包括知识深度的情况下，所述医学数据包括输入问题，所述基于医学模型处理所述医学数据，得到所述医学数据的处理结果，包括：

6.根据权利要求5所述的模型评估方法，其特征在于，所述基于所述处理结果，确定所述医学模型在各评估指标下的指标评估结果，包括：

7....

【专利技术属性】
技术研发人员：吴及，张欢，周开银，刘喜恩，
申请(专利权)人：清华大学，
类型：发明
国别省市：