一种应用于呼吸科领域的大型语言模型的评估方法和装置制造方法及图纸

技术编号:41852279 阅读:29 留言:0更新日期:2024-06-27 18:28
本发明专利技术提供一种应用于呼吸科领域的大型语言模型的评估方法和装置,其中方法包括:获取评估试题集,评估试题集包括呼吸科领域下的多个试题;基于大型语言模型,解答评估试题集中的各个试题,得到各个试题的试题答案;基于各个试题答案进行模型性能评估,得到大型语言模型在呼吸科领域的性能,克服了传统方案中通用的模型性能评估方法未能考虑到领域特殊性,以致在特定领域上评估结果的准确性、可靠性和实用性欠佳的缺陷,利用大型语言模型对呼吸科领域下的多个试题进行解答,并通过试题答案进行性能评估,不仅能够聚焦于呼吸科领域,实现准确可靠的性能评估,还能使评估过程更为专业,从而可以为后续大型语言模型在呼吸科领域的安全应用提供依据。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种应用于呼吸科领域的大型语言模型的评估方法和装置


技术介绍

1、随着人工智能的飞速发展,在自然语言处理领域,大型语言模型已表现出了卓越的能力和广泛的应用价值。其能够理解和生成人类的语言,从而可以在多个领域发挥重要作用。特别是在呼吸科领域,利用大型语言模型可以实现辅助诊断、治疗计划制定和医疗知识的普及。

2、但是,在应用大型语言模型实现各项功能时,由于模型的性能决定了其在对应领域的表现,因此,其性能的评估至关重要。然而,当下的模型性能评估方法主要是在一般性能指标上进行评估,例如,评估处理速度、响应时间、语言生成流畅性等,即多聚焦于模型的一般性能,而忽略了其在特定领域的应用,并且,往往也无法考虑到领域的特殊性,因而,特定领域上模型的评估结果的可靠性和全面性堪忧。


技术实现思路

1、本专利技术提供一种应用于呼吸科领域的大型语言模型的评估方法和装置,用以解决现有技术中通用的模型性能评估方法难以应用于特定领域,未能考虑到领域特殊性,以致评估准确性、可靠性和实用性欠佳的缺陷本文档来自技高网...

【技术保护点】

1.一种应用于呼吸科领域的大型语言模型的评估方法,其特征在于,包括:

2.根据权利要求1所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于大型语言模型,解答所述评估试题集中的各个试题,得到所述各个试题的试题答案,包括:

3.根据权利要求2所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于所述大型语言模型,分别解答所述各目标专科领域下的试题,得到所述各目标专科领域下试题的试题答案,包括:

4.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述评估试题集中试题的题型包括选择题和问答题;任一试题...

【技术特征摘要】

1.一种应用于呼吸科领域的大型语言模型的评估方法,其特征在于,包括:

2.根据权利要求1所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于大型语言模型,解答所述评估试题集中的各个试题,得到所述各个试题的试题答案,包括:

3.根据权利要求2所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于所述大型语言模型,分别解答所述各目标专科领域下的试题,得到所述各目标专科领域下试题的试题答案,包括:

4.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述评估试题集中试题的题型包括选择题和问答题;任一试题对应的生成提示语句基于如下步骤确定:

5.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,任一试题的试题答案基于如下步骤确定:

6.根据权利要求1至3中任一项所述的应用于呼吸科领...

【专利技术属性】
技术研发人员:陈阵吴锦林刘宏斌赵浩瀚
申请(专利权)人:中国科学院香港创新研究院人工智能与机器人创新中心有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1