【技术实现步骤摘要】
本专利技术涉及人工智能,尤其涉及一种应用于呼吸科领域的大型语言模型的评估方法和装置。
技术介绍
1、随着人工智能的飞速发展,在自然语言处理领域,大型语言模型已表现出了卓越的能力和广泛的应用价值。其能够理解和生成人类的语言,从而可以在多个领域发挥重要作用。特别是在呼吸科领域,利用大型语言模型可以实现辅助诊断、治疗计划制定和医疗知识的普及。
2、但是,在应用大型语言模型实现各项功能时,由于模型的性能决定了其在对应领域的表现,因此,其性能的评估至关重要。然而,当下的模型性能评估方法主要是在一般性能指标上进行评估,例如,评估处理速度、响应时间、语言生成流畅性等,即多聚焦于模型的一般性能,而忽略了其在特定领域的应用,并且,往往也无法考虑到领域的特殊性,因而,特定领域上模型的评估结果的可靠性和全面性堪忧。
技术实现思路
1、本专利技术提供一种应用于呼吸科领域的大型语言模型的评估方法和装置,用以解决现有技术中通用的模型性能评估方法难以应用于特定领域,未能考虑到领域特殊性,以致评估准确性、可靠
...【技术保护点】
1.一种应用于呼吸科领域的大型语言模型的评估方法,其特征在于,包括:
2.根据权利要求1所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于大型语言模型,解答所述评估试题集中的各个试题,得到所述各个试题的试题答案,包括:
3.根据权利要求2所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于所述大型语言模型,分别解答所述各目标专科领域下的试题,得到所述各目标专科领域下试题的试题答案,包括:
4.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述评估试题集中试题的题型包括选择
...【技术特征摘要】
1.一种应用于呼吸科领域的大型语言模型的评估方法,其特征在于,包括:
2.根据权利要求1所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于大型语言模型,解答所述评估试题集中的各个试题,得到所述各个试题的试题答案,包括:
3.根据权利要求2所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述基于所述大型语言模型,分别解答所述各目标专科领域下的试题,得到所述各目标专科领域下试题的试题答案,包括:
4.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,所述评估试题集中试题的题型包括选择题和问答题;任一试题对应的生成提示语句基于如下步骤确定:
5.根据权利要求3所述的应用于呼吸科领域的大型语言模型的评估方法,其特征在于,任一试题的试题答案基于如下步骤确定:
6.根据权利要求1至3中任一项所述的应用于呼吸科领...
【专利技术属性】
技术研发人员:陈阵,吴锦林,刘宏斌,赵浩瀚,
申请(专利权)人:中国科学院香港创新研究院人工智能与机器人创新中心有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。