【技术实现步骤摘要】
本申请涉及大数据,特别是涉及一种代码大模型的测评方法、装置、计算机设备和存储介质。
技术介绍
1、代码大模型是用于生成代码的深度学习模型,在代码大模型使用之前,通常会利用测评集对代码大模型进行测评,以此来反映其代码生成能力。
2、目前,对代码大模型进行测评的方法主要是对python代码大模型代码生成能力进行测评,但是其缺乏对java代码生成能力的充分测评。而java作为一门编程语言在许多大型系统中占有很高的比重,而且java代码的编译过程与python的测试有很大的不同。
3、因此,如何对java代码大模型的代码生成能力进行测评是当前亟待解决的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够对java代码大模型的代码生成能力进行测评的代码大模型的测评方法、装置、计算机设备和存储介质。
2、第一方面,本申请提供了一种代码大模型的测评方法,该方法包括:
3、获取java代码大模型的测评集;测评集包括多个java代码段的代码关
...
【技术保护点】
1.一种代码大模型的测评方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据各所述Java代码段对所述测评代码段进行评测,得到测评结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述测试代码字段对所述测评代码进行测试,得到所述测评结果,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据各所述Java代码段对所述测评代码段进行评测,得到测评结果,包括:
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述代码关键字段包括提示词关键字段、代码解释关键字段、测试代码
...【技术特征摘要】
1.一种代码大模型的测评方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据各所述java代码段对所述测评代码段进行评测,得到测评结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述测试代码字段对所述测评代码进行测试,得到所述测评结果,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据各所述java代码段对所述测评代码段进行评测,得到测评结果,包括:
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述代码关键字段包括提示词关键字段、代码解释关键字段、测试代码字段中的至少一种。
6...
【专利技术属性】
技术研发人员:范威,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。